# Hogyan tanítsunk meg egy robotot megtanulni egyensúlyozni: bevezetés a megerősítéses tanulásba
A megerősítéses tanulás (reinforcement learning, RL) a mesterséges intelligencia egyik részterülete, amely próbálkozással és hibázással tanít meg egy ágenst (ügynököt) egy adott feladat megoldására. Az ágens egy számítógépes program, amely megfigyeli a környezetét, és eldönti, milyen műveletet hajtson végre – ezt a döntési szabályt nevezzük politikának. A környezettől kapott numerikus jutalom (például pontok egy videojátékban vagy egy sakkjátszma megnyerése) alapján az ágens fokozatosan javítja a politikáját, így sok interakció után egyre jobban végrehajtja a rábízott feladatot. Míg a klasszikus szabályozási módszerek (PID, LQR, MPC) továbbra is helyet kapnak, az RL egyre nagyobb teret nyer a robotikában, mert képes olyan vezérlőket létrehozni, amelyek kiemelkedően robusztusak a környezet változásaival szemben – ahelyett, hogy minden lehetséges állapotot matematikailag kódolnánk, az ágenst széles forgatókönyv-tárra tanítjuk be.
A cikk történelmi áttekintést is ad: a megerősítéses tanulás gyökerei az 1950-es évekig nyúlnak vissza (Bellman dinamikus programozása, Minsky próbálkozásos tanulása, Samuel dámajáték-programja), majd a 2010-es évek deep learning forradalma hozta el a mély megerősítéses tanulás korszakát. A DeepMind DQN-je 2013-ban Atari-játékokat tanult meg képpontokból, 2016-ban az AlphaGo legyőzte Lee Sedolt, 2019-ben az OpenAI Five profi Dota 2-csapatot vert meg, napjainkban pedig az RL nagy nyelvi modellek finomhangolásában (ChatGPT, Claude) és a robotika fejlődésében (Boston Dynamics Spot, Disney BDX droidok) játszik kulcsszerepet. A tanulási ciklus lényege egyszerű: az ágens megfigyelést kap a környezettől, műveletet választ, a környezet reagál, és a kapott jutalom alapján a tanulóalgoritmus frissíti az ágens belső működését. A szerző egy kétszemélyes egyensúlyozó robot (M5Stack Bala2-Fire) példáján mutatja be mindezt, szimulációban, PPO (proximal policy optimization) algoritmussal.
A PPO egy actor-critic típusú módszer, amely két külön neurális hálót használ: a kritikus (critic) a megfigyelésből megpróbálja megbecsülni a jövőbeli halmozott jutalmat (a hozamot), míg az actor (a politika) a megfigyelésből műveletet javasol – folytonos esetben minden motorra egy átlagot ad meg, amelyhez szórást társítva Gauss-eloszlást ír le, így szabályozható a felfedezés és a kihasználás aránya. A kritikus előrejelzéseihez viszonyított jobb vagy rosszabb kimenet (az úgynevezett advantage) alapján az actor növeli vagy csökkenti az adott művelet valószínűségét. A PPO kulcsújítása a vágás (clipping), amely korlátozza, hogy egy frissítés során a politika túl nagyot változzon, így stabil marad a tanulás. A cikk gyakorlati útmutatót is ad: Google Colab környezetben, MuJoCo fizikai szimulátorral, nyolc párhuzamos környezetben, összesen 500 000 időlépésen keresztül tanítja a robotot, jutalomfüggvényét pedig az életben maradás bónusza, valamint a dőlésszög, a hirtelen mozdulatok, az elmozdulás, a sebesség és az elfordulás büntetése alkotja – ügyelve arra, hogy elkerüljük a jutalomfeltörést (reward hacking), amikor az ágens nem a szándékolt módon maximalizálja a jutalmat.
A szimuláció és a valóság közötti szakadék (sim-to-real gap) áthidalására a szerző a domain randomizációt és a tantervi tanulást (curriculum learning) alkalmazza: három fázisban, fokozatosan nehezítve a feladatot, véletlen zajokat, késleltetést, motorbizonytalanságot, tömeg- és súrlódásváltozást, valamint véletlen lökéseket vezet be. A tanítás végén csak az actor hálót exportálják ONNX és C fejlécfájl formátumban, majd Arduino IDE-vel ESP32-re töltik fel a Bala2-Fire robotra, ahol a vezérlőhurok 5 ms-onként fut, és a háló kimenetét PWM-jellé alakítva hajtja meg a motorokat. A cikk hangsúlyozza, hogy a megfigyelések és a kimenetek skálázásának, szűrésének és normalizálásának konzisztensnek kell lennie a szimuláció és a valós hardver között. Bár egy kétkerekű robot egyensúlyozása klasszikus módszerekkel régóta megoldott, ez az útmutató kitűnő belépő az RL világába, és alapot ad összetettebb robotok – például négylábúak vagy kétlábú járógépek – betanításához.
Ez a cikk a Neural News AI (V1) verziójával készült.
Forrás: https://makezine.com/article/technology/robotics/train-a-balance-bot-with-reinforcement-learning/.