Neural hírek logo
Így tanítsd meg a robotod az egyensúlyozásra megerősítéses tanulással

Így tanítsd meg a robotod az egyensúlyozásra megerősítéses tanulással

A megerősítéses tanulás (RL) forradalmasítja a robotikát: a Make: magazin 99. számában Shawn Hymel lépésről lépésre bemutatja, hogyan tanítható meg egy kétkerekű egyensúlyozó robot önállóan kiegyensúlyozni a PPO algoritmus segítségével. A folyamat során a szerző a MuJoCo fizikai szimulátorban tanítja az ágenst, kezdetben egyszerű egyensúlyozási feladattal, majd fokozatosan nehezítve a körülményeket domain randomizációval – szenzorzajjal, késleltetéssel és véletlenszerű lökésekkel –, hogy áthidalja a szimuláció és a valóság közötti szakadékot. A tanulási görbék és a reward-függvény finomhangolása után a kész modellt ONNX és C fejlécfájl formátumban exportálják, majd egy M5Stack Bala2-Fire készülékre telepítik, ahol a neurális hálózat valós időben, 5 ms-os vezérlési ciklusban fut az ESP32 mikrovezérlőn. Az útmutató rávilágít arra, hogy a megerősítéses tanulás – a klasszikus PID- és MPC-szabályzók mellett – egyre nagyobb szerepet kap a robotikában, és a bemutatott alapokkal akár négylábú vagy kétlábú robotok trainingje is elkezdhető.

# Hogyan tanítsunk meg egy robotot megtanulni egyensúlyozni: bevezetés a megerősítéses tanulásba

A megerősítéses tanulás (reinforcement learning, RL) a mesterséges intelligencia egyik részterülete, amely próbálkozással és hibázással tanít meg egy ágenst (ügynököt) egy adott feladat megoldására. Az ágens egy számítógépes program, amely megfigyeli a környezetét, és eldönti, milyen műveletet hajtson végre – ezt a döntési szabályt nevezzük politikának. A környezettől kapott numerikus jutalom (például pontok egy videojátékban vagy egy sakkjátszma megnyerése) alapján az ágens fokozatosan javítja a politikáját, így sok interakció után egyre jobban végrehajtja a rábízott feladatot. Míg a klasszikus szabályozási módszerek (PID, LQR, MPC) továbbra is helyet kapnak, az RL egyre nagyobb teret nyer a robotikában, mert képes olyan vezérlőket létrehozni, amelyek kiemelkedően robusztusak a környezet változásaival szemben – ahelyett, hogy minden lehetséges állapotot matematikailag kódolnánk, az ágenst széles forgatókönyv-tárra tanítjuk be.

A cikk történelmi áttekintést is ad: a megerősítéses tanulás gyökerei az 1950-es évekig nyúlnak vissza (Bellman dinamikus programozása, Minsky próbálkozásos tanulása, Samuel dámajáték-programja), majd a 2010-es évek deep learning forradalma hozta el a mély megerősítéses tanulás korszakát. A DeepMind DQN-je 2013-ban Atari-játékokat tanult meg képpontokból, 2016-ban az AlphaGo legyőzte Lee Sedolt, 2019-ben az OpenAI Five profi Dota 2-csapatot vert meg, napjainkban pedig az RL nagy nyelvi modellek finomhangolásában (ChatGPT, Claude) és a robotika fejlődésében (Boston Dynamics Spot, Disney BDX droidok) játszik kulcsszerepet. A tanulási ciklus lényege egyszerű: az ágens megfigyelést kap a környezettől, műveletet választ, a környezet reagál, és a kapott jutalom alapján a tanulóalgoritmus frissíti az ágens belső működését. A szerző egy kétszemélyes egyensúlyozó robot (M5Stack Bala2-Fire) példáján mutatja be mindezt, szimulációban, PPO (proximal policy optimization) algoritmussal.

A PPO egy actor-critic típusú módszer, amely két külön neurális hálót használ: a kritikus (critic) a megfigyelésből megpróbálja megbecsülni a jövőbeli halmozott jutalmat (a hozamot), míg az actor (a politika) a megfigyelésből műveletet javasol – folytonos esetben minden motorra egy átlagot ad meg, amelyhez szórást társítva Gauss-eloszlást ír le, így szabályozható a felfedezés és a kihasználás aránya. A kritikus előrejelzéseihez viszonyított jobb vagy rosszabb kimenet (az úgynevezett advantage) alapján az actor növeli vagy csökkenti az adott művelet valószínűségét. A PPO kulcsújítása a vágás (clipping), amely korlátozza, hogy egy frissítés során a politika túl nagyot változzon, így stabil marad a tanulás. A cikk gyakorlati útmutatót is ad: Google Colab környezetben, MuJoCo fizikai szimulátorral, nyolc párhuzamos környezetben, összesen 500 000 időlépésen keresztül tanítja a robotot, jutalomfüggvényét pedig az életben maradás bónusza, valamint a dőlésszög, a hirtelen mozdulatok, az elmozdulás, a sebesség és az elfordulás büntetése alkotja – ügyelve arra, hogy elkerüljük a jutalomfeltörést (reward hacking), amikor az ágens nem a szándékolt módon maximalizálja a jutalmat.

A szimuláció és a valóság közötti szakadék (sim-to-real gap) áthidalására a szerző a domain randomizációt és a tantervi tanulást (curriculum learning) alkalmazza: három fázisban, fokozatosan nehezítve a feladatot, véletlen zajokat, késleltetést, motorbizonytalanságot, tömeg- és súrlódásváltozást, valamint véletlen lökéseket vezet be. A tanítás végén csak az actor hálót exportálják ONNX és C fejlécfájl formátumban, majd Arduino IDE-vel ESP32-re töltik fel a Bala2-Fire robotra, ahol a vezérlőhurok 5 ms-onként fut, és a háló kimenetét PWM-jellé alakítva hajtja meg a motorokat. A cikk hangsúlyozza, hogy a megfigyelések és a kimenetek skálázásának, szűrésének és normalizálásának konzisztensnek kell lennie a szimuláció és a valós hardver között. Bár egy kétkerekű robot egyensúlyozása klasszikus módszerekkel régóta megoldott, ez az útmutató kitűnő belépő az RL világába, és alapot ad összetettebb robotok – például négylábúak vagy kétlábú járógépek – betanításához.


Ez a cikk a Neural News AI (V1) verziójával készült.

Forrás: https://makezine.com/article/technology/robotics/train-a-balance-bot-with-reinforcement-learning/.

A képet Ling App készítette, mely az Unsplash-on található.

Neural hírek

A megerősítéses tanulás (RL) forradalmasítja a robotikát: a Make: magazin 99. számában Shawn Hymel lépésről lépésre bemutatja, hogyan tanítható meg egy kétkerekű egyensúlyozó robot önállóan
A Kurultáj nevű, nomád hagyományokat felelevenítő fesztivált minden évben megrendezik a magyar Alföldön, ahol török, kazah, mongol és más steppei népek gyűlnek össze, hogy ünnepeljék
A Manchester City elszenvedte szezonbeli első Premier League-vereségét szombaton a hangos Aston Villa otthonában, miközben folyamatosan emlékeztették őket a pénzügyi vádakra. A Villa Parkban visszhangzott
A Microsoft pénzügyi vezetője, Amy Hood belső feljegyzésében megerősítette, hogy a vállalat legfeljebb 3000 munkavállaló jelentkezésére számít az önkéntes kilépési csomagra, amelyet a munkaerő több
Íme a Facebook-poszt vezető szövege magyarul: Egy francia szupermarket kibertámadás áldozata lett, amikor ismeretlen tettesek a hűtőrendszer szoftverén keresztül 122 Fahrenheit-fokra (50 Celsius-fokra) emelték a
A Fehér Házon belül éles különbség mutatkozik abban, ahogy Donald Trump elnök és JD Vance alelnök a gazdasági nehézségekről beszél: Trump tagadja a problémákat és

Kertészet