A Qwen3-30B-A3B-Instruct-2507 modell jelentős fejlesztéseket mutat be a Qwen3-30B-A3B nem-gondolkodó mód frissített változataként. A modell általános képességeiben – beleértve az utasítások követését, a logikai gondolkodást, a szövegértelmezést, a matematikát, a tudományt, a kódolást és az eszközhasználatot – jelentős javulást ért el. Többnyelvű, ritka tudásanyagok lefedettsége szempontjából is nagyobb teljesítményt nyújt, és jobban illeszkedik a felhasználói preferenciákhoz szubjektív és nyitott feladatokban, ami hasznosabb válaszokat és magasabb minőségű szöveggenerálást tesz lehetővé. Emellett kiemelkedő a 256K hosszú kontextus feldolgozási képessége, amely tovább bővíthető akár 1 millió tokenig speciális konfigurációval.
A modell architektúrája 30,5 milliárd paraméterből áll, melyből 3,3 milliárd aktív, 48 réteggel, 32 Q és 4 KV figyelmi fejjel, valamint 128 szakértőből, melyből 8 aktiválva van. A natív kontextushossz 262 144 token. A modell kizárólag nem-gondolkodó módban működik, és nem generál
A modell használatához a legfrissebb Hugging Face transformers verzió szükséges, és támogatja az OpenAI-kompatibilis API végpontok létrehozását az SGLang vagy a vLLM segítségével. Emellett integrálva van a Qwen-Agent eszközhívási képességeivel, leegyszerűsítve az agent-alapú felhasználást. A hosszú kontextus feldolgozás érdekében Dual Chunk Attention (DCA) és MInference technológiákat alkalmaz, amelyek jelentős sebességnövekedést és hatékonyságot biztosítanak. Az 1 millió tokenes kontextus kezeléséhez körülbelül 240 GB GPU memória szükséges, és részletes konfigurációs lépések szükségesek a vLLM vagy SGLang szerverek indításához.
Ajánlott beállítások között szerepel a Temperature=0.7, TopP=0.8, TopK=20 és MinP=0, valamint a presence_penalty beállítása ismétlődések csökkentésére. A kimenet standardizálására promptok használata javasolt, különösen matematikai és többszörös választásos feladatok esetén. A modell teljesítményét hosszú kontextusban a RULER benchmarkon tesztelték, ahol a Qwen3-30B-A3B-Instruct-2507 kimagasló pontszámokat ért el akár 1 millió tokenes bemenetek esetén is.
Ez a cikk a Neural News AI (V1) verziójával készült.
Forrás: https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507.
A képet Kaede M készítette, mely az Unsplash-on található.
