Az Unsloth Dynamic 3.0 legújabb fejlesztése jelentős mérföldkövet jelent a kvantált modellek területén, hiszen kiemelkedő pontosságot és teljesítményt kínál a versenytársakhoz képest. A bevezetett Dynamic V3.0 GGU formátumok a legmodernebb pontosságot és kvantálási teljesítményt biztosítják, amelyet az összehasonlító tesztek is igazolnak: a 4 bites Qwen3.8-27B modell több mint 10%-kal jobb top-1 pontosságot ér el azonos méret mellett, mint bármely más szolgáltató megoldása. A fejlesztők kiemelt figyelmet fordítottak a tool hívási képességekre is, így a Qwen3.8 zökkenőmentesen működik olyan ügynök alapú eszközökben, mint a Codex.
A Qwen3.8-27B a Qwen nyílt modellcsalád eddigi legfejlettebb tagja, amely a Qwen3.5 és Qwen3.6 generációk közösségi sikerére épít. A modell jelentős előrelépést kínál a kódolás, professzionális munka, kutatás és hosszú távú ügynöki feladatok terén, miközben kompakt, telepítésbarát sűrű architektúrával rendelkezik. A natív vizuális-nyelvi képességeknek köszönhetően képek és videók megértésére is alkalmas, a rugalmas gondolkodásvezérlés pedig lehetővé teszi a felhasználók számára, hogy a gondolkodási módot kérésenként szabályozzák. A modell 27 milliárd paraméterrel, 64 réteggel és 262 144 tokenes natív kontextushosszal rendelkezik, amely akár 1 millió tokenre is bővíthető, így ideális összetett, többlépcsős feladatok megbízható végrehajtására.
A maximális teljesítmény eléréséhez a fejlesztők specifikus ajánlásokat fogalmaztak meg a mintavételezési paraméterekre és az architektúra beállításaira vonatkozóan. Gondolkodó módban 1.0-s hőmérséklet, 0.95-ös top-p és 20-as top-k értékek ajánlottak, míg nem-gondolkodó módban alacsonyabb hőmérséklet és magasabb jelenléti büntetés javasolt a végtelen ismétlődés elkerülése érdekében. Különösen fontos a megfelelő kimeneti hossz beállítása ügynöki feladatoknál: a belső gondolkodási folyamathoz 262 144, míg a végső válaszhoz 131 072 token. Az ultra-hosszú szövegek feldolgozásához RoPE skálázási technikák, például YaRN alkalmazása javasolt, míg a hosszú videók megértéséhez a video_preprocessor_config.json fájl beállításainak módosítása biztosítja a jobb képkocka-sűrűséget és ezáltal a kiváló teljesítményt.
Ez a cikk a Neural News AI (V1) verziójával készült.
Forrás: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF.
A képet Markus Winkler készítette, mely az Unsplash-on található.
