Az LFM2.5-2.6B a Liquid AI legújabb, kifejezetten on-device környezetre tervezett hibrid modellje, amely az LFM2.5 család tagja. A modell a 128K kontextusablakkal és az ágens-alapú poszttréningnek köszönhetően a legjobbak között teljesít a saját méretosztályában: eszközhasználatban, utasításkövetésben és többlépéses ágens feladatokban versenyképes a négyszer nagyobb modellekkel. Az agentikus megerősítéses tanulásnak köszönhetően a modellt a legnépszerűbb ágens keretrendszerekben tanították, így tökéletesen illeszkedik azokhoz. Hatékonyságát tekintve kiemelkedő: 220 tok/s sebességet ér el Apple M5 Max-on, valamint 113 tok/s-ot AMD Ryzen CPU-n, mindezt 2,5 GB alatti memóriahasználat mellett.
A modell 2,69 milliárd paraméterrel rendelkezik, 30 rétegből áll (22 duplagátolt rövid konvolúciós blokk és 8 GQA), és hatalmas, 34 billió tokenből álló tanítási adathalmazon tréningezték. A kontextushossza eléri a 131 072 tokent, ami ideálissá teszi hosszú szövegek feldolgozására is. Többnyelvű támogatással rendelkezik, többek között angol, német, francia, spanyol, kínai, japán és magyar-barát nyelveken is működik. A modell kifejezetten ágens-alapú munkaterhelésekre, adatkinyerésre, RAG-ra és eszközhasználatra lett tervezve, de nem ajánlott kódolási vagy tudásintenzív feladatokra.
A felhasználók számára többféle formátum is elérhető a telepítési környezettől függően: az eredeti Transformers-alapú verzió mellet elérhető a GGUF formátum (llama.cpp-hez és CPU-hoz), az ONNX Runtime a platformok közötti telepítéshez, valamint az MLX verzió Apple Silicon eszközökhöz. A modell támogatja a ChatML-stílusú sablonokat, és automatikusan hozzáad egy `
Sebesség szempontjából az LFM2.5-2.6B a leggyorsabb modell a hullámában: CPU-n is kiemelkedő teljesítményt nyújt, GPU-n pedig közel 15 000 kimeneti tokent generál másodpercenként magas konkurencia mellett, ami egyetlen H100-on körülbelül 1,3 billió tokent jelent naponta. A benchmark tesztekben a modell lenyűgöző eredményeket ért el: az IFBench-en 59,17 pontot, a Multi-IF-en 80,07 pontot, a BFCLv4-en 56,88 pontot, a ToolSandbox-on 77,83 pontot, a PinchBench-en 68,22 pontot, az AIME25-ön pedig 51,87 pontot ért el. Ezek az eredmények összemérhetők vagy jobbak, mint a nagyobb, akár 9,7 milliárd paraméteres versenytársaké. A modell elérhető a Hugging Face platformon, és a kapcsolódó dokumentációban részletes útmutató található a telepítéshez, az ágens-rendszerekbe való integrációhoz (Hermes, OpenClaw, Pi) és a finomhangoláshoz (CPT, SFT, DPO, GRPO).
Ez a cikk a Neural News AI (V1) verziójával készült.
Forrás: https://huggingface.co/LiquidAI/LFM2.5-2.6B.
A képet Bernd 📷 Dittrich készítette, mely az Unsplash-on található.
