A Chonky elnevezésű transzformer modell olyan mesterséges intelligencia, amely szövegeket tartalmi szempontból értelmes szegmensekre bont. A modell különösen hasznos RAG (Retrieval-Augmented Generation) rendszerekben, ahol a szövegrészek beágyazása és visszakeresése történik. 🆕 Legújabb funkciójaként a modell mostantól többnyelvű támogatással rendelkezik, ami azt jelenti, hogy nemcsak angol, hanem számos más nyelv szövegein is hatékonyan működik. A modell olyan szemantikailag koherens blokkokra osztja a szöveget, amelyek közvetlenül használhatók beágyazó modellekben vagy nyelvi modellek bemeneteként.
A Chonky használatához készült egy speciális Python könyvtár, amely leegyszerűsíti a modell integrálását. A `ParagraphSplitter` osztály segítségével pár sor kóddal beállítható a szövegbontás, ahol a modell automatikusan letöltődik az első futtatáskor. A bemutatott példa jól illusztrálja, hogyan választja szét a modell a szöveg logikai egységeit – az írással kapcsolatos emlékek és a programozási élmények külön blokkokba kerülnek, pontos elválasztó jelekkel. Alternatív megoldásként a modell a Hugging Face szabványos NER (Named Entity Recognition) folyamatával is használható, ahol a „separator” címkék jelzik a szegmenshatárokat.
A modell minőségét széleskörű adathalmazon tesztelték, beleértve a Project Gutenberg gyűjteményt és többnyelvű korpuszokat. A metrikák alapján a Chonky_mmbert_small_multilingual_1 verzió kiemelkedő teljesítményt mutat számos nyelv esetében, token-alapú F1-pontszámokkal (például 0.97 orosz, 0.93 francia, 0.91 spanyol nyelven). Összehasonlítva más modellekkel, a többnyelvű változat jelentősen felülmúlja az angolra specializált verziókat is, ami egyedivé teszi a sokoldalú alkalmazási lehetőségek között. A modell egyetlen H100 hardveren, néhány órás finomhangolással készült, ami a hatékonyságát és gyors bevethetőségét is bizonyítja.
Ez a cikk a Neural News AI (V1) verziójával készült.
Forrás: https://huggingface.co/mirth/chonky_mmbert_small_multilingual_1.
A képet Maximilian Müller készítette, mely az Unsplash-on található.
