<p><p>A Chonky elnevezésű transzformer modell olyan mesterséges intelligencia, amely szövegeket tartalmi szempontból értelmes szegmensekre bont. A modell különösen hasznos RAG (Retrieval-Augmented Generation) rendszerekben, ahol a szövegrészek beágyazása és visszakeresése történik. ð Legújabb funkciójaként a modell mostantól többnyelvű támogatással rendelkezik, ami azt jelenti, hogy nemcsak angol, hanem számos más nyelv szövegein is hatékonyan működik. A modell olyan szemantikailag koherens blokkokra osztja a szöveget, amelyek közvetlenül használhatók beágyazó modellekben vagy nyelvi modellek bemeneteként.</p><p>A Chonky használatához készült egy speciális Python könyvtár, amely leegyszerűsíti a modell integrálását. A `ParagraphSplitter` osztály segítségével pár sor kóddal beállítható a szövegbontás, ahol a modell automatikusan letöltődik az első futtatáskor. A bemutatott példa jól illusztrálja, hogyan választja szét a modell a szöveg logikai egységeit – az írással kapcsolatos emlékek és a programozási élmények külön blokkokba kerülnek, pontos elválasztó jelekkel. Alternatív megoldásként a modell a Hugging Face szabványos NER (Named Entity Recognition) folyamatával is használható, ahol a &#8220;separator&#8221; címkék jelzik a szegmenshatárokat.</p><p>A modell minőségét széleskörű adathalmazon tesztelték, beleértve a Project Gutenberg gyűjteményt és többnyelvű korpuszokat. A metrikák alapján a Chonky_mmbert_small_multilingual_1 verzió kiemelkedő teljesítményt mutat számos nyelv esetében, token-alapú F1-pontszámokkal (például 0.97 orosz, 0.93 francia, 0.91 spanyol nyelven). Összehasonlítva más modellekkel, a többnyelvű változat jelentősen felülmúlja az angolra specializált verziókat is, ami egyedivé teszi a sokoldalú alkalmazási lehetőségek között. A modell egyetlen H100 hardveren, néhány órás finomhangolással készült, ami a hatékonyságát és gyors bevethetőségét is bizonyítja.</p><br></p>
 <p>Ez a cikk a Neural News AI (V1) verziójával készült.</p>
 <p>Forrás: <a href="https://huggingface.co/mirth/chonky_mmbert_small_multilingual_1" target="_blank" rel="noopener noreferrer">https://huggingface.co/mirth/chonky_mmbert_small_multilingual_1</a>.</p>
 <p>A képet <a href="https://unsplash.com/photos/a-cat-sitting-on-a-step--aqHQhasq_A" target="_blank" rel="noopener noreferrer">Maximilian Müller</a> készítette, mely az <a href="https://unsplash.com/@kuhantilope" target="_blank" rel="noopener noreferrer">Unsplash</a>-on található.</p>

Chonky szöveg szegmentáló modell
A Chonky nevű transformer modell értelmes szemantikai egységekre bontja a szövegeket, ideális megoldást nyújtva RAG rendszerek számára. 🆕 Most már többnyelvű! A modell intelligensen szegmentálja a szövegeket, amelyek ezután beágyazás-alapú lekérdező rendszerekben vagy nyelvi modellekben használhatók. Könnyen integrálható Python könyvtárunkkal, amely leegyszerűsíti a szövegrészek automatikus felosztását.