Rooby in Neural Hírek

A mélytorokú valóság a mesterséges intelligencia API-k mögött

Majdnem két éve vizsgáltuk először a "ML termékek gazdaságtana az LLM-korszakban" témát, amikor az LLM API-k alapvetően átalakították a fejlesztési életciklust. Amit akkor megjósoltunk az API árak fenntarthatatlanságáról, az csak még nyilvánvalóbbá vált. Míg az előző elemzés a vállalatok természetes fejlődésére összpontosított, ez a cikk mélyebben belemélyed azokba a gazdasági erőkbe, amelyek a jelenlegi API árazást átmeneti stratégiai illúzióvá teszik. Az LLM API piac paradoxonnal küzd: míg a vállalatok milliárdokat fektetnek AI infrastruktúrába, ezekhez a fejlett modellekhez való hozzáférés ára szinte túl szép, hogy igaz legyen. Az Uber korai éveihez hasonlóan ez egy szubvencionált piac, stratégiai területfoglalási fázisban. A jelenlegi versenyhelyzetet három fő játékos uralja: OpenAI, Anthropic és Google. Ezek a cégek agresszív árcsatát folytatnak, ami túlmutat a modellképességeken. Az árkülönbségek azt mutatják, hogy az árazás nem kötődik szabványos költségalaphoz – itt a stratégia diktál. Az inferencia valódi költségeinek elemzése rávilágít a szubvenció mértékére. Egy csúcstechnológiás 8x NVIDIA H200 GPU szerver költsége akár $500 000 is lehet, és a számítások alapján az API árak akár 90%-os szubvenciót is jelezhetnek. Ez azt jelenti, hogy a szolgáltató gyakorlatilag a felhasználó által feldolgozott tokenek költségének túlnyomó részét állja. A Jevons-paradoxon szerint az olcsóbb tokenek végül magasabb összköltséget eredményezhetnek, ahogyan azt az Amazon S3 és az Uber esetében is láthattuk. A piac érettséggel együtt az árak emelkedni fognak, amit a piac összezsugorodása, a befektetők nyomása és a hardverkorlátok is elősegítenek. A vállalatoknak érdemes a valós költségekre készülni, rugalmas architektúrát építeni, és értékelni a helyszíni megoldásokat. A jövőben valószínűleg egyszerű áremelkedéseken túl értékalapú és hibrid árazási modellek is megjelennek. A legjobb idő az AI költségek optimalizálására már tegnap volt – a második legjobb idő most van. Ne habozzon, és készüljön fel a változásokra, mielőtt a piac korrigál. Ha szeretne mélyebb betekintést kapni, vagy gyakorlati tippeket megtanulni, látogasson el a https://scaledown.ai oldalunkra, vagy regisztráljon az AgentCon workshopunkra!

### A nagy nyelvi modellek (LLM) API-k árversenyének mögöttes gazdasági valósága

A nagy nyelvi modellek (LLM) API-piacán jelenleg stratégiai árverseny zajlik, ahol a szolgáltatók – mint az OpenAI, az Anthropic és a Google – szándékosan alacsonyan tartják az árakat, hogy piaci részesedést szerezzenek. Ez azonban nem tükrözi a valós költségeket. Egy részletes elemzés szerint például a GPT-4o-mini API ára kb. 90%-os támogatottságot takar, vagyis a szolgáltatók a felhasználók számára jelentős veszteséggel biztosítják a szolgáltatást. Ez hasonlít az Uber korai éveihez, amikor a cég alulárazott szolgáltatásokkal vonzotta be az ügyfeleket, majd később jelentős áremeléseket vezetett be.

### A valós költségek és a Jevons-paradoxon

Google hirdetés

A modellek működtetésének valós költségei – beleértve a GPU-k, az energiaigény és az adatközpontok fenntartását – jelenleg messze meghaladják az API-k árazását. Ugyanakkor a Jevons-paradoxon értelmében az olcsóbbá váló technológia nem csökkenti, hanem növeli a teljes kiadásokat, mivel a felhasználók egyre több tokent használnak. Történelmi példák, mint az AWS S3 tárolószolgáltatás vagy az Uber esete, alátámasztják, hogy a piaci konszolidáció és a befektetők nyomása után elkerülhetetlenül következnek az áremelések.

### Hogyan készüljünk fel az áremelésekre?

A vállalatoknak érdemes stratégiát kidolgozniuk az API-árak normalizálódása előtt:

Google hirdetés

– **Költségvetés realisztikus árak alapján**: Az AI-ra fordított kiadások 3-5-szörös növekedésére kell számítani 2-3 éven belül.

– **Rugalmas architektúra kialakítása**: Érdemes több szolgáltató között terhelést osztani, és a feladatkomplexitásnak megfelelő modelleket választani.

– **Helyszíni megoldások mérlegelése**: Nagy volumenű, kiszámítható munkaterhelések esetén a saját infrastruktúra hosszú távon költséghatékonyabb lehet.

Google hirdetés

A jövőben valószínűleg többdimenziós árazási modellek (teljesítményalapú, hibrid üzemmód) jelennek meg, így a vállalatoknak érdemes időben optimalizálniuk a tokengazdálkodást, mielőtt a piaci korrekció bekövetkezik.

Ez a cikk a Neural News AI (V1) verziójával készült.

Forrás: https://tinyml.substack.com/p/the-unsustainable-economics-of-llm.

Google hirdetés

A képet Jona készítette, mely az Unsplash-on található.

Hírdetés

Google hirdetés