Google Hirdetés

A mélytorokú valóság a mesterséges intelligencia API-k mögött

Majdnem két éve vizsgáltuk először a "ML termékek gazdaságtana az LLM-korszakban" témát, amikor az LLM API-k alapvetően átalakították a fejlesztési életciklust. Amit akkor megjósoltunk az API árak fenntarthatatlanságáról, az csak még nyilvánvalóbbá vált. Míg az előző elemzés a vállalatok természetes fejlődésére összpontosított, ez a cikk mélyebben belemélyed azokba a gazdasági erőkbe, amelyek a jelenlegi API árazást átmeneti stratégiai illúzióvá teszik. Az LLM API piac paradoxonnal küzd: míg a vállalatok milliárdokat fektetnek AI infrastruktúrába, ezekhez a fejlett modellekhez való hozzáférés ára szinte túl szép, hogy igaz legyen. Az Uber korai éveihez hasonlóan ez egy szubvencionált piac, stratégiai területfoglalási fázisban. A jelenlegi versenyhelyzetet három fő játékos uralja: OpenAI, Anthropic és Google. Ezek a cégek agresszív árcsatát folytatnak, ami túlmutat a modellképességeken. Az árkülönbségek azt mutatják, hogy az árazás nem kötődik szabványos költségalaphoz – itt a stratégia diktál. Az inferencia valódi költségeinek elemzése rávilágít a szubvenció mértékére. Egy csúcstechnológiás 8x NVIDIA H200 GPU szerver költsége akár $500 000 is lehet, és a számítások alapján az API árak akár 90%-os szubvenciót is jelezhetnek. Ez azt jelenti, hogy a szolgáltató gyakorlatilag a felhasználó által feldolgozott tokenek költségének túlnyomó részét állja. A Jevons-paradoxon szerint az olcsóbb tokenek végül magasabb összköltséget eredményezhetnek, ahogyan azt az Amazon S3 és az Uber esetében is láthattuk. A piac érettséggel együtt az árak emelkedni fognak, amit a piac összezsugorodása, a befektetők nyomása és a hardverkorlátok is elősegítenek. A vállalatoknak érdemes a valós költségekre készülni, rugalmas architektúrát építeni, és értékelni a helyszíni megoldásokat. A jövőben valószínűleg egyszerű áremelkedéseken túl értékalapú és hibrid árazási modellek is megjelennek. A legjobb idő az AI költségek optimalizálására már tegnap volt – a második legjobb idő most van. Ne habozzon, és készüljön fel a változásokra, mielőtt a piac korrigál. Ha szeretne mélyebb betekintést kapni, vagy gyakorlati tippeket megtanulni, látogasson el a https://scaledown.ai oldalunkra, vagy regisztráljon az AgentCon workshopunkra!

&NewLine; <p><p>&num;&num;&num; A nagy nyelvi modellek &lpar;LLM&rpar; API-k árversenyének mögöttes gazdasági valósága<&sol;p><p>A nagy nyelvi modellek &lpar;LLM&rpar; API-piacán jelenleg stratégiai árverseny zajlik&comma; ahol a szolgáltatók – mint az OpenAI&comma; az Anthropic és a Google – szándékosan alacsonyan tartják az árakat&comma; hogy piaci részesedést szerezzenek&period; Ez azonban nem tükrözi a valós költségeket&period; Egy részletes elemzés szerint például a GPT-4o-mini API ára kb&period; 90&percnt;-os támogatottságot takar&comma; vagyis a szolgáltatók a felhasználók számára jelent&odblac;s veszteséggel biztosítják a szolgáltatást&period; Ez hasonlít az Uber korai éveihez&comma; amikor a cég alulárazott szolgáltatásokkal vonzotta be az ügyfeleket&comma; majd kés&odblac;bb jelent&odblac;s áremeléseket vezetett be&period;<&sol;p><p>&num;&num;&num; A valós költségek és a Jevons-paradoxon<&sol;p><p>A modellek m&udblac;ködtetésének valós költségei – beleértve a GPU-k&comma; az energiaigény és az adatközpontok fenntartását – jelenleg messze meghaladják az API-k árazását&period; Ugyanakkor a Jevons-paradoxon értelmében az olcsóbbá váló technológia nem csökkenti&comma; hanem növeli a teljes kiadásokat&comma; mivel a felhasználók egyre több tokent használnak&period; Történelmi példák&comma; mint az AWS S3 tárolószolgáltatás vagy az Uber esete&comma; alátámasztják&comma; hogy a piaci konszolidáció és a befektet&odblac;k nyomása után elkerülhetetlenül következnek az áremelések&period;<&sol;p><p>&num;&num;&num; Hogyan készüljünk fel az áremelésekre&quest;<&sol;p><p>A vállalatoknak érdemes stratégiát kidolgozniuk az API-árak normalizálódása el&odblac;tt&colon;<&sol;p><p>&&num;8211&semi; &ast;&ast;Költségvetés realisztikus árak alapján&ast;&ast;&colon; Az AI-ra fordított kiadások 3-5-szörös növekedésére kell számítani 2-3 éven belül&period;<&sol;p><p>&&num;8211&semi; &ast;&ast;Rugalmas architektúra kialakítása&ast;&ast;&colon; Érdemes több szolgáltató között terhelést osztani&comma; és a feladatkomplexitásnak megfelel&odblac; modelleket választani&period;<&sol;p><p>&&num;8211&semi; &ast;&ast;Helyszíni megoldások mérlegelése&ast;&ast;&colon; Nagy volumen&udblac;&comma; kiszámítható munkaterhelések esetén a saját infrastruktúra hosszú távon költséghatékonyabb lehet&period;<&sol;p><p>A jöv&odblac;ben valószín&udblac;leg többdimenziós árazási modellek &lpar;teljesítményalapú&comma; hibrid üzemmód&rpar; jelennek meg&comma; így a vállalatoknak érdemes id&odblac;ben optimalizálniuk a tokengazdálkodást&comma; miel&odblac;tt a piaci korrekció bekövetkezik&period;<&sol;p><br><&sol;p>&NewLine; <p>Ez a cikk a Neural News AI &lpar;V1&rpar; verziójával készült&period;<&sol;p>&NewLine; <p>Forrás&colon; <a href&equals;"https&colon;&sol;&sol;tinyml&period;substack&period;com&sol;p&sol;the-unsustainable-economics-of-llm" target&equals;"&lowbar;blank" rel&equals;"noopener noreferrer">https&colon;&sol;&sol;tinyml&period;substack&period;com&sol;p&sol;the-unsustainable-economics-of-llm<&sol;a>&period;<&sol;p>&NewLine; <p>A képet <a href&equals;"https&colon;&sol;&sol;unsplash&period;com&sol;photos&sol;a-group-of-pink-and-blue-balls-on-a-black-background-UopUfxghnWo" target&equals;"&lowbar;blank" rel&equals;"noopener noreferrer">Jona<&sol;a> készítette&comma; mely az <a href&equals;"https&colon;&sol;&sol;unsplash&period;com&sol;&commat;6690img" target&equals;"&lowbar;blank" rel&equals;"noopener noreferrer">Unsplash<&sol;a>-on található&period;<&sol;p>&NewLine;

Hírdetés