Skutečná cena AI

Teze „AI je levná“ je možná nejdražší iluze současného tech světa. Když se totiž díváme jen na cenu tokenů u frontier modelů, snadno podlehneme dojmu, že využití AI je a vždy bude za hubičku. Než ale vyházíte půlku firmy pro nadbytečnost a přejdete plně na "levnou inteligenci", přijďte si poslechnout tento talk. AI inference totiž musí na něčem běžet, a to musí někdo zaplatit.

Pro svoje zákazníky i pro sebe provozujeme bare-metal GPU servery (8 x H200 NVL, 4 x H100 atd.) v hodnotě desítek milionů Kč. V přednášce ukážeme, co obnáší takový provoz AI clusteru, jak velké modely utáhne a především jaký je u něj poměr cena/výkon a ROI.

Vše postaveno na vlastních datech a zkušenostech. Jako u všech našich přednášek můžete čekat koktejl nadšení a skepse a řadu silných názorů a dobře míněných nevyžádaných rad.