Vývoj s lokálními LLM: soukromí, výkon a praxe

Co kdybyste při práci s AI nemuseli posílat svůj kód a další citlivá data do cloudu? Jazykové modely dnes můžete provozovat přímo na vlastním počítači. Má to svá úskalí, ale možnosti lokálních LLM se v posledních měsících výrazně posunuly.

Na workshopu zjistíte, kdy dává lokální AI smysl a jak ji zapojit do vývojářské praxe. Ukážeme si, jak vybrat vhodný model a jak se orientovat v kompromisech mezi jeho kvalitou, rychlostí, paměťovými nároky a cenou hardwaru. Podíváme se také na rozdíly mezi inference enginy a na to, jaký hardware koupit, abyste zbytečně nepřeplatili nebo nenarazili na jeho limity.

Budeme se věnovat i výběru a nastavení nástrojů, které propojují LLM s vývojářským workflow. Vysvětlíme si, čím se práce s lokálními modely liší od cloudových služeb a jak přizpůsobit prompty jejich schopnostem a omezením.

Workshop bude praktický, názorný a otevřený diskuzi. Lokální modely si vyzkoušíme na konkrétních příkladech. 

Workshop je určen vývojářům a dalším technicky zaměřeným účastníkům, kteří chtějí získat větší kontrolu nad svými daty a AI nástroji. 

Požadavky na účastníky:

• Předchozí zkušenost s provozem vlastních modelů není nutná.
• Ne každý notebook má dostatečný výkon, takže vám lektor bude ukazovat věci u sebe nebo v cloudu. Případně zkusíme zprovoznit pronajatou GPU.