Previous slide Next slide Toggle fullscreen Toggle overview view Open presenter view
Lokální AI: Reality check
Jak jsou na tom otevřené modely v Q3 2026?
Zdeněk Kasner
AI Bootcamp | 17. září 2026
Zdeněk Kasner | Lokální AI: Reality check
Moje cesta k (L)LMs
Zdeněk Kasner | Lokální AI: Reality check
Moje cesta k (L)LMs
2018 Diplomka na ČVUTstrojový překlad pomocí Transformer modelů
2019 Doktorát na MFF UKgenerování textu ze strukturovaných dat pomocí jazykových modelů
2023 Stáž v Kanadě (Mila – Quebec AI Institute)webová navigace s agenty
2025 Zakládám předmět (zpátky) na FIT ČVUTNI-NLM: Neuronové jazykové modely
Zdeněk Kasner | Lokální AI: Reality check
Já v roce 2026
>2000 přečtených paperů
Stejné FOMO jako všichni ostatní
Zdeněk Kasner | Lokální AI: Reality check
Zdeněk Kasner | Lokální AI: Reality check
Co je Lokální.AI?
Blog
+ Newsletter
+ Discord
Zdeněk Kasner | Lokální AI: Reality check
Můj stack: AI-ready laptop + výzkumná infrastruktura
Zdeněk Kasner | Lokální AI: Reality check
Proč AI lokálně
Zdeněk Kasner | Lokální AI: Reality check
Co myslím pod "lokální AI"
= Volně dostupné AI modely, které si může s odpovídajícím hardwarem spustit kdokoliv.
Zdeněk Kasner | Lokální AI: Reality check
Kde ty modely najdu?
Zdeněk Kasner | Lokální AI: Reality check
Proč lokální AI?
Zdeněk Kasner | Lokální AI: Reality check
Otevřené modely jsou ~4 měsíce za state-of-the-art modely
Zdeněk Kasner | Lokální AI: Reality check
Lokální AI: Reality check
Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check
Lokální AI: Reality check
Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check
Lokální AI: Reality check
Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check
Hardwarové nároky
Jsou... 🥲
Co je potřeba řešit:
Vejdete se model do paměti?
Jak rychle poběží?
Pro víc uživatelů?
A co prefill?
(Jak moc to bude topit?)
Zdeněk Kasner | Lokální AI: Reality check
Hardwarové možnosti
(Nadupanější) notebook
AI pracovní stanice
Dedikovaná GPU + server
Zdeněk Kasner | Lokální AI: Reality check
Hardwarové možnosti: odhady pro jednoho uživatele
Notebook Lenovo ThinkPad · Ryzen AI 9 HX PRO 370 64 GB · ~60 000 Kč
AI workstation NVIDIA DGX Spark 128 GB · ~150 000 Kč
GPU NVIDIA RTX PRO 6000 Blackwell 96 GB · ~300 000 Kč
5 TPS
~30B
~70B
~150B strop VRAM (~15 TPS)
25 TPS
~5B
~15B
~100B
67 TPS
~2B
~5B
~30B
Zdeněk Kasner | Lokální AI: Reality check
Demo: co rozjedu offline
Zdeněk Kasner | Lokální AI: Reality check
Lokální AI: Reality check
Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check
Sofwarový ekosystém: Široký, velmi aktivní, relativně vyspělý.
Zdeněk Kasner | Lokální AI: Reality check
Claude Code
OpenCode
Zdeněk Kasner | Lokální AI: Reality check
Software pro konkrétní hardware
CUDA (NVIDIA) je nejlépe podporovaná.
RoCM (AMD) může být těžší zprovoznit.
Lehce nižší výkon na benchmarcích.
Nepodporuje nějaké formáty (NVFP4 ).
MLX (Apple Silicon) vyžaduje speciální formát modelů
Podpora knihoven spíš experimentální.
Zdeněk Kasner | Lokální AI: Reality check
Lokální AI: Reality check
Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check
Proč řešit jazyky zvlášť?
Menší modely mají limitovanou kapacitu → mohou se "soustředit" na výkon v angličtině.
Schopnosti modelu na konkrétním jazyce
≈ množství dostupných trénovacích dat.
Zdeněk Kasner | Lokální AI: Reality check
Modely se hodně drží anglického vyjadřování
deepseek-v4-flash-0731: "což je více než 24 hodin zpět " ("24 hours ago", lepší by bylo "před více než 24 hodinami")
qwen3.6-35b-a3b: "budete mít vráceno 13,46 USD" ("You will be refunded", lepší by bylo "bude vám vráceno" nebo "vrátíme vám")
qwen3.6-27b: "jak to politika vyžaduje" (neobratný překlad "policy", lepší by bylo např. "zásady")
gemma-4-31b-it: "K doplatě :" (místo "k doplacení")
gemma-4-e4b-it: "Také , pro zrušení rezervace potřebuji vědět" (začátek ve stylu "Also, ...", lepší by bylo zařadit slovo "také" do pozdější části věty)
https://lokalni.ai/blog/umi-agenti-cesky-3/
Zdeněk Kasner | Lokální AI: Reality check
Lokální AI: Reality check
Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check
Vibes
Zdeněk Kasner | Lokální AI: Reality check
Reality check: dávají lokální AI modely smysl?
Schopnosti vs. velikost
✅ I středně velké modely dotahují naprostou špičku.
Hardwarové nároky
🟡 Investice do hardwaru může být vysoká.
Softwarový ekosystém
✅ Vyspělý (pozor jen na non-mainstream hardware).
Jazyky
🟡 Čeština krkolomnější, obzvlášť u menších modelů.
Vibes
🟡 Ne tak vymazlené jako Claude (zatím, kvůli velikosti?).
Zdeněk Kasner | Lokální AI: Reality check
Těším se na další diskuzi!
Zdeněk Kasner | Lokální AI: Reality check
Class reference and component gallery: themes/marp-lokalni/README.md
Slide classes: title · part · inverted · blank · center/middle · small/large/huge
One click per data-marpit-fragment, revealed in document order. A .tl-step
holds a year together with its opening figure, so the two arrive on the same
click; every further figure of that year is a click of its own and takes over
the pane on the right. Keep the block free of blank lines, or markdown-it
closes it and wraps the rest in a paragraph. Without fragments (VS Code
preview, PDF) only the last figure shows, because they are a stack.
Component reference: themes/marp-lokalni/theme.css, section 7.
The papers arrive with the slide, the FOMO on a click.
One click per .stack-step: the step brings its plus sign, its stamp and its
figure at once, and the figure takes over the pane on the right. Keep the
block free of blank lines, or markdown-it closes it and wraps the rest in a
paragraph. Component reference: themes/marp-lokalni/theme.css, section 7.
3:1 — the screenshot is the slide, the mark beside it is a caption.
The Epoch chart opens the slide, the AISI one confirms it on a click.
The laptop comes with the slide, the workstation and the GPU one click
each, so the three tiers arrive in order of price.