Lokální AI: Reality check

Jak jsou na tom otevřené modely v Q3 2026?

Zdeněk Kasner

AI Bootcamp | 17. září 2026

Zdeněk Kasner | Lokální AI: Reality check

Moje cesta k (L)LMs

Zdeněk Kasner | Lokální AI: Reality check

Moje cesta k (L)LMs

2018Diplomka na ČVUTstrojový překlad pomocí Transformer modelů
Titulní strana diplomové práce na ČVUT
Schéma neautoregresivního překladu s CTC
2019Doktorát na MFF UKgenerování textu ze strukturovaných dat pomocí jazykových modelů
Sekce o skórování textu pomocí GPT-2
2023Stáž v Kanadě (Mila – Quebec AI Institute)webová navigace s agenty
Ukázka webového agenta ovládajícího Google Kalendář
2025Zakládám předmět (zpátky) na FIT ČVUTNI-NLM: Neuronové jazykové modely
Stránka předmětu NI-NLM s programem přednášek
Zdeněk Kasner | Lokální AI: Reality check

Já v roce 2026

>2000 přečtených paperů

alt text

Stejné FOMO jako všichni ostatní

Zdeněk Kasner | Lokální AI: Reality check

alt text

Zdeněk Kasner | Lokální AI: Reality check

Co je Lokální.AI?

BlogRozcestník blogu Lokální.AI s články
+NewsletterPrvní vydání newsletteru Lokální.AI v e-mailu
+DiscordKarta Discord serveru Lokální.AI s počtem členů
Zdeněk Kasner | Lokální AI: Reality check

Můj stack: AI-ready laptop + výzkumná infrastruktura



Zdeněk Kasner | Lokální AI: Reality check

Proč AI lokálně

Zdeněk Kasner | Lokální AI: Reality check

Co myslím pod "lokální AI"

= Volně dostupné AI modely, které si může s odpovídajícím hardwarem spustit kdokoliv.

Drake odmítá
ChatGPTGeminiClaudeGrok
Drake souhlasí
GemmaQwenDeepSeekKimi
Zdeněk Kasner | Lokální AI: Reality check

Kde ty modely najdu?

center



Zdeněk Kasner | Lokální AI: Reality check

Proč lokální AI?

Zdeněk Kasner | Lokální AI: Reality check

Otevřené modely jsou ~4 měsíce za state-of-the-art modely


Zdeněk Kasner | Lokální AI: Reality check

Lokální AI: Reality check

Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check

Lokální AI: Reality check

Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check

Schopnosti vs. velikost

alt text

https://artificialanalysis.ai/models/open-source

Zdeněk Kasner | Lokální AI: Reality check

Schopnosti vs. velikost

https://artificialanalysis.ai/models

Zdeněk Kasner | Lokální AI: Reality check

Schopnosti vs. velikost


alt text

https://artificialanalysis.ai/models

Zdeněk Kasner | Lokální AI: Reality check

Schopnosti vs. velikost

alt text

https://artificialanalysis.ai/models

Zdeněk Kasner | Lokální AI: Reality check

Schopnosti vs. velikost

alt text
https://artificialanalysis.ai/models

Zdeněk Kasner | Lokální AI: Reality check

Lokální AI: Reality check

Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check

Hardwarové nároky

Jsou... 🥲

Co je potřeba řešit:

  • Vejdete se model do paměti?
  • Jak rychle poběží?
    • Pro víc uživatelů?
    • A co prefill?
  • (Jak moc to bude topit?)

Rychlost: tokeny za sekundu


alt text

https://shir-man.com/tokens-per-second/

Zdeněk Kasner | Lokální AI: Reality check

Hardwarové možnosti


(Nadupanější) notebook


center

AI pracovní stanice


center

Dedikovaná GPU + server


center

Zdeněk Kasner | Lokální AI: Reality check

Hardwarové možnosti: odhady pro jednoho uživatele

NotebookLenovo ThinkPad · Ryzen AI 9 HX PRO 370
64 GB · ~60 000 Kč
AI workstationNVIDIA DGX Spark
128 GB · ~150 000 Kč
GPUNVIDIA RTX PRO 6000 Blackwell
96 GB · ~300 000 Kč
5 TPS ~30B ~70B ~150Bstrop VRAM (~15 TPS)
25 TPS ~5B ~15B ~100B
67 TPS ~2B ~5B ~30B
Zdeněk Kasner | Lokální AI: Reality check

Demo: co rozjedu offline

Zdeněk Kasner | Lokální AI: Reality check

Vyplatí se externí poskytovatelé?

center

https://openrouter.ai/models?order=most-popular

Zdeněk Kasner | Lokální AI: Reality check

Lokální AI: Reality check

Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check

Sofwarový ekosystém: Široký, velmi aktivní, relativně vyspělý.


Deployment

vLLM llama.cpp LM Studio Ollama

Agentní harnesses

opencode Pi Oh my pi Claude Code

Zdeněk Kasner | Lokální AI: Reality check

Claude Code

alt text

OpenCode

alt text

Zdeněk Kasner | Lokální AI: Reality check

Software pro konkrétní hardware

  • CUDA (NVIDIA) je nejlépe podporovaná.
  • RoCM (AMD) může být těžší zprovoznit.
    • Lehce nižší výkon na benchmarcích.
    • Nepodporuje nějaké formáty (NVFP4 👉).
  • MLX (Apple Silicon) vyžaduje speciální formát modelů
    • Podpora knihoven spíš experimentální.
Zdeněk Kasner | Lokální AI: Reality check

Lokální AI: Reality check

Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check

Proč řešit jazyky zvlášť?

Menší modely mají limitovanou kapacitu → mohou se "soustředit" na výkon v angličtině.





Schopnosti modelu na konkrétním jazyce
≈ množství dostupných trénovacích dat.

Zdeněk Kasner | Lokální AI: Reality check

Co čeština?


Více na https://lokalni.ai/blog/:


alt text

alt text

alt text

Zdeněk Kasner | Lokální AI: Reality check

Co čeština?

Llama 3.2-3B


center

https://lokalni.ai/blog/umi-agenti-cesky-2/

Zdeněk Kasner | Lokální AI: Reality check

Co čeština?

Gemma-4-E4B


center

https://lokalni.ai/blog/umi-agenti-cesky-2/

Zdeněk Kasner | Lokální AI: Reality check

Co čeština?

DeepSeek-v4-Flash


center

https://lokalni.ai/blog/umi-agenti-cesky-2/

Zdeněk Kasner | Lokální AI: Reality check

Angličtina > čeština

center

https://lokalni.ai/blog/umi-agenti-cesky-3/

Zdeněk Kasner | Lokální AI: Reality check

Modely se hodně drží anglického vyjadřování

  • deepseek-v4-flash-0731: "což je více než 24 hodin zpět" ("24 hours ago", lepší by bylo "před více než 24 hodinami")
  • qwen3.6-35b-a3b: "budete mít vráceno 13,46 USD" ("You will be refunded", lepší by bylo "bude vám vráceno" nebo "vrátíme vám")
  • qwen3.6-27b: "jak to politika vyžaduje" (neobratný překlad "policy", lepší by bylo např. "zásady")
  • gemma-4-31b-it: "K doplatě:" (místo "k doplacení")
  • gemma-4-e4b-it: "Také, pro zrušení rezervace potřebuji vědět" (začátek ve stylu "Also, ...", lepší by bylo zařadit slovo "také" do pozdější části věty)

https://lokalni.ai/blog/umi-agenti-cesky-3/

Zdeněk Kasner | Lokální AI: Reality check

Lokální AI: Reality check

Schopnosti vs. velikost
Hardwarové nároky
Softwarový ekosystém
Jazyky
Vibes
Zdeněk Kasner | Lokální AI: Reality check

Vibes

Zdeněk Kasner | Lokální AI: Reality check

Reality check: dávají lokální AI modely smysl?

Schopnosti vs. velikost ✅ I středně velké modely dotahují naprostou špičku.
Hardwarové nároky 🟡 Investice do hardwaru může být vysoká.
Softwarový ekosystém ✅ Vyspělý (pozor jen na non-mainstream hardware).
Jazyky 🟡 Čeština krkolomnější, obzvlášť u menších modelů.
Vibes 🟡 Ne tak vymazlené jako Claude (zatím, kvůli velikosti?).
Zdeněk Kasner | Lokální AI: Reality check

Těším se na další diskuzi!

Zdeněk Kasner Zdeněk Kasner zdenekkasner.cz
lokální ai Přidejte se na Discord! lokalni.ai
Zdeněk Kasner | Lokální AI: Reality check

Class reference and component gallery: themes/marp-lokalni/README.md Slide classes: title · part · inverted · blank · center/middle · small/large/huge

One click per data-marpit-fragment, revealed in document order. A .tl-step holds a year together with its opening figure, so the two arrive on the same click; every further figure of that year is a click of its own and takes over the pane on the right. Keep the block free of blank lines, or markdown-it closes it and wraps the rest in a paragraph. Without fragments (VS Code preview, PDF) only the last figure shows, because they are a stack. Component reference: themes/marp-lokalni/theme.css, section 7.

The papers arrive with the slide, the FOMO on a click.

One click per .stack-step: the step brings its plus sign, its stamp and its figure at once, and the figure takes over the pane on the right. Keep the block free of blank lines, or markdown-it closes it and wraps the rest in a paragraph. Component reference: themes/marp-lokalni/theme.css, section 7.

3:1 — the screenshot is the slide, the mark beside it is a caption.

The Epoch chart opens the slide, the AISI one confirms it on a click.

The laptop comes with the slide, the workstation and the GPU one click each, so the three tiers arrive in order of price.