Georgi Gerganov, de ontwikkelaar achter llama.cpp, postte een demo die Hugging Face vervolgens breed deelde. Op een Mac Studio M2 Ultra — een machine van drie jaar oud — draait hij Gemma 4 26B A4B in volle kwaliteit, met ingebouwde webinterface, tool-koppelingen en een snelheid van rond de 300 tokens per seconde. Ik viel erover omdat het in één klap samenvat waar lokaal draaien nu staat: niet meer theoretisch, maar iets dat gewoon werkt.
Wat er precies gedemonstreerd is
De opstelling bestaat uit drie stukken die het verschil maken.
llama.cpp is een inference-engine — de software die een taalmodel laadt en laat antwoorden. Geschreven in C/C++, oorspronkelijk zodat Meta's LLaMA-model op een MacBook kon draaien. Inmiddels is het de de facto standaard voor lokale AI.
Gemma 4 26B A4B is Google's open model uit de Gemma 4-familie. De naam oogt onhandig, maar betekent iets specifieks: 26 miljard parameters in totaal, waarvan er per token slechts ongeveer 4 miljard actief zijn. Dat is een mixture-of-experts-architectuur. Simpel gezegd: het model is groot, maar bij elke stap wordt maar een deel gebruikt. Dat maakt het verrassend snel voor zijn omvang.
Q8_0 is de kwantisatie — de manier waarop de parameters gecomprimeerd zijn. 8-bit, wat in de praktijk geldt als volledige kwaliteit voor dit soort modellen. Geen afstrippen voor extra snelheid.
De hardware: Mac Studio M2 Ultra, drie jaar oud. Geen recente aanschaf, geen cloud-GPU. Gewoon een workstation dat vandaag tweedehands voor een fractie van de nieuwprijs te vinden is.
Wat 300 tokens per seconde betekent
Tokens zijn stukjes woord. Eén token is ruwweg driekwart van een Nederlands woord. 300 tokens per seconde komt neer op zo'n 225 woorden per seconde. Om dat te plaatsen: een gemiddelde lezer haalt rond de vier woorden per seconde. Het model produceert dus ongeveer vijftig keer sneller tekst dan jij die kunt lezen.
Dat klinkt als overkill, maar dat is het in de praktijk niet. Zodra je een model voor iets anders gebruikt dan een chatgesprek — bijvoorbeeld een stapel documenten samenvatten, of e-mailconcepten genereren op basis van klantdata — telt die snelheid ineens wel. Honderd offertes in batch samenvatten is dan geen geduldspelletje meer.
Gerganov noemt ook "prompt speculative decoding". Dat is een techniek waarbij een klein, snel model alvast gokt welke tokens er komen, en het grote model die gok alleen hoeft te controleren. Als de gok klopt, scheelt het werk. Klopt 'ie niet, dan is er netto niets verloren. Meer snelheid zonder kwaliteitsverlies.
Waarom dit relevant kan zijn voor je bedrijf
Voor een MKB-ondernemer zie ik drie punten die ertoe doen.
Data blijft op je eigen hardware
Alles wat je in het model stopt — klantgegevens, offertes, interne documenten, personeelsinformatie — verlaat je netwerk niet. Voor de AVG betekent dat geen grensoverschrijdende doorgifte, geen verwerkersovereenkomst met een Amerikaanse leverancier, geen zorgen over wat er aan de overkant met je prompts gebeurt. Voor bedrijven in de zorg, advocatuur, accountancy of met gevoelige bedrijfsdata is dat geen luxe maar vaak een vereiste.
Kosten werken anders
Bij een cloud-API betaal je per token. Gebruik je het veel, dan schaalt je rekening mee. Lokaal draaien draait dat om: je betaalt eenmalig voor hardware en daarna is gebruik — in Clement Delangue's woorden op X — "free, as in $0 no matter how much you use". Als je workflow honderden of duizenden AI-interacties per dag bevat, is dat een andere rekensom dan je gewend bent.
Bestaande hardware blijft langer nuttig
Dit vind ik eerlijk gezegd het interessantste. De Mac Studio waarop dit draait is drie jaar oud. Geen museumstuk, maar het laat wel zien dat hardware die je misschien al hebt staan voor video-editing, development of zware analyses — gewoon meekomt. Je hoeft niet per se te investeren in de nieuwste chip om hier iets mee te kunnen.
De MCP-koppeling is misschien wel de grootste sprong
Wat mij in deze demo het meest opvalt, is niet de snelheid maar de MCP-ondersteuning "out of the box". MCP staat voor Model Context Protocol: een standaard waarmee een taalmodel kan praten met externe tools. Webzoekopdrachten, GitHub, Hugging Face, eigen databases — allemaal zonder dat je lijmcode hoeft te schrijven.
In maart 2026 is de volledige MCP-client binnen llama.cpp gemerged, een pull request van meer dan vijftienduizend regels code. Dat betekent dat je lokale model nu niet alleen tekst uitpoept, maar ook daadwerkelijk dingen kan doen: een webpagina ophalen, een bestand lezen, code uitvoeren. Kun je je voorstellen wat dat betekent voor een offerte-tool die op je eigen server draait en zelf de laatste productprijzen van je site kan lezen? Lokaal draaien was lang synoniem met "geen internet, alleen wat het model zelf weet". Dat is het nu niet meer.
Waar de nuance zit
Ik wil er wel een paar kanttekeningen bij zetten, want zo'n demo oogt altijd glad.
Ten eerste: die 300 tokens per seconde geldt met speculative decoding, korte prompts en optimale condities. Voor langere contexten en zwaardere taken zakt de snelheid. Het is een plafond, geen gemiddelde.
Ten tweede: een Mac Studio M2 Ultra is geen impulsaanschaf. Nieuw begint die rond de vier- à vijfduizend euro; tweedehands zakt dat flink maar het blijft een serieuze uitgave. Voor kleinere modellen zoals Gemma 4 E2B of E4B zijn de eisen veel lager — daar kom je weg met een gemiddelde laptop.
Ten derde: de installatie vergt technische kennis. llama.cpp bouwen, het juiste modelformaat downloaden, de server configureren, MCP-tools aanhaken — dat doet je accountmanager niet even in zijn koffiepauze. Je hebt iemand nodig die dit opzet en onderhoudt.
Tot slot
Stel dat je als ondernemer de komende twee jaar serieus met AI aan de slag wilt en gevoelige data hebt, dan is de vraag niet meer óf lokaal draaien kan. Die vraag is beantwoord. De vraag wordt: past het bij de manier waarop jouw team werkt, en heb je iemand die de opstelling voor je onderhoudt?
Voor mij is deze demo vooral een markeerpunt. De combinatie van redelijke hardware, een open model in volle kwaliteit, een werkende webinterface en tool-integraties uit de doos — dat stond er een paar jaar terug simpelweg nog niet. Dat het nu wel staat, en op een computer die drie jaar oud is, zegt meer over waar het heen gaat dan welke benchmark dan ook.