Ik las deze week over een paper met een tamelijk saaie naam — TriAttention — en toch bleef ik erbij hangen. Onderzoekers van MIT, NVIDIA en Zhejiang University claimen dat ze het geheugengebruik van grote taalmodellen met een factor 10,7 omlaag kunnen brengen, zonder dat de nauwkeurigheid eronder lijdt. Voor mij als iemand die elke week ondernemers spreekt die AI lokaal of op eigen hardware willen draaien, is dat een cijfer dat ik niet zomaar kan laten liggen.
Wat is hier precies aan de hand
Het probleem begint bij een trend die je waarschijnlijk al gemerkt hebt: moderne AI-modellen "denken" steeds langer voordat ze antwoord geven. Modellen als o3, DeepSeek-R1 en vergelijkbare redeneerders genereren interne gedachtenketens van tienduizenden tokens voor ze met een conclusie komen. Dat levert betere antwoorden op — bij wiskunde, bij code, bij complexe analyses — maar het heeft een lelijke bijwerking.
Elk token dat het model genereert, wordt opgeslagen in iets dat de key-value cache heet, kortweg KV-cache. Je kunt het zien als het kortetermijngeheugen van het model tijdens één gesprek. Hoe langer het model denkt, hoe voller die cache wordt. En die cache vreet GPU-geheugen. Bij 32.000 tokens loop je op een normale consumenten-GPU gewoon tegen een out-of-memory foutmelding aan.
Dat is de muur waar de onderzoekers het over hebben.
Wat TriAttention anders doet
De gangbare oplossing is compressie: de KV-cache opschonen door te beslissen welke tokens je mag vergeten. Bestaande methoden kijken daarvoor naar recente "attention patterns" — ze meten waar het model zojuist zijn aandacht op richtte en gooien wat onbelangrijk leek weg.
Het probleem, zo laat de paper zien, is dat die patronen onbetrouwbaar zijn. Door de manier waarop moderne modellen positie verwerken (rotary positional encoding, oftewel RoPE), draaien de vectoren van queries letterlijk met hun positie mee. Wat vandaag belangrijk lijkt, ziet er op een andere positie totaal anders uit. Je probeert een stabiel oordeel te vellen op basis van iets wat continu beweegt.
TriAttention kijkt ergens anders. In plaats van de geroteerde queries te bestuderen, duiken de onderzoekers in de ruwe vectoren — vóór de rotatie. Daar blijken queries en keys geconcentreerd rond vaste, niet-nul centra. Die centra bewegen niet mee. En het mooie: die centra volgen een trigonometrisch patroon — vandaar de naam — dat voorspelt welke afstanden tussen tokens deze "aandachtskop" later belangrijk zal vinden.
Met andere woorden: in plaats van achteraf te raden wat belangrijk wás, kun je vooraf uitrekenen wat belangrijk zál zijn. Ik vind die omkering eerlijk gezegd elegant.
De cijfers op een rij
Op de AIME25-benchmark (een pittige wiskunde-test met generaties van 32K tokens) behaalt TriAttention volgens de auteurs:
- Dezelfde nauwkeurigheid als volledige attention
- 2,5x hogere doorvoer (throughput)
- 10,7x minder KV-cache geheugen
Bestaande methoden zoals R-KV halen bij hetzelfde geheugenbudget ongeveer de helft van de nauwkeurigheid. Dat is een groot gat. De code staat op GitHub bij onderzoeker Weian Mao, dus het is in principe verifieerbaar. Wel wil ik eerlijk zeggen: het is een recente paper, en ik heb nog geen onafhankelijke reproductie gezien. Cijfers uit paper-claims zijn geen garantie voor productie-prestaties.
Waarom dit voor een Nederlandse ondernemer relevant is
Je denkt nu misschien: leuk, een wiskundetruc in een onderzoeksgroep, wat moet ik daarmee in mijn bedrijf? Daar wil ik twee dingen over zeggen.
Lokale AI wordt praktischer
Veel MKB-ondernemers met wie ik spreek willen AI-modellen lokaal of op Europese infrastructuur draaien. Redenen: vertrouwelijke data, AVG, klantvertrouwen, en soms gewoon kostenbeheersing. De grootste praktische drempel is vaak niet het model zelf — die zijn open source te krijgen — maar het GPU-geheugen dat nodig is om ze zinvol te gebruiken.
Stel dat je als ondernemer een redeneermodel lokaal wil inzetten voor bijvoorbeeld juridische analyses of complexe offerteberekeningen. Zonder compressie heb je een datacenter-GPU nodig die al snel tienduizenden euro's kost. Met 10x minder geheugen zou hetzelfde model misschien op hardware passen van een fractie van die prijs. Dat verschuift de grens tussen "dit kan alleen OpenAI of Google" en "dit kan ik in eigen beheer draaien".
Denk-tijd wordt betaalbaarder
Voor bedrijven die AI via een API afnemen geldt iets soortgelijks. De prijs van redenerende modellen schaalt mee met het aantal tokens. Als inferentie 2,5 keer sneller wordt, drukt dat direct op de rekening bij je cloud-leverancier — mits die de techniek adopteert. En daar zit de onzekerheid: of OpenAI, Anthropic of de grote Europese aanbieders zoals Mistral dit overnemen, moeten we afwachten. Maar dit soort optimalisaties vindt meestal wel zijn weg naar productie, al duurt dat doorgaans maanden tot een jaar.
Wat ik hier vooral bijzonder aan vind
Wat mij aanspreekt is de denkwijze. De onderzoekers probeerden niet meer data op te slaan, of slimmer te raden wat je weg kon gooien. Ze zochten een stabiel fundament onder een bewegend oppervlak. Dat is een andere manier van probleemoplossing dan ik meestal zie in het AI-veld, waar de reflex vaak is: schaal op, meer parameters, meer geheugen, meer compute.
Kun je je voorstellen wat dit betekent voor de bredere richting van AI? Als steeds meer onderzoekers onder de motorkap gaan kijken naar wat er wiskundig gebeurt, in plaats van er simpelweg meer hardware tegenaan te gooien, wordt de technologie toegankelijker voor bedrijven die niet over een hyperscaler-budget beschikken. En dat is — denk ik — belangrijker voor de Nederlandse economie dan het zoveelste recordmodel van een Amerikaanse partij.
Slot
TriAttention is geen product dat je morgen installeert. Het is een onderzoeksresultaat, en er zit afstand tussen een paper op arXiv en iets dat je betrouwbaar in je eigen stack gebruikt. Maar voor mij is dit vooral een signaal dat de hoek "efficiëntie" in AI nog lang niet is uitgewerkt. De komende jaren worden modellen waarschijnlijk niet alleen groter, maar ook slimmer opgebouwd. Voor ondernemers die worstelen met de vraag of AI lokaal haalbaar is, is dat nieuws dat ik graag in de gaten blijf houden.