TL;DR
- Wat: NVIDIA heeft een 30B-parametermodel opgesplitst in twee delen die tegelijk tokens genereren, waardoor tekst 2,4× sneller wordt geproduceerd met nauwelijks kwaliteitsverlies.
- Waarom relevant: Snellere AI-tekstgeneratie kan op termijn betekenen dat AI-diensten goedkoper en responsiever worden — ook voor tools die jij als ondernemer gebruikt.
- Wat je ermee kunt: Als je AI-tools inzet voor klantenservice, content of analyse, is dit een ontwikkeling om in de gaten te houden bij je volgende leverancierskeuze.
Ik kwam deze week een aankondiging van NVIDIA tegen die me deed stilstaan. Het bedrijf heeft een taalmodel letterlijk in tweeën geknipt — twee "torens" die samenwerken om tekst sneller te produceren. Het model heet Nemotron-TwoTower, en wat mij opvalt is niet zozeer de techniek, maar wat het zegt over de richting waarin AI-modellen zich ontwikkelen.
Hoe werkt een taalmodel normaal?
Even een stapje terug. De meeste taalmodellen die je kent — denk aan ChatGPT, Claude of Gemini — genereren tekst op dezelfde manier: woord voor woord, of preciezer gezegd, token voor token. Een token is een stukje tekst, vaak een deel van een woord. Het model kiest steeds het volgende stukje op basis van alles wat ervoor kwam.
Dat werkt prima, maar het heeft een nadeel: het is serieel. Stel je een typist voor die elke letter apart moet bedenken voordat de volgende getypt mag worden. Hoe slim die typist ook is, de snelheid heeft een plafond.
Wat NVIDIA anders doet met TwoTower
NVIDIA's onderzoekers hebben het basismodel Nemotron-3-Nano — een model met 30 miljard parameters waarvan er circa 3 miljard tegelijk actief zijn — opgesplitst in twee afzonderlijke "torens":
De context-toren
Dit is het deel dat de tekst begrijpt. Deze toren leest je invoer (de prompt) en alle eerder gegenereerde tekst, en bouwt daar een rijk begrip van op. Dit deel is "bevroren" — het wordt niet meer getraind en werkt exact zoals het originele model.
De denoiser-toren
Dit is het deel dat nieuwe tekst schrijft. En hier zit het verschil: in plaats van één token per keer te produceren, genereert deze toren een heel blok van 16 tokens tegelijk. Die tokens beginnen als ruis — vergelijk het met een onscherpe foto — en worden stap voor stap verfijnd tot leesbare tekst. Dit heet een diffusie-aanpak, dezelfde techniek die ten grondslag ligt aan beeldgeneratoren als Stable Diffusion.
Wat ik bijzonder vind: de denoiser-toren kijkt bij elke laag mee met de corresponderende laag van de context-toren. Het is dus geen losse module die af en toe een samenvatting krijgt, maar een voortdurende, gelaagde samenwerking. Volgens het onderzoekspaper van NVIDIA geeft dit "multi-scale access" tot de representaties van het basismodel.
De cijfers: sneller zonder veel in te leveren
De prestaties die NVIDIA rapporteert zijn concreet:
- 2,42× snellere tekstgeneratie vergeleken met het standaard autoregressive basismodel
- 98,7% van de oorspronkelijke kwaliteit behouden op geaggregeerde benchmarks
Om dat in perspectief te plaatsen: als een AI-chatbot normaal 2 seconden nodig heeft voor een antwoord, zou dezelfde taak met deze architectuur in iets meer dan 0,8 seconde kunnen. Voor algemene kennis en veeltalige taken blijven de scores nagenoeg gelijk. Op gespecialiseerde taken zoals code genereren (HumanEval) en wiskundige problemen (GSM8K) is er een lichte daling — van 79,27 naar 75,58 respectievelijk van 92,49 naar 90,14. Dat is een afweging, geen vrije lunch.
Het model ondersteunt context tot 128.000 tokens, wat neerkomt op zo'n 200 pagina's tekst. Voor de meeste zakelijke toepassingen is dat ruim voldoende.
Wat betekent dit voor jou als ondernemer?
Je gaat dit model waarschijnlijk niet zelf draaien. Voor de volledige twee-torenmodus heb je twee GPU's van 80 GB nodig — dat is serieuze hardware, eerder iets voor een cloudprovider of een gespecialiseerd AI-bedrijf. Maar dat is niet het punt.
Wat mij hier opvalt is de trend die erachter zit. De AI-industrie zoekt intensief naar manieren om modellen sneller te maken zonder ze groter te hoeven maken. Dat is belangrijk, want snelheid en kosten hangen direct samen. Elke keer dat een model een token genereert, kost dat rekenkracht. Als je 2,4× zoveel tokens per seconde kunt produceren, dalen de kosten per gegenereerd woord navenant.
Kun je je voorstellen wat dat betekent als je AI inzet voor klantenservice? Of voor het samenvatten van documenten? Elke versnelling vertaalt zich uiteindelijk in lagere API-kosten of in de mogelijkheid om complexere taken betaalbaar te houden.
Daarnaast is het model open beschikbaar onder NVIDIA's Nemotron Open Model License, die commercieel gebruik toestaat. De gewichten staan op Hugging Face. Dat betekent dat andere bedrijven — ook Nederlandse AI-aanbieders — deze architectuur kunnen overnemen en inbouwen in hun diensten.
Niet de eerste, wel een opvallende aanpak
Ik wil eerlijk zijn: NVIDIA is niet de enige die werkt aan snellere tekstgeneratie. Er zijn eerder technieken als speculative decoding en Medusa ontwikkeld die een vergelijkbaar doel nastreven. Wat TwoTower onderscheidt is dat het een bestaand, bewezen model neemt en dat opsplitst, in plaats van iets nieuws vanaf nul te bouwen. De context-toren is letterlijk het ongewijzigde origineel. Alleen de denoiser is nieuw getraind, op circa 2,1 biljoen tokens — een fractie van de 25 biljoen tokens waarop het basismodel is getraind.
Dat maakt de aanpak potentieel overdraagbaar naar andere modellen. Als je elk goed presterend autoregressive model kunt opsplitsen in een twee-torenvorm, dan is dit niet zomaar één modelrelease maar een architectuurpatroon.
Tot slot
Voor mij is dit vooral een signaal dat de race in AI niet meer alleen draait om grotere modellen, maar steeds meer om slimmere manieren om bestaande modellen te gebruiken. Een model dat 2,4 keer sneller antwoord geeft met vrijwel dezelfde kwaliteit — dat is geen theoretisch verhaal. Dat is iets wat je terugziet in de prijs en snelheid van de AI-tools die je over een jaar gebruikt. En dat vind ik als ondernemer relevanter dan welk parametergetal dan ook.