TL;DR
- Wat: Onderzoekers van Meta, Google DeepMind, Cornell en NVIDIA maten dat GPT-achtige taalmodellen maximaal 3,6 bits per parameter kunnen onthouden.
- Waarom relevant: Dit getal helpt inschatten hoe reëel het risico is dat een AI-model jouw bedrijfsdata letterlijk opslaat en teruggeeft.
- Wat je ermee kunt: Bij het kiezen of inrichten van AI-tools kun je gerichter vragen stellen over hoe een leverancier omgaat met trainingsdata en memorisatie.
Ik stuitte op een tweet van NVIDIA AI over een wetenschappelijk paper dat als 'oral' werd gepresenteerd op ICML, een van de belangrijkste AI-conferenties ter wereld. De onderzoekers stellen een simpele maar fundamentele vraag: hoeveel kan een taalmodel eigenlijk onthouden? Het antwoord — zo'n 3,6 bits per parameter — klinkt misschien abstract, maar heeft concrete gevolgen voor iedereen die met AI-tools werkt.
Wat onderzocht werd (en waarom dat lastig is)
Het paper heet "How much do language models memorize?" en is geschreven door onderzoekers van Meta, Google DeepMind, Cornell University en NVIDIA. Wat het bijzonder maakt is dat ze een methode hebben ontwikkeld om twee dingen uit elkaar te trekken die normaal door elkaar lopen:
- Onbedoelde memorisatie — informatie die een model onthoudt over specifieke trainingsdata. Denk aan een fragment uit een e-mail of een telefoonnummer dat in de trainingsset zat.
- Generalisatie — wat het model heeft geleerd over de structuur van taal en kennis in het algemeen. Niet een specifiek feit, maar het patroon erachter.
Dat onderscheid klinkt logisch, maar tot nu toe was het technisch lastig om die twee te scheiden. De onderzoekers trainden honderden transformer-modellen, van 500.000 tot 1,5 miljard parameters, en maten steeds hoeveel informatie er per parameter werd opgeslagen.
3,6 bits — wat betekent dat?
Een "bit" is de kleinste eenheid van informatie: een ja of nee, een 0 of 1. Met 3,6 bits kun je ongeveer 12 verschillende waarden coderen. Stel je voor dat elke parameter in een AI-model — en een groot model heeft er miljarden — niet meer dan zo'n 12 keuzemogelijkheden kan vasthouden. Dat is verrassend weinig als je bedenkt dat deze modellen getraind worden op het hele internet.
Wat mij hier opvalt: dit getal was consistent over al die honderden experimenten. Of het model nu klein was of groot, de capaciteit bleef rond de 3,6 bits per parameter hangen. Dat wijst op een soort fundamentele limiet, niet een toevalligheid.
Wanneer stopt een model met onthouden?
Een van de interessantste bevindingen vind ik het fenomeen dat de onderzoekers beschrijven rondom "grokking". Dat gaat zo: een model begint met het opslaan van trainingsdata — het onthoudt specifieke voorbeelden. Op een gegeven moment raakt die opslagcapaciteit vol. Dan gebeurt er iets opmerkelijks: het model begint beter te worden, niet door meer te onthouden, maar door patronen te herkennen. De onbedoelde memorisatie neemt af, de generalisatie neemt toe.
Kleinere datasets moedigden meer memorisatie aan. Bij grotere datasets schakelde het model sneller over naar generaliseren. Er is zelfs een tijdelijke dip in prestaties — een soort "dubbele afdaling" — voordat de generalisatie het overneemt.
Ik denk dat dit voor ondernemers een nuttig mentaal model is: een AI-tool die je intern inzet op een kleine dataset, heeft meer kans om specifieke gegevens te memoriseren dan een groot model dat op enorm veel data is getraind.
Wat dit betekent voor privacy en de AVG
Hier wordt het voor Nederlandse ondernemers concreet. De Autoriteit Persoonsgegevens benadrukt dat AI-modellen die zijn getraind op persoonsgegevens niet automatisch als anoniem mogen worden beschouwd. En vanaf augustus 2026 treedt de regelgeving voor hoog-risico AI-systemen onder de EU AI Act volledig in werking.
Dit onderzoek biedt een stukje nuance in dat debat. Als een model een fundamentele capaciteitslimiet heeft van 3,6 bits per parameter, dan kan het niet alles onthouden wat het heeft gezien. Dat is relevant. Het betekent niet dat het risico verdwijnt — een model kan nog steeds opvallende, unieke datapunten onthouden, zoals een ongebruikelijk e-mailadres of een zeldzame naam. Maar het idee dat een taalmodel complete klantdossiers letterlijk opslaat, wordt door deze bevindingen minder waarschijnlijk.
Een kanttekening
Ik wil hier wel eerlijk zijn: dit paper meet capaciteit in een gecontroleerde onderzoeksomgeving. In de praktijk gebruiken bedrijven als OpenAI, Google en Anthropic modellen die orders van grootte groter zijn, met andere trainingsmethoden en extra beveiligingslagen. De 3,6 bits per parameter is een nuttig referentiepunt, maar geen garantie dat jouw data veilig is bij een willekeurige AI-aanbieder.
Kun je je voorstellen wat dit betekent als je als ondernemer overweegt om een AI-tool te finetunen op eigen klantdata? Het maakt uit hoe groot je dataset is ten opzichte van het model. Een klein model op een kleine dataset is het meest vatbaar voor memorisatie.
Wat je hier praktisch mee kunt
Stel dat je als ondernemer een AI-toepassing evalueert — een chatbot, een samenvattingstool, een klantenservice-assistent. Dan geeft dit onderzoek je een concreter kader om vragen te stellen:
- Hoe groot is het model ten opzichte van de trainingsdata? Een model dat relatief groot is voor de hoeveelheid data waarop het is getraind, heeft meer kans om specifieke gegevens te onthouden.
- Wordt er gefinetuned op mijn bedrijfsdata? En zo ja, welke maatregelen zijn er tegen memorisatie?
- Kan de leverancier aantonen dat het model generaliseert in plaats van memoriseert? Dat is nu een meetbare eigenschap — niet alleen een belofte.
Dit zijn geen technische vragen die je zelf hoeft te beantwoorden. Maar het zijn wél vragen die je aan een leverancier kunt stellen, en waarvan je mag verwachten dat ze een helder antwoord hebben.
Een vaste maat voor iets dat onzichtbaar leek
Wat mij het meest bijblijft aan dit onderzoek is dat het iets meetbaar maakt wat tot nu toe vaag was. "Het model onthoudt dingen" is een zin die je vaak hoort, maar die weinig zegt. Nu is er een getal: 3,6 bits per parameter. Dat is niet het definitieve antwoord op alle privacyvragen rondom AI. Maar het is een stuk bruikbaarder dan buikgevoel.
Voor mij is dit vooral een signaal dat het gesprek over AI en data volwassener wordt. Niet "AI onthoudt alles" en niet "AI vergeet alles" — maar een genuanceerder beeld met meetbare grenzen. En dat is precies het soort kennis waarmee je als ondernemer betere beslissingen kunt nemen.