TL;DR
- Wat: Het Deense Danish Foundation Models-project past de modulaire FlexOlmo-architectuur van Allen AI aan tot een lichtere variant (FlexMoRE) die op gewone hardware draait.
- Waarom relevant: Kleinere organisaties kunnen nu meedoen aan AI-modelontwikkeling zonder dure infrastructuur of het delen van gevoelige data.
- Wat je ermee kunt: Volg of er een vergelijkbaar initiatief voor het Nederlands ontstaat — en overweeg of modulaire AI-samenwerking past bij jouw sector.
Ik viel over een bericht van Allen AI (het onderzoeksinstituut achter onder andere OLMo) waarin ze aankondigen dat het Danish Foundation Models-project hun modulaire FlexOlmo-architectuur ombouwt tot een lichter systeem. Wat mij hier opvalt: het draait niet om het zoveelste grote model, maar om de vraag hoe kleinere partijen samen een taalmodel kunnen bouwen — zonder elkaars data te hoeven zien.
Wat is FlexOlmo en waarom bestaat het?
FlexOlmo is een architectuur van het Allen Institute for AI (Ai2) die werkt volgens het zogeheten mixture-of-experts-principe. In plaats van één groot model dat alles tegelijk leert, bestaat het uit losse modules — "experts" — die elk apart getraind worden op een eigen dataset.
Het slimme zit hem in de samenwerking. Elke organisatie traint lokaal een expert-module op eigen data. Die module wordt vervolgens toegevoegd aan een gedeeld model, zonder dat de onderliggende data ooit gedeeld hoeft te worden. Denk aan het als een puzzel: iedereen maakt thuis een puzzelstukje en stuurt alleen dat stukje op. De volledige puzzel ontstaat centraal, maar niemand heeft het plaatje van een ander gezien.
Dat is relevant voor organisaties die met gevoelige informatie werken — ziekenhuizen, universiteiten, overheden, financiële instellingen — en die onder wetgeving als de AVG en de EU AI Act niet zomaar data kunnen delen. FlexOlmo biedt drie concrete garanties aan data-eigenaren: je kunt bepalen wanneer je data actief is, je kunt je bijdrage op elk moment deactiveren, en je krijgt attributie als je data bij een antwoord wordt gebruikt.
Volgens Ai2 ligt het extractierisico — de kans dat iemand de originele data uit een getrainde expert terughaalt — op slechts 0,7 procent na drie trainingsrondes.
Het probleem: te zwaar voor gewone machines
Er zit een praktisch nadeel aan FlexOlmo. Elke expert-module is in feite zo groot als een volledig standalone model. Dat schaalt prima als je een handvol experts hebt, maar zodra tientallen organisaties hun eigen expert toevoegen, wordt het gecombineerde systeem te groot voor de hardware die de meeste onderzoeksgroepen en bedrijven tot hun beschikking hebben.
Kun je je voorstellen wat dat betekent als je als middelgroot bedrijf wilt meedoen? Je hebt misschien een goede dataset in een specifiek domein — juridisch, medisch, technisch — maar niet het budget voor een serverpark.
FlexMoRE: dezelfde structuur, een derde van het gewicht
Hier komt het Danish Foundation Models-project (DFM) in beeld. Onderzoekers van de Universiteit van Zuid-Denemarken en het Deense bedrijf Ordbogen A/S hebben FlexMoRE ontwikkeld: een variant die de modulaire structuur van FlexOlmo behoudt, maar de experts vervangt door low-rank adapters. Dat zijn compacte benaderingen van wat een volledige expert geleerd heeft, maar dan met aanzienlijk minder parameters.
Het resultaat is opmerkelijk: FlexMoRE presteert beter dan een FlexOlmo-baseline met volledige experts, terwijl het minder dan een derde van de parameters gebruikt. Dat maakt het systeem draaibaar op gewone consumenten-hardware.
Niet elke taak is gelijk
Wat ik interessant vind: het team ontdekte dat de optimale grootte van een adapter afhangt van het type taak. Complexe redeneertaken hebben grotere adapters nodig, terwijl kennisgerichte taken prima werken met kleinere. Die differentiatie maakt de compressie mogelijk zonder dat je merkbaar kwaliteit verliest.
Waarom Denemarken?
DFM is een nationaal Deens initiatief dat open taalmodellen bouwt voor het Deens — een taal die, net als het Nederlands, relatief weinig trainingsdata heeft vergeleken met het Engels. Het project omvat open trainingscorpora, evaluatie-infrastructuur en een reeks open gelicentieerde modellen, allemaal gebouwd met oog op de EU AI Act en de AVG.
Ik vind het eerlijk gezegd bijzonder dat een relatief klein land als Denemarken zo'n gestructureerd initiatief opzet. Het laat zien dat je voor het bouwen van taalmodellen niet per se afhankelijk hoeft te zijn van de grote Amerikaanse techbedrijven — mits je slim samenwerkt.
Wat betekent dit voor Nederlandse ondernemers?
Laat ik vooropstellen: FlexMoRE is op dit moment een onderzoeksproject, geen kant-en-klaar product dat je morgen kunt inzetten. Maar de richting is relevant.
Stel dat je als Nederlandse ondernemer in de zorg, het recht of de financiële sector werkt. Je hebt domeinspecifieke data die waardevol is voor een taalmodel, maar je kunt en mag die niet zomaar naar een cloudprovider sturen. Een modulaire architectuur als FlexMoRE zou het in theorie mogelijk maken om lokaal een expert-module te trainen op je eigen data en die toe te voegen aan een gedeeld model — zonder dat je data je organisatie verlaat.
Voor het Nederlands bestaat er nog geen vergelijkbaar nationaal initiatief op de schaal van DFM, al zijn er wel projecten rondom Nederlandse taalmodellen bij universiteiten en kennisinstellingen. Wat mij betreft is het Deense voorbeeld een interessante blauwdruk. De combinatie van open licenties, modulaire architectuur en privacy-by-design sluit goed aan bij de Europese regelgeving waar ook Nederlandse bedrijven mee te maken hebben.
Praktische overwegingen
Als je dit onderwerp wilt volgen, zijn er een paar dingen om in de gaten te houden:
- Hardware-drempel: FlexMoRE is ontworpen voor gewone hardware. Dat betekent dat de instapkosten voor experimenten aanzienlijk lager liggen dan bij traditionele grote modellen.
- Data-eigenaarschap: De architectuur geeft data-eigenaren expliciete controle. Dat is niet alleen een technisch detail, maar potentieel een juridisch voordeel bij audits en compliance.
- Taalspecifieke experts: Je kunt in principe een expert trainen voor een specifieke taal of een specifiek domein, en die toevoegen aan het grotere model. Voor het Nederlands zou dat betekenen dat je gericht kunt bijdragen zonder het hele model opnieuw te hoeven trainen.
Een signaal, geen eindpunt
Voor mij is dit vooral een signaal dat de AI-wereld niet alleen draait om steeds grotere modellen van steeds grotere bedrijven. Er ontstaat een tegenbeweging: modulair, open, en gericht op samenwerking tussen kleinere partijen. Denemarken loopt daarin voorop met een concreet project. Ik zou het mooi vinden als er in Nederland een vergelijkbaar gesprek op gang komt — niet uit idealisme alleen, maar omdat het voor ondernemers in gereguleerde sectoren simpelweg praktischer kan zijn om op deze manier met AI te werken dan alles bij een grote cloudpartij neer te leggen.