Hoe nieuwe world models een 3D-wereld onthouden

Hoe nieuwe world models een 3D-wereld onthouden

TL;DR

  • Wat: Een nieuwe generatie AI-'world models' bouwt een intern 3D-wereldbeeld op in plaats van steeds één frame opnieuw te tekenen.
  • Waarom relevant: Dit maakt interactieve digitale omgevingen — van productvisualisaties tot digitale tweelingen — sneller, consistenter en goedkoper.
  • Wat je ermee kunt: Volg de ontwikkeling van tools als World Labs' RTFM en Marble; ze naderen het punt waarop ze bruikbaar worden voor e-commerce, vastgoed en trainingssimulaties.

Ik stuitte op een post van Santiago Valdarrama (@svpino) waarin hij uitlegt hoe de meeste world models vandaag werken — en waarom een nieuwere architectuur daar fundamenteel van afwijkt. Wat mij triggerde: het verschil is niet alleen technisch interessant, het raakt direct aan wat digitale omgevingen straks voor ondernemers kunnen betekenen.

Wat is een world model eigenlijk?

Een world model is een AI-systeem dat probeert te begrijpen hoe de wereld eruitziet en zich gedraagt, zodat het nieuwe situaties kan voorspellen of simuleren. Denk aan een soort digitale fantasie: het model heeft geleerd van miljoenen uren video en beelden, en kan op basis daarvan een omgeving 'bedenken' waar je doorheen kunt navigeren.

De bekendste voorbeelden zijn Genie 3 van Google DeepMind — dat interactieve 3D-werelden genereert op 24 frames per seconde — en OpenAI's Sora, dat video genereert vanuit tekstbeschrijvingen. Beide systemen zijn indrukwekkend, maar ze delen een architectuur die nu onder druk staat.

Het probleem met één frame tegelijk

De meeste world models werken autoregressief. Dat is een technische term voor iets simpels: ze tekenen steeds één plaatje, kijken naar dat plaatje, en tekenen dan het volgende. Zoals Valdarrama het beschrijft: als je in zo'n wereld rondloopt en naar links kijkt, moet het model dat nieuwe beeld helemaal opnieuw berekenen op basis van wat het net heeft getekend.

Dat klinkt logisch, maar het heeft twee nadelen. Ten eerste stapelen fouten zich op. Elk nieuw frame is gebaseerd op het vorige, en kleine onnauwkeurigheden groeien. Na een paar minuten kan de wereld er heel anders uitzien dan bedoeld. Ten tweede is het langzaam — elk frame moet wachten op het vorige.

Stel dat je als ondernemer een digitale showroom wilt maken waar klanten doorheen kunnen lopen. Met een frame-voor-frame model loop je het risico dat de ruimte er na een paar stappen inconsistent uitziet. Een deur die je net passeerde, kan verdwijnen als je je omdraait.

De andere aanpak: een intern 3D-wereldbeeld

De architectuur waar Valdarrama enthousiast over is, pakt het anders aan. In plaats van steeds één frame te tekenen, bouwt het model een intern begrip op van de 3D-ruimte. Het onthoudt waar objecten staan, hoe de ruimte in elkaar zit, en genereert nieuwe beelden vanuit dat begrip.

Een concreet voorbeeld hiervan is RTFM (Real-Time Frame Model) van World Labs, het bedrijf van AI-onderzoeker Fei-Fei Li. RTFM slaat eerder gegenereerde frames op als 'ruimtelijk geheugen' — elk frame krijgt een 3D-positie en oriëntatie mee. Als je je hoofd draait, hoeft het model niet alles opnieuw te verzinnen. Het kijkt in zijn geheugen welke frames dichtbij die positie liggen en bouwt daar consistent op voort.

Wat mij hier opvalt: het model vergeet de wereld niet als je je omdraait. Dat klinkt als een detail, maar het is een fundamenteel verschil. De deur die je net passeerde, is er nog steeds.

Waarom dit ertoe doet voor ondernemers

Ik denk dat de meeste ondernemers zich nu afvragen: leuk, maar wat heb ik eraan? Eerlijk gezegd denk ik dat de directe toepassingen dichterbij zijn dan je verwacht.

Digitale tweelingen en simulaties

Een world model dat een consistente 3D-wereld onthoudt, is precies wat je nodig hebt voor een digitale tweeling — een virtuele kopie van je fabriek, kantoor of magazijn. Bedrijven als World Labs richten zich hier expliciet op. Marble, hun eerste commerciële product, genereert bewerkbare 3D-omgevingen vanuit foto's, tekst of video die je kunt importeren in game-engines als Unity of Unreal.

Voor een MKB-er in de maakindustrie of logistiek zou dat kunnen betekenen: een 3D-model van je productielijn dat je kunt gebruiken om scenario's te testen voordat je investeert in een verbouwing. Dat is geen sciencefiction — het is waar World Labs ruim een miljard dollar aan funding voor heeft opgehaald, onder andere van Autodesk en NVIDIA.

Productvisualisatie en vastgoed

Kun je je voorstellen wat dit betekent als je meubels, keukens of woningen verkoopt? Een klant stuurt een foto van de ruimte, en het model genereert een interactieve 3D-omgeving waarin ze kunnen rondlopen met jouw producten erin. Geen dure 3D-artist nodig, geen weken wachten op renders.

Training en onboarding

Een denkbare situatie zou zijn: je hebt een nieuwe medewerker die een complexe machine moet leren bedienen. In plaats van een handleiding of een video krijgt die medewerker een interactieve simulatie die zich gedraagt als de echte omgeving.

De nuance: het is nog vroeg

Ik wil wel eerlijk zijn: we zitten nog in een fase waarin deze technologie snel beweegt maar niet volwassen is. RTFM draait op één H100-GPU — dat is indrukwekkend voor onderzoekers, maar een H100 is nog steeds een chip van tienduizenden euro's. De kwaliteit is wisselend, en de meeste tools zijn nog niet plug-and-play voor een gemiddeld bedrijf.

Wat ook opvalt: Fei-Fei Li zelf waarschuwde onlangs dat de term 'world model' inmiddels drie heel verschillende dingen kan betekenen — een renderer, een simulator, of een planner. Niet elk world model doet hetzelfde, en als ondernemer is het belangrijk om te begrijpen welk type je nodig hebt voordat je investeert.

Een stille verschuiving

Voor mij is dit vooral een signaal dat AI-gegenereerde omgevingen verschuiven van 'leuk trucje' naar iets dat structureel bruikbaar wordt. De overgang van frame-voor-frame naar een persistent 3D-wereldbeeld is het soort architectuurverandering dat je niet ziet als eindgebruiker, maar dat bepaalt of een product daadwerkelijk betrouwbaar genoeg wordt om op te bouwen. Ik ga dit met interesse volgen — niet omdat het spectaculair is, maar omdat het een van die stille verschuivingen is die over twee jaar heel gewoon zullen voelen.