De release van ARC-AGI-3 heeft de AI-wereld op zijn kop gezet. Geen enkel model, zelfs niet de meest geavanceerde zoals GPT-4o, Claude 3.5 of Grok, komt boven de 1% score uit. Dit nieuwe benchmark, ontwikkeld door een compleet game studio, toont pijnlijk duidelijk aan hoe ver we nog verwijderd zijn van echte algemene intelligentie.
Wat is ARC-AGI eigenlijk?
ARC-AGI staat voor Abstraction and Reasoning Corpus for Artificial General Intelligence. Het is een benchmark bedacht door François Chollet, de bedenker van Keras en een van de meest gerespecteerde stemmen in de AI-community.
In tegenstelling tot traditionele benchmarks die vooral kennis en patronen uit enorme datasets testen, meet ARC-AGI iets veel fundamentelers: het vermogen om abstract te redeneren en nieuwe problemen op te lossen met minimale voorbeelden.
Waarom is dit benchmark anders?
De meeste AI-tests vandaag de dag lijken op een overhoring waarbij de student het antwoord al ergens in zijn aantekeningen heeft staan. ARC-AGI is meer als een mondeling examen waarbij je een compleet nieuw onderwerp krijgt en ter plekke moet bewijzen dat je kunt nadenken.
De taken bestaan uit eenvoudige gekleurde patronen in een grid. Het model krijgt twee of drie voorbeelden van een transformatie en moet vervolgens zelf voorspellen wat er met een nieuw grid gebeurt. Klinkt simpel, maar het blijkt extreem moeilijk voor huidige AI-systemen.
De schokkende resultaten van ARC-AGI-3
De tweet die deze week viral ging sprak boekdelen: "No model gets more than 1%". Zelfs de allersterkste modellen van OpenAI, Anthropic en Google komen niet verder dan een paar procent.
Dit is des te opvallender omdat we de afgelopen maanden juist zoveel claims hebben gehoord over AGI die eraan komt. Bedrijven en influencers verkondigen regelmatig dat we "bijna" of "binnen een paar jaar" AGI zullen bereiken. ARC-AGI-3 laat zien dat we misschien toch niet zo dichtbij zijn als sommigen beweren.
Een compleet game studio voor één benchmark
Wat dit benchmark extra bijzonder maakt, is de manier waarop het is ontwikkeld. In plaats van simpelweg nieuwe taken te verzinnen, hebben de makers een heel game studio opgezet. Dit team ontwerpt continu nieuwe, creatieve en eerlijke taken die geen van de bestaande AI-systemen al in hun trainingsdata kunnen hebben gezien.
Dit is cruciaal. Veel andere benchmarks lijden aan "data contamination" – de testopgaven zijn al ergens op het internet verschenen en dus heeft het model ze tijdens de training al gezien. Bij ARC-AGI is dat vrijwel uitgesloten.
Waarom falen zelfs de beste modellen?
Huidige AI-systemen zijn extreem goed in patroonherkenning op grote schaal. Ze kunnen miljoenen parameters aanpassen om correlaties te vinden in enorme datasets. Maar echte intelligentie vereist iets anders: het vermogen om met weinig informatie een nieuw concept te begrijpen en toe te passen.
Mensen zijn hier opvallend goed in. Geef een kind van vijf een paar voorbeelden van een nieuwe spelregel en het past die regel vaak feilloos toe op nieuwe situaties. Voor AI blijft dit een enorme uitdaging.
De kloof tussen patroonmatching en echte intelligentie
Dit benchmark legt een fundamentele zwakte bloot van de huidige transformer-architectuur. Hoe groot of hoe goed getraind het model ook is, het mist een essentieel ingrediënt dat biologische intelligentie wel heeft: de capaciteit voor systematische abstractie en reasoning van eerste principes.
Wordt ARC-AGI opgelost voor 2027?
Ondanks de teleurstellende scores is er ook optimisme. De oorspronkelijke ARC-benchmark uit 2019 werd al snel opgelost door betere methodes. De community gelooft dat ook ARC-AGI-3 "opgelost" gaat worden – maar de vraag is wanneer.
Veel experts voorspellen dat we voor 2027 significante doorbraken gaan zien. Dit zou kunnen komen door:
- Hybride systemen die neurale netwerken combineren met symbolische AI
- Nieuwe architecturen die beter zijn in redeneren
- Systemen die actief kunnen experimenteren en leren zoals een mens
Toch waarschuwen critici dat het continu verhogen van de complexiteit van deze benchmark een eindeloze kat-en-muisspel kan worden.
Wat betekent dit voor de toekomst van AI?
De release van ARC-AGI-3 is een belangrijke reality check in een tijd waarin hype vaak de boventoon voert. Het herinnert ons eraan dat er nog fundamentele problemen op te lossen zijn voordat we van echte AGI kunnen spreken.
Tegelijkertijd toont het aan hoe snel de AI-ontwikkeling gaat. Wat vandaag onmogelijk lijkt, kan over twee jaar routine zijn. De geschiedenis van AI laat zien dat schijnbaar onneembare muren plotseling kunnen verdwijnen door één creatieve doorbraak.
Moeten we ons zorgen maken?
Voor wie bang is dat AI ons binnenkort allemaal werkloos maakt of de controle overneemt, biedt ARC-AGI-3 geruststelling. We zijn nog steeds erg ver verwijderd van systemen die echt kunnen redeneren zoals mensen.
Voor AI-onderzoekers en engineers is dit echter een uitdagende wake-up call. Het laat zien dat we misschien te veel hebben gefocust op het schalen van bestaande methodes en te weinig op het ontwikkelen van nieuwe fundamentele principes.
Conclusie: Een broodnodige reality check
ARC-AGI-3 bewijst dat we nog een lange weg te gaan hebben naar echte algemene intelligentie. De scores onder de 1% zijn geen reden tot wanhoop, maar een uitnodiging om dieper na te denken over wat intelligentie eigenlijk is.
In plaats van alleen maar grotere modellen te bouwen, hebben we misschien radicaal nieuwe ideeën nodig. Ideeën die verder gaan dan alleen statistische patroonherkenning.
Wat denk jij? Is ARC-AGI-3 een teken dat AGI verder weg is dan we denken, of juist een uitdaging die binnen enkele jaren gekraakt zal worden? Laat je reactie achter in de comments en volg onze blog voor meer diepgaande analyses over de toekomst van kunstmatige intelligentie.