TL;DR
- Wat: GPT-5.4 Pro scoort rond de 94% op de ARC-AGI-1 benchmark, een test die abstract redeneervermogen meet.
- Waarom relevant: Hoe beter een AI-model kan redeneren, hoe betrouwbaarder het zelfstandig taken kan uitvoeren — denk aan agentworkflows die werk uit handen nemen.
- Wat je ermee kunt: Inventariseer welke terugkerende taken in je bedrijf gebaat zijn bij een AI-agent die zelfstandig stappen doorloopt, en reken door of de hogere API-kosten van een Pro-model opwegen tegen de tijdswinst.
Er gaat een tweet rond van @Aipromptslap waarin wordt gesteld dat GPT-5.4 Pro 94,5% scoort op ARC-AGI-1, en dat die score de hogere prijs van het Pro-model rechtvaardigt voor teams die autonome AI-agents bouwen. Ik vind het een interessante claim om te ontleden — niet alleen het cijfer zelf, maar vooral wat het in de praktijk betekent voor een ondernemer die overweegt om AI-agents in te zetten.
Wat is ARC-AGI-1 eigenlijk?
ARC-AGI staat voor Abstraction and Reasoning Corpus for Artificial General Intelligence. Het is een benchmark die oorspronkelijk is ontwikkeld door François Chollet, de bedenker van het Keras-framework. Het idee erachter: meet niet of een AI goed is in patroonherkenning op basis van enorme hoeveelheden trainingsdata, maar of het model kan redeneren over nieuwe problemen die het nog niet eerder heeft gezien.
Je kunt het vergelijken met het verschil tussen een medewerker die een checklist kan afwerken (dat kan bijna iedereen) en een medewerker die zelfstandig een oplossing bedenkt voor een probleem dat niet in het handboek staat. ARC-AGI test dat laatste: generalisatie, abstract denken, aanpassingsvermogen.
De eerste versie, ARC-AGI-1, is inmiddels grotendeels "opgelost" door de nieuwste modellen — meerdere systemen scoren nu boven de 90%. Dat is op zich al opmerkelijk, want een jaar geleden was de 85%-grens nog een stevige uitdaging. Ondertussen zijn er al opvolgers: ARC-AGI-2 en zelfs ARC-AGI-3, waar huidige topmodellen nog onder de 1% scoren. Dat relativeert de score op versie 1, maar het zegt wel iets over hoe snel de baseline aan het verschuiven is.
Klopt het cijfer van 94,5%?
Hier wordt het interessant. De tweet claimt 94,5% op ARC-AGI-1 voor GPT-5.4 Pro. Toen ik dit naging via de ARC-AGI-leaderboards en BenchLM, vond ik voor GPT-5.4 een score van 93,7% (0.937). Dat is geen apart Pro-cijfer — het lijkt erop dat de leaderboards GPT-5.4 als één model registreren.
Het verschil tussen 93,7% en 94,5% is klein, maar ik vind het belangrijk om eerlijk te zijn: ik kan het exacte getal van 94,5% voor de Pro-variant niet bevestigen via onafhankelijke bronnen. Mogelijk is het afgerond, mogelijk is het een intern testresultaat. De orde van grootte klopt — GPT-5.4 scoort inderdaad in de range van 93-94% op ARC-AGI-1 — maar neem het precieze getal met een korrel zout.
Ter vergelijking: GPT-5.5, dat in april 2026 werd uitgebracht, scoort 95,0% op dezelfde benchmark. Dat bevestigt dat GPT-5.4 daar net onder zit.
Wat kost GPT-5.4 Pro en wat krijg je ervoor?
De prijsstelling van GPT-5.4 Pro is stevig: $30 per miljoen input-tokens en $180 per miljoen output-tokens. Dat is volgens diverse bronnen zo'n twaalf keer duurder dan de standaardvariant.
Voor dat geld krijg je een model dat specifiek is geoptimaliseerd voor complexe redeneer- en agenttaken. Een paar concrete verbeteringen:
Tool Search
Een nieuwe API-functie waarbij het model niet meer alle beschikbare tools tegelijk hoeft in te laden, maar ze opzoekt wanneer nodig. Dat scheelt volgens OpenAI 50% of meer aan tokenverbruik bij tool-intensieve workflows. Stel dat je een AI-agent hebt die facturen verwerkt, klantdata opzoekt en e-mails verstuurt — dan laadt het model alleen de tools die het op dat moment nodig heeft, in plaats van alles tegelijk.
Betere agentworkflows
GPT-5.4 Pro is volgens OpenAI's eigen documentatie beter in langlopende taken: processen die meerdere stappen doorlopen, waarbij het model tussendoor beslissingen neemt. Denk aan een workflow die begint bij het ophalen van data, vervolgens een analyse maakt, en op basis daarvan een rapport opstelt — zonder dat een mens elke stap hoeft goed te keuren.
Waarom dit voor ondernemers relevant is
Ik merk dat het gesprek over AI-benchmarks vaak technisch blijft — percentages, leaderboards, modelversies. Maar de onderliggende verschuiving is juist heel praktisch.
Wat er eigenlijk gebeurt: AI-modellen worden goed genoeg in redeneren om niet alleen vragen te beantwoorden, maar om zelfstandig werkprocessen te doorlopen. Dat is het verschil tussen een chatbot die antwoord geeft en een digitale medewerker die een taak afrondt.
Kun je je voorstellen wat dat betekent als je een bedrijf runt met vijf tot vijftig medewerkers? Taken als het verwerken van inkomende offerteaanvragen, het samenstellen van rapportages, of het nalopen van contractvoorwaarden — dat zijn processen waar een AI-agent met goed redeneervermogen steeds meer van kan overnemen.
De vraag is dan: is de premium prijs het waard? Dat hangt volledig af van je situatie. Als je een team hebt dat dagelijks uren besteedt aan gestructureerde maar complexe taken, en een AI-agent kan daar een significant deel van overnemen, dan zijn $30 per miljoen tokens relatief bescheiden vergeleken met personeelskosten. Maar als je af en toe ChatGPT gebruikt voor een e-mail, is de standaardvariant meer dan voldoende.
Een kanttekening over autonomie
Ik denk dat het belangrijk is om realistisch te blijven. Een hoge score op ARC-AGI-1 betekent niet dat je morgen een AI-medewerker hebt die zonder toezicht je hele bedrijfsvoering draait. ARC-AGI-1 is inmiddels een relatief "makkelijke" benchmark — op ARC-AGI-3 scoren alle topmodellen nog onder de 1%. Het echte generalisatievermogen — het soort flexibel denken dat een goede medewerker kenmerkt — is nog niet bereikt.
Maar de trend is helder: elk kwartaal schuift de grens op. En voor specifieke, goed afgebakende processen zijn de huidige modellen al inzetbaar.
Hoe dit past in het grotere plaatje
Wat mij opvalt is dat GPT-5.4 Pro alweer wordt ingehaald door GPT-5.5, dat in dezelfde maand is uitgebracht. Dat tempo is typerend voor waar we nu zitten: modellen verouderen in weken, niet in jaren. Voor een ondernemer die overweegt om te investeren in AI-agents, is dat zowel een kans als een risico. Een kans omdat de tools steeds beter worden. Een risico omdat je bouwen op een specifiek model voelt als bouwen op drijfzand.
Mijn observatie: focus niet op het model, maar op het proces. Breng in kaart welke werkprocessen in je bedrijf geschikt zijn voor automatisering met een redenerend AI-model. Het specifieke model dat je gebruikt zal over drie maanden waarschijnlijk een opvolger hebben — maar het proces dat je hebt geoptimaliseerd, houdt zijn waarde.
Voor mij is dit vooral een signaal dat de afstand tussen "AI als speeltje" en "AI als operationeel gereedschap" kleiner wordt. Niet door één spectaculaire doorbraak, maar door een gestage reeks verbeteringen die samen iets fundamenteels veranderen aan wat je als ondernemer kunt automatiseren.