TL;DR
- Wat: xAI's nieuwe model Grok 4.5 staat op nummer één in de SWE Marathon, een benchmark die meet hoe goed AI-modellen langlopende softwaretaken uitvoeren.
- Waarom relevant: als AI-modellen steeds beter worden in complexe technische taken, verschuiven de mogelijkheden voor uitbesteding en automatisering binnen je bedrijf.
- Wat je ermee kunt: houd in de gaten wanneer Grok 4.5 beschikbaar wordt in de EU (verwacht medio juli) en vergelijk de kosten met wat je nu betaalt voor AI-tools.
Gisteren, 8 juli, lanceerde xAI het model Grok 4.5 — en vrijwel direct claimde het de eerste plek op de SWE Marathon-benchmark. Ik viel over de tweet van Elon Musk omdat deze benchmark iets anders meet dan de meeste lijstjes die je voorbij ziet komen. Het gaat hier niet om korte opdrachtjes, maar om taken die uren duren. Dat maakt het voor mij de moeite waard om er even bij stil te staan.
Wat is de SWE Marathon precies?
De meeste AI-benchmarks die je tegenkomt — SWE-Bench, HumanEval en dergelijke — testen of een model een enkele taak kan oplossen. Denk aan: "fix deze bug" of "schrijf deze functie". Dat zijn sprints van vijf tot tien minuten.
De SWE Marathon werkt anders. Het is een benchmark van Abundant AI die bestaat uit twintig langlopende taken. Denk aan het nabouwen van een complete softwarebibliotheek, het klonen van een full-stack applicatie of het opzetten van een machine-learning-pipeline. Per taak verwerkt een AI-model gemiddeld 27,2 miljoen tokens — met uitschieters tot 877 miljoen tokens.
Om dat in perspectief te plaatsen: een gemiddeld boek bevat zo'n 80.000 tot 100.000 woorden. 27 miljoen tokens komt neer op het equivalent van ruwweg honderd boeken aan tekst die het model moet verwerken en begrijpen om één taak af te ronden. Dat is geen trucvraag op een examen, dat is een marathon — vandaar de naam.
Wat meet het concreet?
Elke taak heeft een eigen uitvoerbare omgeving, een door mensen geschreven referentieoplossing en meerdere verificatielagen: tests, auditscripts, taakspecifieke beoordelaars en prestatiedrempels. Het bijbehorende paper beschrijft dat bestaande benchmarks onvoldoende meten hoe goed modellen zijn in planning, contextbehoud over langere tijd en geheugenbeheer. SWE Marathon probeert dat gat te vullen.
De scores: wat laten de cijfers zien?
Grok 4.5 behaalde een oplossingspercentage van 29,0% op de SWE Marathon. Ter vergelijking: Anthropic's Claude Opus 4.8 scoorde 26,0% en Fable kwam uit op 24,0%.
Ik vind het eerlijk gezegd opvallend dat geen enkel model boven de 30% uitkomt. Dat zegt iets over hoe moeilijk deze taken zijn — zelfs het beste model lost minder dan een derde van de opdrachten op. Maar het verschil tussen Grok 4.5 en de nummer twee is wel degelijk meetbaar: drie procentpunt op twintig taken is niet niets.
Wat mij daarnaast opvalt, is de token-efficiëntie. Volgens de benchmarkgegevens gebruikt Grok 4.5 op SWE-Bench Pro gemiddeld 15.954 output-tokens per taak, terwijl Claude Opus 4.8 uitkomt op 67.020. Dat is ruim vier keer zo zuinig. In gewoon Nederlands: het model doet hetzelfde werk met een kwart van de woorden.
Een kanttekening
Belangrijk om te vermelden: er is op dit moment nog geen onafhankelijke, externe verificatie van deze SWE Marathon-resultaten. De scores zijn gebaseerd op wat xAI zelf heeft gepubliceerd. Dat betekent niet dat ze onjuist zijn, maar het is een reden om de cijfers met een gezonde dosis nuchterheid te bekijken.
Wat kost het en wie kan het gebruiken?
Grok 4.5 is beschikbaar via de xAI-console en als standaardmodel in Grok Build. Daarnaast is het geïntegreerd in Cursor, een populaire AI-code-editor, op alle abonnementsvormen.
De prijsstelling is opvallend: $2 per miljoen input-tokens en $6 per miljoen output-tokens. Elon Musk noemde Grok 4.5 een "Opus-class model, maar sneller, zuiniger in tokens en goedkoper." Als die claim standhoudt in de praktijk, is dat voor bedrijven die veel met AI-code-assistenten werken een relevante kostenbesparing.
En in Nederland?
Hier zit een adder onder het gras. Grok 4.5 is op dit moment niet beschikbaar in de EU. xAI heeft aangegeven dat EU-toegang medio juli wordt verwacht, maar er is geen exacte datum gecommuniceerd en er is geen officiële reden gegeven voor de vertraging. Vermoedelijk speelt de Europese AI-regelgeving een rol, maar dat is op dit moment niet bevestigd.
Voor Nederlandse ondernemers betekent dit concreet: je kunt er vandaag nog niet mee aan de slag. Dat is frustrerend als je net hebt gelezen dat het model goed presteert en scherp geprijsd is.
Wat betekent dit voor je bedrijf?
Laat ik eerlijk zijn: de meeste MKB-ondernemers gaan niet zelf een softwarebibliotheek nabouwen met een AI-model. Maar de ontwikkeling die hierachter zit, is wel degelijk relevant.
Als AI-modellen steeds beter worden in langlopende, complexe technische taken, verandert dat de manier waarop softwareontwikkeling wordt ingekocht en uitgevoerd. Stel dat je als ondernemer een maatwerkapplicatie laat bouwen door een extern bureau. De ontwikkelaars bij dat bureau gebruiken nu al tools als Cursor en GitHub Copilot. Een model dat vier keer efficiënter werkt en de eerste plek scoort op uitdagende taken, kan de productiviteit van die ontwikkelaars merkbaar verhogen.
Kun je je voorstellen wat dat op termijn betekent voor doorlooptijden en tarieven? Ik zeg niet dat het morgen goedkoper wordt — maar de druk op prijzen neemt toe naarmate deze tools beter worden.
Daarnaast is er de bredere context: xAI positioneert Grok 4.5 niet alleen voor code, maar ook voor "agentic tasks" en kenniswerk, inclusief juridische en financiële toepassingen. Dat raakt aan werkzaamheden die in veel Nederlandse bedrijven tijd en geld kosten.
Een breder patroon
Wat ik interessant vind aan deze lancering is niet zozeer dat Grok 4.5 op nummer één staat — dat kan volgende week alweer anders zijn als Anthropic, OpenAI of Google een update uitbrengt. Wat mij meer opvalt, is het tempo. In de afgelopen maanden hebben we gezien dat de grote AI-labs elkaar steeds sneller opvolgen met nieuwe modellen. De cyclus van "beste model" wordt korter.
Voor mij als ondernemer betekent dat twee dingen. Ten eerste: kies je AI-tools niet op basis van één benchmarkscore. Die verandert. Kies op basis van integratie, beschikbaarheid en kosten. Ten tweede: het feit dat de modellen steeds dichter bij elkaar liggen in prestaties — 29% versus 26% versus 24% — suggereert dat de differentiatie verschuift van "welk model is het slimst" naar "welk model past het best in mijn werkproces".
Voor mij is dit vooral een signaal dat de markt voor AI-codeertools volwassener wordt. De verschillen worden kleiner, de prijzen dalen, en de vraag verschuift van "kan AI dit?" naar "hoe integreer ik dit efficiënt?". En dat is uiteindelijk de vraag die er voor ondernemers toe doet.