OpenAI draait GPT-5.6 Sol op Cerebras: wat betekent 750 tokens per seconde?

TL;DR

• Wat: OpenAI lanceert GPT-5.6 Sol op Cerebras-hardware met snelheden tot 750 tokens per seconde — circa 6 tot 18 keer sneller dan gangbare GPU-systemen.
• Waarom relevant: Snellere AI-antwoorden maken real-time toepassingen haalbaar die voorheen te traag waren, ook voor zakelijke dienstverlening.
• Wat je ermee kunt: Houd de API-prijzen van Sol ($5/$30 per miljoen tokens) in de gaten en vergelijk ze met je huidige AI-kosten als je via een API werkt.

Afgelopen week dook er een interessante analyse op van analist Bleys Goodson, gedeeld door @kimmonismus op X. Het ging over de manier waarop OpenAI zijn nieuwste topmodel GPT-5.6 Sol op Cerebras-hardware gaat draaien. Ik vind het de moeite waard om daar even bij stil te staan, want er zit een technisch detail in dat verder gaat dan alleen "sneller is beter".

Wat is er precies aangekondigd?

OpenAI heeft eind juni GPT-5.6 Sol gepresenteerd als onderdeel van een modelfamilie met drie varianten: Sol (het krachtigste model), Terra (de middenklasse) en Luna (het lichtste). Sol wordt in juli gelanceerd op Cerebras-hardware met snelheden tot 750 tokens per seconde.

Om dat in perspectief te plaatsen: de meeste AI-modellen op traditionele GPU-clusters leveren zo'n 40 tot 120 tokens per seconde. Dat is het verschil tussen een antwoord dat met leessnelheid voorbijkomt en een antwoord dat aanvoelt alsof het sneller verschijnt dan je kunt lezen.

De toegang is voorlopig beperkt. OpenAI biedt het model eerst aan een selecte groep partners aan, mede op verzoek van de Amerikaanse overheid die een vrijwillige veiligheidsreview uitvoert.

Waarom Cerebras — en waarom dat meer is dan een snelheidswinst

Hier wordt het interessant. Cerebras maakt geen gewone chips. Het bedrijf bouwt zogeheten wafer-scale processors: in plaats van honderden kleine chips die met elkaar moeten communiceren, is het in feite één gigantische chip per wafer. Dat elimineert een groot deel van het dataverkeer dat bij GPU-clusters voor vertraging zorgt.

Bleys Goodson, een hardware-analist, schat dat Sol verdeeld wordt over 70 tot 100 van die Cerebras-wafers, met ongeveer één modellaag per wafer. Zijn inschatting: het model bevat rond de 3 biljoen parameters in totaal, waarvan er zo'n 150 miljard tegelijk actief zijn per vraag die je stelt.

Wat betekent "150 miljard actief van 3 biljoen"?

Dit wijst op een zogenoemde Mixture-of-Experts-architectuur — afgekort MoE. Stel je een groot kantoor voor met tientallen specialisten. Als er een juridische vraag binnenkomt, loop je niet naar de hele verdieping, maar naar de jurist. Bij een boekhoudvraag ga je naar de accountant. Zo werkt MoE ook: het model heeft biljoenen parameters (alle specialisten samen), maar schakelt per vraag alleen de relevante experts in. Dat maakt het zowel krachtig als efficiënt.

Wat mij hier opvalt, en waar Goodson op wijst, is dat de verdeling van één modellaag per wafer geen toeval lijkt. Het suggereert dat OpenAI dit model niet simpelweg op Cerebras-hardware heeft gezet, maar het model rondom die hardware heeft ontworpen. De architectuur lijkt specifiek afgestemd op wat Cerebras kan.

De deal achter de hardware

De samenwerking tussen OpenAI en Cerebras is niet klein. Volgens meerdere bronnen gaat het om een meerjarig contract van meer dan 20 miljard dollar en 750 megawatt aan rekencapaciteit. Dat is een enorme investering, en het laat zien dat OpenAI inference — het daadwerkelijk draaien van modellen, niet het trainen ervan — als een strategische prioriteit beschouwt.

Ik vind dat een opvallende verschuiving. Jarenlang ging het AI-nieuws vooral over wie het grootste model kon trainen. Nu verschuift de concurrentie naar wie het snelst en goedkoopst antwoorden kan leveren. Voor bedrijven die AI via een API gebruiken, is dat relevanter dan de meeste trainingsbenchmarks.

Wat betekent dit voor de kosten?

De prijzen voor de GPT-5.6-familie zijn inmiddels bekend:

Ter vergelijking: Sol zit qua prijs dicht bij Anthropic's Claude Opus 4.8 ($5/$25) en flink onder Claude Mythos 5 ($10/$50). Er lijkt een prijsoorlog op gang te komen aan de bovenkant van de markt.

Wat betekent dat concreet?

Stel dat je als ondernemer een klantenservicebot draait die gemiddeld 500 tokens per gesprek genereert. Bij Sol kost dat ongeveer $0,015 per gesprek — anderhalve cent. Bij Luna wordt dat $0,003. Dat zijn bedragen waarbij het voor steeds meer bedrijven financieel verantwoord wordt om AI in te zetten voor taken die voorheen te duur waren.

De snelheid speelt daarbij een rol die je misschien niet direct verwacht. Bij 750 tokens per seconde wordt een antwoord van 500 tokens in minder dan een seconde gegenereerd. Dat maakt het verschil tussen een chatbot waar klanten op zitten te wachten en eentje die aanvoelt als een direct gesprek.

Nog niet voor iedereen beschikbaar

Een belangrijk voorbehoud: GPT-5.6 Sol is nog niet algemeen toegankelijk. OpenAI rolt het model gefaseerd uit, en de Amerikaanse overheid heeft gevraagd om een gecontroleerde preview. Dat betekent dat je als Nederlands bedrijf waarschijnlijk nog even moet wachten voordat je er via de API mee aan de slag kunt.

Ik vind het eerlijk gezegd wel verstandig dat er een gefaseerde uitrol plaatsvindt bij een model van deze schaal. Tegelijkertijd illustreert het een realiteit waar Europese bedrijven vaker mee te maken krijgen: toegang tot de nieuwste AI-modellen loopt vaak via Amerikaanse poorten, met Amerikaanse prioriteiten.

Een verschuiving die de moeite waard is om te volgen

Wat mij het meest bijblijft aan dit verhaal is niet het getal van 750 tokens per seconde op zich. Het is het bredere patroon: de AI-industrie verschuift haar focus van training naar inference. Van "wie bouwt het slimste model" naar "wie levert het snelst en betaalbaarst antwoorden aan eindgebruikers".

Voor mij is dat een signaal dat AI-diensten de komende maanden steeds meer gaan concurreren op prijs en snelheid — precies de factoren die voor ondernemers het verschil maken tussen een interessant experiment en een werkbaar bedrijfsproces.