Stel je voor: je wijst een AI-agent naar een nieuw model en het bouwt volledig zelfstandig een GPU-marketplace webinterface. Zonder aanpassingen, zonder iteraties, op slechts één RTX 3090. Dat is precies wat er gebeurde met NVIDIA's Nemotron Cascade 2 30B-A3B.
In deze blogpost duiken we in deze indrukwekkende prestatie, vergelijken we het met andere modellen en kijken we wat dit betekent voor de toekomst van lokale AI-modellen.
Wat is NVIDIA Nemotron Cascade 2?
NVIDIA heeft onlangs Nemotron Cascade 2 uitgebracht, een geavanceerd Mamba MoE-model (Mixture of Experts) met 30 miljard parameters in totaal, waarvan ongeveer 3 miljard actief per token. Het bijzondere aan dit model is de combinatie van de efficiënte Mamba-architectuur met de schaalbaarheid van een MoE-systeem.
Waar traditionele transformer-modellen vaak veel rekenkracht vereisen, lijkt NVIDIA dit model extreem goed te hebben geoptimaliseerd voor consumentenhardware. Volgens de test op een enkele RTX 3090 met 24GB VRAM draait het model met een indrukwekkende snelheid van 187 tokens per seconde bij een context van maar liefst 625.000 tokens.
De kracht van Mamba MoE
De Mamba-architectuur is een relatief nieuw type neuraal netwerk dat alternatieven biedt voor de klassieke transformer. Het grote voordeel is de lineaire schaling met contextlengte, in tegenstelling tot de kwadratische schaling van transformers. Dit maakt extreem lange contexten veel praktischer.
NVIDIA heeft deze architectuur gecombineerd met een MoE-benadering, waarbij alleen een deel van het model actief is voor elk token. Dit resulteert in een model dat zowel krachtig als efficiënt is.
De indrukwekkende test met Hermes Agent
Een onafhankelijke AI-onderzoeker richtte de Hermes Agent op het Nemotron Cascade 2 model met een IQ4_XS quantisatie van Bartowski. Het resultaat was ronduit spectaculair.
Met een enkele prompt deed het model het volgende, volledig autonoom:
- Ontdekte zijn eigen hardware
- Creëerde een identity-bestand
- Bouwde een volledige GPU-marketplace gebruikersinterface
En dit allemaal in één enkele poging. Geen iteraties, geen aanpassingen, geen "blank screen" problemen.
Ter vergelijking: het Qwen 3.5 35B-A3B model op exact dezelfde hardware had een iteratie nodig om te herstellen van een leeg scherm bij een vergelijkbare taak. Dit toont aan hoe goed Nemotron Cascade 2 geoptimaliseerd is.
Technische optimalisaties en prestaties
Wat het extra indrukwekkend maakt, is dat er geen speciale flags of ingewikkelde configuraties nodig waren. Volgens de tester:
- Flash Attention werd automatisch ingeschakeld
- Context werd automatisch toegewezen
- Het model deed het werk, niet de configuratie
De onderzoeker compileerde llama.cpp zelf vanaf de broncode, wat mogelijk bijdraagt aan de hoge prestaties. Het is nog onduidelijk hoe het model presteert op andere engines zoals vLLM of Hugging Face Text Generation Inference.
Context van 625K tokens
Een contextvenster van 625.000 tokens is enorm. Ter vergelijking: veel populaire modellen bieden slechts 8K, 32K of maximaal 128K tokens. Deze enorme context maakt het model geschikt voor complexe taken waarbij veel informatie tegelijk moet worden verwerkt, zoals het analyseren van grote codebases, uitgebreide documentatie of lange gesprekken.
Vergelijking met andere modellen
Slechts 24 dagen voor deze test was een ander model met vergelijkbaar aantal actieve parameters (35B-A3B) getest op dezelfde hardware. Ondanks dat beide modellen een vergelijkbaar aantal actieve parameters hebben, presteert Nemotron Cascade 2 significant beter.
Dit illustreert hoe snel de ontwikkelingen gaan in de AI-wereld. Architecturen en optimalisatietechnieken lijken een grotere rol te spelen dan puur het aantal parameters.
De onderzoeker merkt op dat "Cascade 2 through hermes agent just keeps going. This model goes on and on." Dit wijst op een opmerkelijke coherentie en volhoudendheid bij langdurige taken.
Prestaties op verschillende hardware
De grote vraag is natuurlijk: presteert dit model alleen goed op deze specifieke setup met llama.cpp, of is de optimalisatie universeel?
De onderzoeker roept de community op om hun ervaringen te delen:
- Welk model heb je getest?
- Welke quantisatie gebruik je?
- Hoeveel tokens per seconde haal je?
- Op welke engine en hardware?
Vooral interessant zijn vergelijkingen met AMD-kaarten, Apple Silicon (Macs) en andere NVIDIA-kaarten. Het zou bijzonder waardevol zijn om te zien hoe het model zich gedraagt op een RTX 4090, maar ook op meer bescheiden hardware zoals een RTX 3060 of zelfs op CPU-only systemen.
Belang voor lokale AI
Deze ontwikkelingen zijn bijzonder relevant voor iedereen die lokale AI-oplossingen wil draaien. Het feit dat een dergelijk krachtig model goed draait op een enkele 3090 maakt geavanceerde AI toegankelijker voor enthousiastelingen, developers en kleine bedrijven.
Conclusie: NVIDIA heeft gekookt
NVIDIA heeft met Nemotron Cascade 2 een model afgeleverd dat indruk maakt, niet alleen door zijn prestaties, maar vooral door hoe goed het geoptimaliseerd is voor bestaande hardware. Het feit dat een complex project als een volledige UI in één poging lukt, toont aan hoe ver we zijn gekomen met lokale AI-modellen.
De combinatie van Mamba-architectuur, MoE en NVIDIA's optimalisaties lijkt een gouden combinatie te zijn. Terwijl de AI-race zich voornamelijk lijkt te concentreren op grotere en grotere modellen, bewijst Nemotron Cascade 2 dat slimme architectuur en optimalisatie minstens zo belangrijk zijn.
Wil jij dit model zelf uitproberen? Deel dan zeker je ervaringen in de comments. Welke hardware gebruik jij en hoe presteert Nemotron Cascade 2 daarop? Heb je al tests gedaan met vergelijkbare modellen?
Laat je benchmarks hieronder achter – samen kunnen we een goed beeld krijgen van hoe dit model presteert op verschillende systemen. De toekomst van lokale, krachtige AI is spannender dan ooit.
Dit artikel is gebaseerd op een publieke tweet van een onafhankelijke AI-tester. Prestaties kunnen variëren per setup en implementatie.