TL;DR
- Wat: ASRock brengt de AI BOX-A395 uit, een compacte mini-pc met AMD Ryzen AI Max+ 395-chip en tot 128 GB geheugen, specifiek ontworpen om AI-modellen lokaal te draaien.
- Waarom relevant: Je kunt hiermee taalmodellen op kantoor draaien zonder data naar de cloud te sturen — interessant voor bedrijven die met gevoelige informatie werken.
- Wat je ermee kunt: Inventariseer of jouw AI-gebruik (klantvragen beantwoorden, documenten samenvatten) privacygevoelig genoeg is om lokale verwerking te overwegen.
Ik kwam deze week een aankondiging tegen van ASRock Industrial: de AI BOX-A395, een compacte pc die speciaal is ontworpen om AI-modellen lokaal te draaien. Wat mij direct opviel, is de combinatie van formaat en capaciteit. Dit is geen serverrack — het is een kastje van ongeveer 20 bij 10 bij 23 centimeter. En toch kun je er serieuze taalmodellen op laten draaien, zonder cloudverbinding.
Wat zit er onder de motorkap?
De AI BOX-A395 draait op AMD's Ryzen AI Max+ 395-processor, een chip met 16 rekenkernen en een ingebouwde GPU (de Radeon 8060S). Daarnaast zit er een zogenaamde NPU in — een Neural Processing Unit — die tot 50 TOPS levert. TOPS staat voor "Tera Operations Per Second" en is een maat voor hoe snel een chip AI-berekeningen kan uitvoeren. Ter vergelijking: de NPU in veel gangbare zakelijke laptops levert zo'n 10-15 TOPS. Deze chip zit daar dus ruim boven.
Maar het meest opvallende vind ik het geheugen. Het systeem ondersteunt tot 128 GB LPDDR5X-werkgeheugen, waarvan tot 96 GB beschikbaar kan worden gemaakt voor de GPU. Dat is cruciaal, want AI-modellen moeten in het geheugen passen om te kunnen draaien. Met 96 GB GPU-geheugen kun je volgens AMD modellen met meer dan 100 miljard parameters laden — denk aan de grotere varianten van open modellen zoals Llama of DeepSeek.
Verder biedt het kastje 10 Gigabit Ethernet, Wi-Fi 7, twee USB4-poorten en twee M.2-slots voor snelle SSD-opslag. De voeding is intern (400W) en het geheel wordt gekoeld met zes heatpipes. Qua besturingssysteem worden zowel Windows 11 als Linux ondersteund.
Waarom lokaal draaien interessant kan zijn
Voor veel ondernemers is AI inmiddels synoniem met ChatGPT, Claude of Gemini — diensten die in de cloud draaien. Je stuurt je vraag naar een server ergens ter wereld en krijgt een antwoord terug. Dat werkt prima voor veel toepassingen. Maar er zijn situaties waarin je dat misschien niet wilt.
Stel dat je als ondernemer werkt met medische dossiers, juridische documenten, financiële gegevens of personeelsinformatie. Elke keer dat je die data naar een cloudmodel stuurt, verlaat die informatie je eigen omgeving. Zelfs als de aanbieder belooft dat data niet wordt opgeslagen, blijft er een afhankelijkheid die je niet volledig kunt controleren.
Een lokaal AI-systeem houdt alles binnen je eigen muren. De data gaat nergens heen. Dat is niet alleen een privacyargument — het is ook relevant voor de AVG-compliance. Nederlandse bedrijven die met persoonsgegevens werken, moeten kunnen verantwoorden waar die gegevens worden verwerkt. "Op onze eigen hardware, in ons eigen kantoor" is een stuk eenvoudiger te verantwoorden dan "op servers van een Amerikaans bedrijf, via een API."
Daarnaast speelt operationele continuïteit een rol. Als je internetverbinding uitvalt of als je cloudprovider een storing heeft, werkt je lokale AI gewoon door. Dat klinkt misschien theoretisch, maar ik merk dat steeds meer ondernemers nadenken over dit soort afhankelijkheden.
Wat kun je er concreet mee?
De praktische vraag is natuurlijk: wat kun je met zo'n kastje draaien? Op basis van benchmarks die de community heeft gepubliceerd, levert de Ryzen AI Max+ 395 indrukwekkende prestaties voor lokale AI-inference. AMD claimt snelheden tot 61 tokens per seconde op het Phi-3.5-model, en gebruikers rapporteren dat grotere modellen (70 miljard parameters en meer) met honderden tokens per seconde draaien bij Mixture-of-Experts-architecturen.
In de praktijk betekent dit dat je bijvoorbeeld:
- Interne documenten kunt samenvatten zonder die naar een externe dienst te sturen
- Klantvragen kunt laten beantwoorden door een lokaal model dat is afgestemd op jouw kennisbank
- Code kunt laten genereren of reviewen op een ontwikkelmachine zonder cloudkosten
- Vertrouwelijke analyses kunt draaien op financiële of juridische data
De software-kant is ook relevant: frameworks zoals llama.cpp maken het mogelijk om gekwantiseerde versies van populaire open modellen (Llama, Mistral, DeepSeek, Qwen, Gemma) relatief eenvoudig te draaien. Je hebt geen team van ML-engineers nodig — al helpt het wel om iemand te hebben die de initiële configuratie kan verzorgen.
De nuances: het is niet voor iedereen
Ik wil hier eerlijk zijn: een apparaat als dit is niet de oplossing voor elk bedrijf. Er zijn een paar belangrijke kanttekeningen.
Ten eerste is er de prijs. ASRock heeft nog geen verkoopprijs bekendgemaakt. Maar gezien de hardware — een high-end AMD APU, 128 GB LPDDR5X, 10GbE-netwerkkaart — is mijn inschatting dat dit geen apparaat van een paar honderd euro wordt. Voor vergelijkbare Ryzen AI Max-systemen circuleren bedragen van enkele duizenden euro's. Dat is een serieuze investering.
Ten tweede: een lokaal model is niet hetzelfde als ChatGPT. De allergrootste en meest capabele modellen van OpenAI, Anthropic of Google draaien op enorme serverparken met veel meer rekenkracht dan één desktop-chip kan leveren. Je lokale model zal voor sommige taken minder goed presteren. De vraag is of het goed genoeg is voor jouw specifieke toepassing.
Ten derde is er het beheer. Een cloudoplossing wordt voor je onderhouden. Een lokaal systeem moet je zelf updaten, beveiligen en beheren. Voor een bedrijf zonder IT-afdeling kan dat een extra belasting zijn.
Wat ik hiervan vind
Wat mij opvalt aan deze aankondiging, is dat de hardware voor lokale AI in een tempo volwassen wordt dat ik een paar jaar geleden niet had verwacht. Dat je op een kastje ter grootte van een broodtrommel modellen met tientallen miljarden parameters kunt draaien — ik vind dat eerlijk gezegd bijzonder.
Tegelijkertijd denk ik dat de meeste MKB-ondernemers hier vandaag nog niet op zitten te wachten. De cloudoplossingen zijn eenvoudiger, flexibeler en voor veel toepassingen prima. Maar voor bedrijven in sectoren waar privacy en data-soevereiniteit echt belangrijk zijn — denk aan de zorg, het juridische veld, financiële dienstverlening — wordt het steeds realistischer om AI op eigen hardware te draaien.
Voor mij is dit vooral een signaal dat de keuze tussen cloud en lokaal geen theoretische discussie meer is. De hardware is er. De open modellen zijn er. De vraag verschuift langzaam van "kan het?" naar "past het bij mijn bedrijf?"