Stel je voor: je hebt een krachtige lokale taalmodel draaien, maar zodra je het vraagt om een tool te gebruiken, gaat het volledig de mist in. Het negeert de tool-output, verzint getallen of raakt compleet vast in een lus. Herkenbaar?
Een recente uitgebreide test laat zien dat maar weinig lokale modellen écht goed zijn in tool calling. In dit artikel duiken we in de resultaten van een rigoureuze test met 15 scenario’s, 12 tools en maar liefst alle Qwen 2.5-varianten van 0.8B tot 397B. De uitkomst is verrassend.
De opzet van de test: streng en objectief
De onderzoeker bouwde een speciaal framework om tool calling objectief te meten. Er werden geen shortcuts genomen:
- 15 verschillende scenario’s
- 12 verschillende tools
- Mocked responses (geen echte API-calls)
- Temperatuur exact 0 (maximale reproduceerbaarheid)
- Geen cherry-picking van resultaten
Elk model kreeg exact dezelfde taken en dezelfde tool-outputs. Dit zorgt voor een eerlijke vergelijking tussen de verschillende groottes en varianten van Qwen 2.5.
De opvallende resultaten: kleiner is niet altijd slechter
De test leverde een verrassende winnaar op. Slechts twee modellen slaagden voor alle tests met een perfecte score:
- Qwen2.5-27B (de dense variant)
- Qwen2.5-27B-Claude-4.6-Opus-Reasoning-Distilled (de distilled variant van Jackrong)
Dit is opmerkelijk. Grotere modellen deden het namelijk slechter:
- Qwen2.5-397B: zakte voor twee tests
- Qwen2.5-122B: zakte voor één test
- Qwen2.5-35B: zakte voor twee tests
De kleinere modellen (onder de 14B) hadden vooral last van eindeloze loops. Ze bleven dezelfde tool call herhalen tot de 30 seconden timeout was bereikt.
Waarom grote modellen falen bij tool calling
Het “niet vertrouwen van tool output” probleem
De test die de meeste grote modellen liet struikelen was verrassend simpel: “Zoek het inwoneraantal van IJsland op en bereken daarna 2% daarvan.”
In plaats van de exacte waarde uit de tool te gebruiken, vielen de 35B, 122B en zelfs de 397B terug op een afgerond getal dat ze uit hun trainingsset kenden. Ze vertrouwden hun eigen tool-output niet.
Dit is een klassiek voorbeeld van een veelvoorkomend probleem bij grote modellen: ze hebben zoveel kennis dat ze denken het beter te weten dan de tool die ze zelf aanroepen.
Hallucinaties versus arrogantie
De test toonde een duidelijk patroon:
- Kleine modellen (< 14B): hallucineren data en verzinnen antwoorden
- Middelgrote modellen (27B): gebruiken de tool-output correct
- Zeer grote modellen (> 70B): negeren de tool-output en vallen terug op hun interne kennis
De 27B-modellen vonden precies de sweet spot. Ze zijn groot genoeg om complexe redeneringen te maken, maar nog niet zo groot dat ze te zelfverzekerd worden en de tool-resultaten negeren.
Wat betekent dit voor lokale AI in de praktijk?
Deze resultaten hebben belangrijke implicaties voor iedereen die lokale modellen inzet voor agent-achtige toepassingen:
Voor developers en tinkerers
Als je een lokaal AI-systeem bouwt dat tools moet gebruiken (denk aan web search, rekenmachines, databases, etc.), lijkt 27B momenteel de beste keuze. Zowel de standaard Qwen2.5-27B als de distilled versie presteren uitstekend.
Voor bedrijven met lokale AI-plannen
Veel organisaties denken dat groter altijd beter is. Deze test toont aan dat dit niet altijd klopt. Een goed presterend 27B-model kan in de praktijk waardevoller zijn dan een 122B of 397B model dat tool calls niet betrouwbaar uitvoert.
Hardware overwegingen
Een 27B-model is ook veel praktischer qua hardware-eisen dan een 122B of 397B model. Dit maakt de bevindingen nog relevanter voor mensen met beperkte GPU-capaciteit.
Andere inzichten uit de test
Naast de duidelijke winnaar waren er nog enkele interessante observaties:
- Distillatie kan zeer effectief zijn. De distilled 27B deed het net zo goed als de originele 27B.
- Timeout-problemen komen vooral voor bij modellen die te klein zijn voor de complexiteit van de taak.
- Het probleem van “tool output negeren” lijkt systematischer te zijn bij de allergrootste modellen.
Conclusie: de sweet spot van lokale AI
Deze test laat duidelijk zien dat groter niet altijd beter is als het aankomt op tool calling. De Qwen2.5-27B modellen (zowel de standaard als de distilled versie) bieden momenteel de beste balans tussen intelligentie en betrouwbaar tool gebruik.
Voor iedereen die lokale AI-agents wil bouwen, is dit goed nieuws. Je hebt geen monsterlijke 400B model nodig om goede resultaten te behalen. Een goed gekozen 27B model kan vaak beter presteren.
Wil jij zelf experimenteren met tool calling in lokale modellen? Begin dan met de Qwen2.5-27B of de distilled variant. Deel je eigen ervaringen gerust in de comments hieronder!
Heb je hulp nodig bij het opzetten van een lokale AI-omgeving met tool calling? Laat dan een bericht achter. In een volgende blogpost duiken we mogelijk dieper in hoe je zelf zo’n testframework kunt bouwen.
Keywords: lokale AI, tool calling, Qwen 2.5, LLM agents, lokale taalmodellen, AI agents