Velen vertrouwen op LLM ook om wiskundige bewerkingen uit te voeren. Deze aanpak werkt niet.

Het probleem is eigenlijk simpel: grote taalmodellen (LLM) weten niet echt hoe ze moeten vermenigvuldigen. Soms hebben ze de uitkomst goed, net zoals ik de waarde van pi uit mijn hoofd ken. Maar dit betekent niet dat ik een wiskundige ben, noch dat LLM's echt weten hoe ze moeten rekenen.

Praktisch voorbeeld

Voorbeeld: 49858 *59949 = 298896167242 Dit resultaat is altijd hetzelfde, er is geen middenweg. Het is goed of fout.

Zelfs met enorme wiskundige training slagen de beste modellen er maar in om een deel van de bewerkingen correct op te lossen. Een eenvoudige zakrekenmachine daarentegen krijgt 100% van de resultaten correct, altijd. En hoe groter de getallen worden, hoe slechter de prestaties van LLM's.

Is het mogelijk om dit probleem op te lossen?

Het basisprobleem is dat deze modellen leren door gelijkenis, niet door begrip. Ze werken het beste met problemen die lijken op de problemen waarop ze getraind zijn, maar ze ontwikkelen nooit een echt begrip van wat ze zeggen.

Voor degenen die meer willen weten, raad ik dit artikel aan over "hoe een LLM werkt".

Een rekenmachine daarentegen gebruikt een nauwkeurig algoritme dat geprogrammeerd is om de wiskundige bewerking uit te voeren.

Daarom moeten we nooit volledig vertrouwen op LLM's voor wiskundige berekeningen: zelfs onder de beste omstandigheden, met enorme hoeveelheden specifieke trainingsgegevens, kunnen ze geen betrouwbaarheid garanderen, zelfs niet bij de meest basale bewerkingen. Een hybride aanpak zou kunnen werken, maar LLM's alleen zijn niet genoeg. Misschien wordt deze aanpak gevolgd voor het oplossen van het zogenaamde'aardbeienprobleem'.

Toepassingen van LLM's in de studie van wiskunde

In de onderwijscontext kunnen LLM's fungeren als gepersonaliseerde begeleiders, die de uitleg kunnen aanpassen aan het begripsniveau van de student. Wanneer een student bijvoorbeeld wordt geconfronteerd met een differentiaalrekeningprobleem, kan de LLM de redenering opsplitsen in eenvoudigere stappen en gedetailleerde uitleg geven bij elke stap van het oplossingsproces. Deze aanpak helpt bij het opbouwen van een solide begrip van fundamentele concepten.

Een bijzonder interessant aspect is het vermogen van LLM's om relevante en gevarieerde voorbeelden te genereren. Als een leerling het concept van een limiet probeert te begrijpen, kan de LLM verschillende wiskundige scenario's presenteren, beginnend met eenvoudige gevallen en overgaand in complexere situaties, waardoor een progressief begrip van het concept mogelijk wordt.

Een veelbelovende toepassing is het gebruik van LLM voor de vertaling van complexe wiskundige concepten naar meer toegankelijke natuurlijke taal. Dit vergemakkelijkt de communicatie van wiskunde met een breder publiek en kan helpen de traditionele barrière voor toegang tot dit vakgebied te overwinnen.

LLM's kunnen ook helpen bij de voorbereiding van lesmateriaal, door oefeningen met verschillende moeilijkheidsgraden te genereren en gedetailleerde feedback te geven over de voorgestelde oplossingen van leerlingen. Zo kunnen docenten het leertraject van hun studenten beter aanpassen.

Het echte voordeel

Meer in het algemeen moet ook worden gedacht aan het extreme 'geduld' om zelfs de minst 'bekwame' leerling te helpen leren: in dit geval helpt de afwezigheid van emoties. Desondanks verliest zelfs de ai soms 'zijn geduld'. Zie dit 'grappige' voorbeeld.

‍

Update 2025: Redeneermodellen en de hybride benadering

2024-2025 bracht significante ontwikkelingen met de komst van zogenaamde 'redeneermodellen' zoals OpenAI o1 en deepseek R1. Deze modellen hebben indrukwekkende resultaten behaald op wiskundige benchmarks: o1 lost 83% van de problemen in de Internationale Wiskunde Olympiade correct op, vergeleken met 13% voor GPT-4o. Maar let op: ze hebben het hierboven beschreven fundamentele probleem niet opgelost.

Het aardbei probleem - het tellen van de 'r' in "aardbei" - illustreert perfect de hardnekkige beperking. o1 lost het correct op na een paar seconden "redeneren", maar als je het vraagt om een paragraaf te schrijven waar de tweede letter van elke zin het woord "CODE" vormt, faalt het. o1-pro, de $200/maand versie, lost het op... na 4 minuten verwerking. DeepSeek R1 en andere recente modellen hebben de basistelling nog steeds fout. In februari 2025 bleef Mistral antwoorden dat er maar twee 'r's in 'aardbei' zitten.

De truc die in opkomst is, is de hybride aanpak: wanneer ze 49858 met 5994949 moeten vermenigvuldigen, proberen de meer geavanceerde modellen niet langer het resultaat te 'raden' op basis van overeenkomsten met berekeningen die ze tijdens de training hebben gezien. In plaats daarvan roepen ze een rekenmachine aan of voeren ze Python-code uit - precies zoals een intelligent mens die weet wat zijn of haar grenzen zijn zou doen.

Dit 'gebruik van hulpmiddelen' vertegenwoordigt een paradigmaverschuiving: kunstmatige intelligentie hoeft niet alles zelf te kunnen, maar moet de juiste hulpmiddelen kunnen orkestreren. Redeneermodellen combineren linguïstisch vermogen om het probleem te begrijpen, stapsgewijs redeneren om de oplossing te plannen en delegatie naar gespecialiseerde hulpmiddelen (rekenmachines, Python-interpreters, databases) voor precieze uitvoering.

De les? De LLM's van 2025 zijn nuttiger in wiskunde, niet omdatze hebben 'geleerd' om te vermenigvuldigen - ze hebben het nog niet echt gedaan - maar omdat sommigen van hen zijn gaan begrijpen wanneer ze vermenigvuldiging moeten delegeren aan degenen die het echt kunnen. Het basisprobleem blijft: ze werken op basis van statistische gelijkenis, niet op basis van algoritmisch begrip. Een rekenmachine van 5 euro blijft oneindig veel betrouwbaarder voor nauwkeurige berekeningen.

‍