126 Hoe leren taalmodellen als ChatGPT eigenlijk?
Waarom ChatGPT slimmer lijkt dan het is
Een blik achter de schermen van taalmodellen zoals ChatGPT in begrijpelijk Nederlands:
In een datacentrum, ergens in IJsland of Iowa, draait een krachtig computersysteem dat op het eerste gezicht lijkt te begrijpen wat jij bedoelt. Je stelt een vraag via een chatbot of een zoekmachine en vrijwel direct verschijnt een vloeiend, samenhangend antwoord op je scherm. Geen monotone robotstem, geen hakkelende zinnen, maar taal die verrassend natuurlijk en soms bijna menselijk overkomt. Alsof je communiceert met een alwetend gesprekspartner.
Maar dat beeld klopt niet. Althans, nóg niet.
Het systeem begrijpt namelijk niets. Het beschikt niet over kennis in de menselijke zin van het woord. En toch wekt het die indruk.
Juist dát roept een fundamentele vraag op: hoe werkt zo’n taalmodel eigenlijk? Want wie begrijpt hoe een systeem leert en functioneert, weet ook beter wat hij ervan kan verwachten — én waar het fout kan gaan. Taalmodellen zoals ChatGPT geven soms namelijk foutieve, onzinnige of ronduit vreemde antwoorden. Dat is niet omdat ze ‘liegen’, maar omdat ze werken op een manier die wezenlijk verschilt van hoe wij mensen denken.
Reden te meer dus om even stil te staan bij de onderliggende techniek. Want als je weet hoe het model redeneert, herken je ook sneller waar voorzichtigheid geboden is, wanneer een antwoord vooral geloofwaardig klinkt, maar feitelijk nergens op slaat. Het is niet moeilijk hoor, dus lees gerust verder.
Hoe dan? Hoe leren taalmodellen taal, zonder te weten wat taal is?
1. Geen hersens, wel rekensommen
Laat ik meteen een mythe doorprikken: een taalmodel ‘begrijpt’ helemaal niets. Het heeft geen gevoelens, geen bewustzijn, geen intenties. Het ‘weet’ niet dat Parijs in Frankrijk ligt, of dat liegen moreel discutabel is. Het doet alleen één ding: Het voorspelt welk woord er het meest logisch volgt op de woorden die je al hebt getypt.
Dat heet “next-token prediction”: Het voorspellen van het meest waarschijnlijke volgende stukje tekst (een ‘token’), wat een woord, leesteken of zelfs een deel van een woord kan zijn.
Je zou het kunnen vergelijken met een kind dat alleen leert door eindeloos veel teksten te lezen, zonder ooit vragen te mogen stellen of feedback te krijgen op de inhoud. Het mag alleen telkens raden welk woord er het beste volgt. Elke fout levert een kleine correctie op in het systeem van inschattingen. Na verloop van tijd wordt het daar zó goed in, dat het hele zinnen, alinea’s en zelfs essays kan genereren die overtuigend overkomen. Maar begrijpen doet het niets. Het herhaalt, herstructureert en voorspelt – puur op basis van statistische waarschijnlijkheid. Dat is precies wat een taalmodel doet: noem het gerust linguïstische statistiek.
Je hoeft dus niet bang te zijn dat het model je bespioneert. Het onthoudt niet wie je bent of wat je zegt. Het leert alleen van grote hoeveelheden data en, in sommige gevallen, van feedback op foute of verbeterde antwoorden. (zie ook onderaan bij 10.)
2. Miljoenen boeken, miljarden zinnen
Een taalmodel leert dus door blootstelling aan data. Heel veel data. Denk aan de hele Wikipedia, krantenarchieven, openbare boeken, forums, blogs, wetenschappelijke artikelen. Alles wat digitaal beschikbaar is en legaal gebruikt mag worden, gaat erin.
Deze tekst wordt dan in kleine stukjes geknipt. In plaats van zinnen als “De kat zit op de bank”, wordt er zoiets van gemaakt als:
- Input: “De kat zit op de…”
- Target: “bank”
En dan moet het model raden. Fout? Dan worden de interne verbindingen (de ‘gewichten’) iets aangepast. Goed? Dan worden ze bevestigd. Zo leert het model steeds beter patronen herkennen. Geen betekenis, wél statistiek.
3. De volgende stap is een “transformer”, maar wat is dat nu weer?
Tot 2017 werden taalmodellen nog vrij lineair getraind: woord voor woord. Maar toen kwam het “Transformer”-model, beschreven in de inmiddels beroemde paper: “Attention is All You Need” (Vaswani et al., 2017).
Wat maakte dit model zo revolutionair? Het idee dat je niet alleen moet kijken naar het vorige woord, maar naar alle woorden tegelijk. Het kijken, naar de context van woorden.
Denk aan deze zin:
“De jongen gaf het boek aan zijn broer toen hij hem zag huilen.”
Wie huilde er? De jongen of zijn broer?
Voor een mens is dat vaak uit de context duidelijk, maar voor een taalmodel is dat een puzzel van statistiek. Een transformer gebruikt dan self-attention: het kijkt naar alle woorden in de zin en berekent welke woorden het meest waarschijnlijk bij elkaar horen. Het model weegt bijvoorbeeld hoe vaak de combinatie “zag huilen” volgt op “broer” of “jongen” in de trainingsdata. Op basis daarvan schat het dat “hij” waarschijnlijk de “broer” is — maar het begrijpt dat niet. Het maakt een wiskundige gok op basis van patronen in taal, niet op basis van betekenis.
4. Wat leert een model eigenlijk?
Belangrijk onderscheid: een taalmodel leert dus niet wat waar is, maar wat vaak samen voorkomt.
Als het tienduizenden keren ziet:
- “Parijs is de hoofdstad van Frankrijk”
dan zal het de kans vergroten dat het op de zin “Parijs is de…” antwoordt met “hoofdstad”.
Maar als het ook 10.000 keer leest:
- “Vaccins veroorzaken autisme”
dan heeft het een statistisch argument om een verband te zien! Of anders gezegd: “Tja, dat komt óók vaak voor, dus misschien hoort dat ook bij elkaar.”
Dit is het gevaar: een taalmodel kan niet onderscheiden of een bewering waar is. Het werkt puur op waarschijnlijkheden.
Vandaar ook dat wetenschappers spreken van “probabilistische papegaaien” (Bender et al., 2021): ze herhalen wat ze vaak zien, zonder inhoudelijk begrip. Ook de cultuur van waaruit ze getraind worden dringt dus door in de antwoorden die het geeft. Zonder waarschuwing of nuance kan een antwoord dus bijdragen aan exclusie, bias of culturele vooringenomenheid. Het bevestigt impliciet dominante normen en miskent andere realiteiten. Daarom moeten taalmodellen worden ingezet met besef van context en culturele diversiteit.
5. Slim? Of gewoon heel goed in gokken?
Mensen vinden deze modellen slim omdat ze iets produceren wat er slim uitziet. Maar dat is een visuele illusie, net als denken dat iemand gelukkig is omdat hij lacht.
Een taalmodel maakt geen plannen. Het heeft geen doelen. Het voert een wiskundig proces uit dat tot gevolg heeft dat er zinnen ontstaan. Vergelijk het met een rekenmachine die op een bepaald moment zegt: “Volgens mij is dit het antwoord dat je verwachtte.”
Het doet geen beroep op logica, moraal of gezond verstand. Alleen op patroonherkenning.
6. Wanneer is een taalmodel waardevol?
Taalmodellen zijn waardevol wanneer ze worden ingezet als hulpmiddel bij creatieve, informatieve of repetitieve taken waarvoor snelheid en taalvaardigheid belangrijk zijn. Denk aan het schrijven van conceptteksten, samenvattingen, brainstormen van ideeën of het automatisch beantwoorden van veelgestelde vragen. Zelf gebruik ik ze ook heel vaak om standpunten van meerdere kanten te belichten. Het wijst mij op gaten in mijn redenering of gemiste overwegingen. Wat ik ook heel waardevol vindt is dat ik een taalmodel als ChatGPT rollen kan meegeven van waaruit ik een conflict wil kunnen belichten (zoals in blog 94).
7. Wat zijn de grenzen?
Die zijn aanzienlijk.
- Geen waarheid: modellen kunnen foute of verzonnen informatie geven (‘hallucineren’).
- Geen begrip: ze kunnen geen context snappen buiten de tekst die ze zien.
- Bias: ze nemen vooroordelen over uit de teksten waarop ze getraind zijn.
- Kwetsbaarheid: als een model vaak genoeg verkeerde informatie ziet, leert het die ook.
Voorbeeld: Als het vaak leest dat vrouwen minder goed zijn in techniek, kan het model dat stereotype gaan herhalen. Niet uit kwaadaardigheid, maar uit pure statistische logica.
Kort samengevat: taalmodellen zijn krachtige hulpmiddelen, maar ongeschikt als zelfstandig handelende, moreel voelende of waarheidsgetrouwe entiteiten. Ze kunnen ondersteunen, niet vervangen.
8. En de toekomst?
De ontwikkeling van taalmodellen gaat razendsnel. GPT-4, Claude, Gemini, Mistral, LLaMA—de namen vliegen je om de oren. De modellen worden groter, krachtiger, sneller. Ze kunnen steeds beter samenvatten, vertalen, uitleggen, redeneren.
Maar één ding blijft (nu nog) hetzelfde: ze begrijpen niets.
Totdat er een fundamentele doorbraak (AGI is de volgende stap en daarna ASI) komt in kunstmatige bewustzijn of begrip, blijven taalmodellen domme systemen die heel slim lijken. Ze kunnen een dokter imiteren of een advocaat nadoen, maar weten niet wat rechtvaardigheid betekent.
9. Wat leren we hiervan?
We leren iets paradoxaals: taalmodellen zijn krachtig omdat ze géén begrip hebben. Omdat ze puur op patroonherkenning draaien, kunnen ze zinnen bouwen die feilloos inspelen op wat jij waarschijnlijk wilt horen.
Dat is hun kracht. En tegelijk hun zwakte.
We moeten dus leren om met deze modellen om te gaan zoals we met een rekenmachine omgaan: vertrouw de uitkomst niet blind. Begrijp wat erin gaat, weet hoe ze hun afwegingen maken en controleer wat eruit komt. Wees dus ook kritisch als iets te mooi klinkt om waar te zijn—want dat is het dan vaak ook.
10. Waarschuwingen t.a.v. privacy
Taalmodellen zoals ChatGPT lijken veilige gesprekspartners, maar schijn bedriegt – een beetje. Wat je invoert, kán (afhankelijk van platform en instellingen) worden opgeslagen, geanalyseerd en soms zelfs gebruikt voor verdere training. Dat betekent: jouw teksten kunnen – in theorie – opnieuw opduiken in andere contexten, zeker als je gevoelige of herkenbare informatie deelt.
Zeg je regelmatig dat dokter X uit Den Haag verkeerde diagnoses stelt? Dan is het niet uitgesloten dat een model dat patroon oppikt en ergens anders weergeeft. Denk dus na over wat je invoert.
Wat je moet weten:
-
Je input is dus niet vanzelfsprekend privé.
-
Ook foutcorrecties kunnen impliciet meegetraind worden.
-
Ingevoerde data kunnen tijdelijk of permanent worden opgeslagen.
-
Herleidbare details kunnen blijven hangen – ook zonder namen.
Aanbeveling:
Gebruik taalmodellen alleen voor informatie die je ook publiekelijk zou kunnen delen. Vermijd namen, wachtwoorden, medische of juridische details, en wees alert op unieke combinaties van informatie die indirect herleidbaar zijn.
AI is krachtig, maar niet discreet. Behandel het als een slimme microfoon met geheugen.
Conclusie
Taalmodellen leren niet zoals mensen, maar door brute kracht, statistiek en slimme wiskunde. Ze zijn geen kennisbronnen, maar voorspellingsmachines. Het zijn dus geen denkers, maar nabootsers.
Toch kunnen ze ontzettend nuttig zijn—als we ze goed begrijpen.
Want net als een spiegel laten ze zien wat wij erin stoppen: schoonheid, lelijkheid, waarheid én onzin. Voor nu, een schitterend stuk gereedschap voor de vakman/vrouw en een grote valkuil voor de populisten.
Jeroen Teelen
28 mei 2025
Plaats een Reactie
Meepraten?Draag gerust bij!