Hoe werkt ChatGPT?

ChatGPT werkt door woord voor woord te voorspellen wat er logischerwijs volgt. Het begrijpt je vraag niet zoals een mens, maar rekent razendsnel uit welk stukje tekst het meest waarschijnlijk is. Klinkt simpel, en de kern is dat ook. Maar tussen "voorspel het volgende woord" en een vloeiend antwoord over quantumfysica zit een hoop machinerie. Die pel ik hieronder laag voor laag af, met schema's erbij.

Wat is ChatGPT eigenlijk?

ChatGPT is een chatprogramma dat draait op een groot taalmodel van OpenAI. Zo'n model, ook wel een LLM genoemd, is één gigantisch wiskundig systeem dat getraind is om taalpatronen na te bootsen. De "GPT" staat voor Generative Pre-trained Transformer: het genereert tekst, het is vooraf getraind op enorme hoeveelheden data, en het draait op een architectuur die transformer heet.

Belangrijk om te snappen: er ligt nergens een database met kant-en-klare antwoorden. Elk antwoord wordt ter plekke opgebouwd, token voor token. De chatlaag eromheen, dat is ChatGPT zelf, zorgt alleen dat jij makkelijk vragen kunt stellen en antwoorden terugkrijgt. Het echte werk gebeurt in het model.

Stap 1: van tekst naar tokens

Voordat het model iets kan doen, wordt je tekst opgeknipt in tokens. Een token is een klein stukje tekst, gemiddeld zo'n vier tekens of ongeveer 0,75 woord. Soms is een token een heel woord, soms een deel ervan. Het model rekent niet met letters of woorden, maar met die tokens, elk vertaald naar een reeks getallen.

Deze tussenstap klinkt technisch, maar hij verklaart een hoop. Waarom ChatGPT soms rare spelfouten maakt in lange of ongewone woorden bijvoorbeeld: die bestaan uit meerdere tokens die het model los aan elkaar plakt.

Stap 2: het volgende token voorspellen

Dit is het hart van de zaak. Het model kijkt naar alle tokens die er tot nu toe staan en berekent voor élk mogelijk volgend token een kans. Niet één antwoord, maar een hele waaier aan opties met een waarschijnlijkheid eraan. Daarna kiest het er meestal de hoogste van.

Zo werkt het echt: het model "weet" niet dat Amsterdam de hoofdstad is. Het heeft in zijn trainingsdata talloze keren gezien dat op die zin het woord Amsterdam volgt, en dus is dat statistisch het waarschijnlijkst. Feiten en taal zitten op die manier verweven in de kansen.

De generatie-lus: zo ontstaat een heel antwoord

Eén token is nog geen antwoord. Het model plakt het gekozen token achter je tekst en begint opnieuw: opnieuw kansen berekenen, opnieuw kiezen. Die lus draait door tot het antwoord af is. Vandaar dat je het antwoord vaak woord voor woord ziet verschijnen.

Attention: hoe het model weet wat belangrijk is

Hoe weet het model bij een lange zin welke eerdere woorden er nu toe doen? Daarvoor zorgt attention, het slimste onderdeel van de transformer. Bij elk volgend token weegt het model hoe belangrijk elk eerder token is voor wat er nu komt. Sommige woorden krijgen veel gewicht, andere bijna niets.

Dit mechanisme is de reden dat ChatGPT verband kan leggen over lange stukken tekst. Verwijs je halverwege een gesprek terug naar iets van tien zinnen eerder, dan kan attention dat oppikken. De transformer, de architectuur die dit mogelijk maakt, werd in 2017 geïntroduceerd en zette de hele AI-wereld op zijn kop.

Zo is ChatGPT getraind

Een model dat zomaar het volgende woord voorspelt, is nog geen behulpzame assistent. ChatGPT doorliep grofweg drie trainingsfasen, en elke fase voegde iets toe.

Die laatste fase, RLHF (reinforcement learning from human feedback), verklaart veel van ChatGPT's karakter. De beleefde toon, de neiging om alles netjes af te ronden, de voorzichtigheid bij gevoelige onderwerpen: dat is aangeleerd gedrag, geen eigen overtuiging. Mensen hebben antwoorden beoordeeld en het model beloond voor wat zij goed vonden.

Hoe groot is zo'n model?

De kracht van ChatGPT komt deels uit pure schaal. Een paar cijfers en begrippen om dat tastbaar te maken.

Het context window is in de praktijk belangrijk. Is een gesprek langer dan wat er in dat venster past, dan valt het begin eruit en "vergeet" ChatGPT wat je in het begin zei. Niet omdat het lui is, maar omdat het letterlijk buiten beeld raakt.

Temperatuur: waarom hetzelfde antwoord elke keer anders is

Stel dezelfde vraag twee keer en je krijgt zelden exact hetzelfde antwoord. Dat komt door een instelling die temperatuur heet. Bij een lage temperatuur kiest het model bijna altijd het waarschijnlijkste token, en klinkt het voorspelbaar en droog. Bij een hogere temperatuur durft het vaker een minder voor de hand liggend token te pakken, en wordt de tekst creatiever, maar ook wispelturiger.

Het is dus geen bug dat de uitkomst wisselt. Het is een bewuste draaiknop tussen saai-maar-veilig en verrassend-maar-riskant.

ChatGPT is geen orakel dat feiten opzoekt. Het is een ijzersterke tekstvoorspeller die af en toe met droge ogen iets verzint.

Waarom ChatGPT dingen verzint

Nu de werking helder is, wordt ook duidelijk waaróm ChatGPT fouten maakt. Het jaagt op waarschijnlijkheid, niet op waarheid. Komt het een gat tegen, dan vult het dat op met iets dat aannemelijk klínkt. Zo ontstaat een hallucinatie: een verzonnen feit, bron of citaat dat er volstrekt overtuigend uitziet, compleet met een neptitel en jaartal.

Eerlijk gezegd vind ik dat het lastigste aan de tool. In veruit de meeste gevallen klopt het antwoord gewoon, maar juist die ene keer dat het overtuigend de mist in gaat, kost het je de kop. Neem cijfers, namen en data dus nooit blind over. Wil je de beweringen in een tekst laten nakijken, dan helpt de Fact Checker je op weg. En ook goed om te weten: die gelijkmatige, voorspelbare stijl maakt AI-tekst vaak herkenbaar.

ChatGPT of een zoekmachine?

ChatGPT en een zoekmachine lossen iets heel anders op. Google zoekt bestaande pagina's en geeft je links; ChatGPT genereert ter plekke een nieuw antwoord op basis van wat het heeft geleerd. Handig voor uitleg, samenvatten en schrijfwerk, maar minder betrouwbaar voor actuele of hard controleerbare feiten. Voor het laatste nieuws grijp je dus nog steeds naar een zoekmachine. Elk zijn eigen kracht.

Veelgestelde vragen

Denkt ChatGPT echt na?

ChatGPT denkt niet echt na zoals een mens. Het rekent uit welk token statistisch het beste past bij je vraag, zonder de inhoud te begrijpen of ergens van overtuigd te zijn. Dat het menselijk klinkt, komt door de patronen die het uit miljarden zinnen heeft geleerd, niet door bewustzijn of bedoeling.

Wat is een token bij ChatGPT?

Een token is het stukje tekst waarmee ChatGPT rekent, gemiddeld zo'n vier tekens of 0,75 woord. Een kort woord is vaak één token, een lang woord valt uiteen in meerdere. Het model verwerkt en genereert tekst per token, niet per letter of per woord.

Wat betekent het context window?

Het context window is de hoeveelheid tekst die ChatGPT tegelijk kan meenemen, gemeten in tokens. Alles binnen dat venster telt mee voor het antwoord; alles wat erbuiten valt, ziet het model niet meer. Bij een heel lang gesprek verdwijnt het begin daardoor uit beeld.

Is ChatGPT altijd up-to-date?

ChatGPT is niet automatisch up-to-date, want het is getraind op data tot een bepaald moment. Zonder live internettoegang kent het recente gebeurtenissen vaak niet. Sommige versies kunnen wel het web raadplegen, maar controleer bij actuele onderwerpen altijd een betrouwbare, actuele bron.

Herken je een tekst van ChatGPT?

Je herkent een tekst van ChatGPT vaak aan de gelijkmatige zinsbouw, de nette opsommingen en de afstandelijke toon. Zekerheid geeft dat niet, want de tekst kan menselijk ogen. Een AI Checker maakt de inschatting preciezer door de schrijfpatronen te meten.