Een AI die met groot zelfvertrouwen iets verzint dat niet klopt: dat is een hallucinatie. Het is een van de bekendste beperkingen van taalmodellen en een serieus risico in zakelijke toepassingen waar feitelijke correctheid telt.
AI-hallucinations zijn niet een bug die ergens gerepareerd kan worden. Ze zijn een eigenschap van hoe taalmodellen werken. Het model genereert waarschijnlijke tekst op basis van patronen, en soms produceren die patronen overtuigende maar onjuiste informatie. Begrijpen waarom dat gebeurt, helpt je om er beter mee om te gaan.
Taalmodellen zijn getraind om statistische patronen in tekst te voorspellen. Ze zijn niet getraind om te "weten" of iets waar is. Als een model een vraag beantwoordt over iets wat buiten zijn trainingsdata valt, of als zijn trainingsdata zelf fouten bevat, kan het een plausibel klinkend maar onjuist antwoord genereren.
Het model heeft geen besef van onzekerheid in de traditionele zin. Het genereert met dezelfde taalkundige zekerheid een correct antwoord als een onjuist antwoord. Dat maakt hallucinations moeilijk te detecteren: de fout ziet er net zo betrouwbaar uit als een correct antwoord.
Hallucinations komen vaker voor in specifieke situaties:
De meest effectieve maatregel tegen hallucinations is het gebruik van RAG. In plaats van te vertrouwen op wat het model heeft geleerd tijdens training, haal je relevante informatie op uit jouw kennisbank en geef je die als context mee aan het model.
Geef het model expliciete instructies: "Beantwoord vragen alleen op basis van de aangeleverde context. Als de context het antwoord niet bevat, zeg je dat je het niet weet." Deze instructie verlaagt significant de kans dat het model dingen verzint.
Geef het model toestemming om te zeggen dat het iets niet weet. Modellen neigen er van nature naar om te antwoorden, zelfs als ze het niet zeker weten. Instructies zoals "Als je niet zeker bent van een antwoord, zeg dat dan expliciet en verwijs naar een bron of medewerker" sturen dit gedrag in de goede richting.
Laat het model niet alleen een antwoord geven, maar ook de bron vermelden op basis waarvan het antwoordt. Als een antwoord herleidbaar is naar een specifiek document, kan de gebruiker dat controleren. Onherleidbare antwoorden zijn moeilijker te vertrouwen.
Niet alle modellen hallucineren even vaak. Modellen die specifiek getraind zijn om te verwijzen naar bronnen, of die gekoppeld zijn aan zoeksystemen, hallucineren minder dan pure generatieve modellen. Voor toepassingen waar feitelijke correctheid cruciaal is, is modelkeuze een factor.
Voor toepassingen waarbij fouten serieuze gevolgen hebben, medische informatie, juridische adviezen, financiële berekeningen, bouw je menselijke verificatie in als onderdeel van het proces. De AI genereert een concept; een mens verifieert voor het naar buiten gaat.
Dit is niet altijd mogelijk, maar het is de meest afdoende maatregel voor situaties waar de kosten van een fout hoog zijn.
Hallucinations volledig elimineren is met de huidige stand van technologie niet mogelijk. Ze zijn te beperken, maar niet weg te nemen. Eerlijk zijn over die beperking is belangrijk bij het communiceren over AI aan stakeholders. Een AI die zelden hallucineert is waardevol; een AI waarvan je garandeert dat hij nooit hallucineert is onrealistisch.
Hallucinations zijn een reëel risico bij elk taalmodel. Met de juiste architecturale keuzes, RAG, goede instructies en menselijke verificatie waar nodig, zijn ze goed te beheersen. Mach8 bouwt AI-systemen waarbij de risico's op hallucinations structureel worden beperkt.
Wil je een AI-systeem bouwen dat feitelijk betrouwbaar is? Neem contact op met Mach8.
Wij helpen je van strategie naar implementatie. Plan een vrijblijvend gesprek.
Plan een gesprek