Waarom LLM's hallucineren en fouten maken
LLM's (Large Language Models) zoals ChatGPT, Google's Bard of Meta's Llama hebben verbazingwekkende vooruitgang geboekt in het genereren van mensachtige tekst. Toch maken zelfs deze krachtige AI-systemen vaak fouten of "hallucineren" ze informatie – dat wil zeggen, ze produceren soms zelfverzekerd klinkende uitspraken die feitelijk onjuist of zelfs volledig verzonnen zijn.
Wat zijn "hallucinaties" bij LLM's?
In de context van AI verwijst hallucinatie naar een model dat inhoud genereert die plausibel en zelfverzekerd lijkt maar niet in de waarheid is geworteld. Met andere woorden, de AI "verzint dingen". Dit kan betekenen: feiten verzinnen, nepbronnen of citaten creëren, of details produceren die nooit in de trainingsgegevens zaten.
OpenAI definieert hallucinaties als gevallen waarin een LLM "vol vertrouwen een antwoord genereert dat niet waar is", vaak met een gedetailleerd antwoord dat simpelweg niet op de realiteit is gebaseerd.
Waarom hallucineren LLM's? Technische redenen
Hallucinaties komen voort uit hoe LLM's zijn gebouwd en getraind. Deze modellen leren tekst te genereren door het meest waarschijnlijke volgende woord (of token) in een reeks te voorspellen, gebaseerd op patronen geleerd uit enorme hoeveelheden data.
Volgende-token voorspelling vs. waarheid: Tijdens de training ziet een LLM talloze voorbeelden van tekst en leert statistische regelmatigheden. Cruciaal is dat het niet waar vs. onwaar leert – het leert alleen welke woorden de neiging hebben om op elkaar te volgen.
Gebrek aan verankering in de realiteit: Een LLM heeft geen externe kennisbank of directe verbinding met de wereld; het vertrouwt volledig op patronen in tekst.
Zeldzame of onvoorspelbare informatie: LLM's blinken uit in het leren van frequente patronen, maar voor long-tail feiten of zeer specifieke informatie is er mogelijk geen duidelijk patroon om te leren.
Voorbeelden uit de praktijk van LLM-hallucinaties
Google's Bard Chatbot: In februari 2023 beweerde Bard dat de JWST "de allereerste foto's van een planeet buiten ons zonnestelsel heeft gemaakt." Dit was feitelijk onjuist – de eerste beelden van een exoplaneet werden jaren eerder door een andere telescoop gemaakt.
ChatGPT die rechtszaken verzint: In 2023 gaf een advocaat in New York toe ChatGPT te hebben gebruikt bij het opstellen van een juridisch document. ChatGPT fabriceerde meerdere zaakverwijzingen – het produceerde referenties naar eerdere rechtbankbeslissingen die simpelweg niet bestonden.
Luchtvaartmaatschappij chatbot die beleid verzint: De klantenservice chatbot van Air Canada citeerde een niet-bestaand bedrijfsbeleid aan een klant over terugbetalingen.
Hoe worden hallucinaties beperkt?
Retrieval-Augmented Generation (RAG): Een effectieve aanpak is om de antwoorden van de AI te verankeren in echte gegevens door toegang te geven tot referentiematerialen op het moment van de query.
Fine-tuning en domeinaanpassing: Fine-tuning van een LLM op hoogwaardige, domeinspecifieke gegevens kan fouten in dat domein verminderen.
Aanmoedigen van "weten wanneer je het niet weet": Een eenvoudige maar krachtige beperking is om het model expliciet toe te staan of te trainen om te zeggen dat het het niet weet of te weigeren te antwoorden wanneer het onzeker is.
Bronnen citeren en verificatie: Om transparantie en nauwkeurigheid te verhogen, bieden sommige AI-systemen nu citaten of vragen ze het model om zijn uitspraken te verifiëren.
Conclusie
Hallucinaties in LLM's zijn een significante uitdaging, maar niet onoverkomelijk. Ze ontstaan door de fundamentele aard van hoe deze AI-systemen werken, maar door een combinatie van slimmere training, modelverbeteringen en beveiligingen aan de gebruikerskant kan hun frequentie worden verminderd.
Zoals het gezegde luidt in de AI-wereld: "Vertrouw, maar verifieer." Deze systemen zijn ongelooflijk nuttig, maar een gezonde dosis scepticisme en verificatie zal essentieel blijven terwijl we door het tijdperk van door AI gegenereerde informatie navigeren.