Pourquoi les LLM hallucinent et font des erreurs

Les LLM (Large Language Models) comme ChatGPT, Google Bard ou Meta Llama ont réalisé des avancées étonnantes dans la génération de texte similaire à celui des humains. Pourtant, même ces puissants systèmes d'IA font souvent des erreurs ou "hallucinent" des informations — c'est-à-dire qu'ils produisent parfois des déclarations qui semblent confiantes mais sont factuellement incorrectes ou entièrement fabriquées.

Qu'est-ce que les "hallucinations" dans les LLM ?

Dans le contexte de l'IA, l'hallucination désigne un modèle qui génère du contenu qui semble plausible et confiant mais n'est pas ancré dans la vérité. En d'autres termes, l'IA "invente des choses". Cela peut signifier inventer des faits, créer de fausses citations ou produire des détails qui n'étaient jamais dans ses données d'entraînement.

OpenAI définit les hallucinations comme des cas où un LLM "génère avec confiance une réponse qui n'est pas vraie", donnant souvent une réponse détaillée qui n'est tout simplement pas basée sur la réalité.

Pourquoi les LLM hallucinent-ils ? Raisons techniques

Les hallucinations découlent de la façon dont les LLM sont construits et entraînés. Ces modèles apprennent à générer du texte en prédisant le mot (ou token) suivant le plus probable dans une séquence, basé sur des motifs appris à partir d'énormes quantités de données.

Prédiction du prochain token vs Vérité : Pendant l'entraînement, un LLM voit d'innombrables exemples de texte et apprend des régularités statistiques. Crucialement, il n'apprend pas le vrai vs le faux — il apprend seulement quels mots tendent à se suivre.

Manque d'ancrage dans la réalité : Un LLM n'a pas de base de connaissances externe ou de connexion directe au monde ; il repose entièrement sur des motifs dans le texte.

Information rare ou imprévisible : Les LLM excellent à apprendre les motifs fréquents mais pour les faits de longue traîne ou les informations très spécifiques, il peut n'y avoir aucun motif clair à apprendre.

Exemples réels d'hallucinations de LLM

Le chatbot Bard de Google : En février 2023, Bard a affirmé que le télescope James Webb "a pris les toutes premières photos d'une planète en dehors de notre système solaire." C'était factuellement incorrect — les premières images d'une exoplanète ont été prises par un autre télescope des années plus tôt.

ChatGPT inventant des cas juridiques : En 2023, un avocat de New York a admis avoir utilisé ChatGPT pour aider à rédiger un document judiciaire. ChatGPT a fabriqué plusieurs citations de cas — il a produit des références à des décisions de justice passées qui n'existaient tout simplement pas.

Le chatbot d'Air Canada inventant une politique : Le chatbot du service client d'Air Canada a cité une politique d'entreprise inexistante à un client concernant les remboursements.

Comment les hallucinations sont-elles atténuées ?

Retrieval-Augmented Generation (RAG) : Une approche efficace consiste à ancrer les réponses de l'IA dans des données réelles en lui donnant accès à des documents de référence au moment de la requête.

Fine-tuning et adaptation au domaine : Le fine-tuning d'un LLM sur des données de haute qualité spécifiques à un domaine peut réduire les erreurs dans ce domaine.

Encourager le "savoir quand on ne sait pas" : Une atténuation simple mais puissante est d'entraîner explicitement le modèle à dire qu'il ne sait pas ou à refuser de répondre quand il est incertain.

Citer les sources et vérification : Pour augmenter la transparence et la précision, certains systèmes d'IA fournissent maintenant des citations ou demandent au modèle de vérifier ses déclarations.

Conclusion

Les hallucinations dans les LLM sont un défi significatif, mais pas insurmontable. Elles découlent de la nature fondamentale de la façon dont ces systèmes d'IA fonctionnent, mais à travers une combinaison d'entraînement plus intelligent, d'améliorations de modèles et de garde-fous côté utilisateur, leur fréquence peut être réduite.

Comme le dit l'adage dans le monde de l'IA : "Faites confiance, mais vérifiez." Ces systèmes sont incroyablement utiles, mais une dose saine de scepticisme et de vérification restera essentielle alors que nous naviguons dans l'ère de l'information générée par l'IA.