Le 1er mars 2023, devant le tribunal fédéral de Manhattan, les avocats de Roberto Mata répondent à la compagnie aérienne Avianca. Leur client affirme qu’un chariot de service métallique lui a heurté le genou gauche pendant un vol entre le Salvador et New York ; la compagnie demande le rejet de sa plainte, déposée selon elle trop tard. Pour contrer l’argument, le mémoire aligne des précédents, dont un arrêt d’appel de 2019, « Varghese contre China Southern Airlines ». Deux semaines plus tard, la défense signale qu’elle ne trouve pas plusieurs de ces décisions. Le juge P. Kevin Castel exige les textes. Le greffe de la cour d’appel concernée est formel : aucune partie nommée Varghese n’apparaît dans ses dossiers depuis leur informatisation, en 2010.
Six des décisions citées avaient été fabriquées par ChatGPT. L’avocat qui avait mené la recherche, Steven Schwartz, a expliqué à l’audience qu’il croyait utiliser une sorte de « super moteur de recherche ». Il avait même demandé au chatbot si Varghese était une vraie affaire ; la réponse affirmait que oui, et qu’on la trouvait dans les grandes bases juridiques. Le faux arrêt avait l’allure d’un vrai : des noms de juges existants, un numéro de dossier emprunté à une autre affaire, des citations internes. Son analyse juridique, écrit le juge, relevait du charabia. Le 22 juin 2023, il a infligé 5 000 dollars d’amende aux deux avocats et à leur cabinet, en retenant surtout leur mauvaise foi : au lieu de reconnaître l’erreur, ils avaient continué à défendre les décisions fictives. Reste la question de fond : comment une machine fabrique-t-elle un document aussi crédible, puis en garantit l’authenticité ?
LE DÉCLIC EN IMAGE
Une réponse fluide ne vaut pas une preuve
La vérification confronte une affirmation à un document identifiable et à son contenu.
Le modèle produit une réponse qui paraît cohérente.
On ouvre la source citée et cherche le passage pertinent.
On vérifie si ce passage soutient réellement l’affirmation.
LES BASESTrois mots pour lire une réponse autrement
- Hallucination
- Dans le vocabulaire de l’IA, une information fausse ou inventée présentée avec assurance comme un fait. L’institut américain des normes (NIST) parle aussi de « confabulation ». Le mot désigne une erreur de production de texte, sans perception de la part de la machine.
- Abstention
- Le choix, pour un modèle, de répondre « je ne sais pas » ou de demander une précision plutôt que de deviner. La plupart des tests de référence ne lui accordent aucun point.
- Génération augmentée par récupération (RAG)
- Une méthode où le système cherche d’abord des passages dans une collection de documents, puis rédige sa réponse en s’appuyant sur eux. Elle permet de citer une provenance ; la sélection et la lecture des passages restent faillibles.
Au fil de cette lecture
Prédire une suite plausible, sans registre à consulter
Un modèle de langage apprend en prédisant la suite de textes, sur d’immenses quantités d’exemples. Dans ces textes, aucune phrase ne porte d’étiquette « vrai » ou « faux » : le modèle voit seulement de la langue fluide et en reproduit les régularités. Quand on lui demande une jurisprudence, il produit ce qui ressemble le plus à une jurisprudence dans ce contexte. Sa connaissance des faits est diffuse, répartie dans ses réglages internes, et rien n’y distingue un souvenir solide d’une lacune comblée au plus vraisemblable.
En septembre 2025, Adam Tauman Kalai et ses collègues d’OpenAI et du Georgia Tech ont publié une analyse de ce phénomène, « Why Language Models Hallucinate ». L’orthographe ou l’équilibre des parenthèses obéissent à des règles constantes : avec assez de données, les erreurs y disparaissent. La forme d’une référence juridique est tout aussi régulière, avec ses deux parties, son volume, sa page et son année, et le modèle l’imite à la perfection. L’existence d’un arrêt précis est au contraire un fait arbitraire, qu’aucun motif ne permet de déduire. Les auteurs prennent l’image de photos d’animaux : un algorithme apprend sans peine à distinguer chats et chiens, mais aucun ne devinera la date d’anniversaire d’un animal d’après sa photo.
Kalai a servi de cobaye. Le 11 mai 2025, l’équipe a demandé trois fois à DeepSeek-V3 la date de naissance du chercheur, en précisant de ne répondre que s’il la connaissait. Le modèle a donné trois dates différentes, toutes fausses. Interrogés sur le titre de sa thèse, sans accès au Web, ChatGPT, DeepSeek et Llama ont chacun proposé un titre différent ; aucun n’a donné ni le bon titre ni la bonne année. Les auteurs en tirent une borne théorique : juste après son premier entraînement, la part d’erreurs d’un modèle sur un type de fait devrait être au moins de l’ordre de la part de ces faits qui n’apparaissent qu’une seule fois dans ses données. Si un anniversaire sur cinq n’y figure qu’une fois, on peut s’attendre à au moins un anniversaire faux sur cinq.
Un élève qui ne laisse jamais de case vide
Reste une énigme : pourquoi le modèle répond-il au lieu d’avouer qu’il ne sait pas ? Après le premier entraînement, les développeurs affinent leurs modèles et les comparent sur des batteries de tests. La plupart notent comme un QCM sans points négatifs : une bonne réponse rapporte un point, une erreur ou un « je ne sais pas » rapportent zéro. Face à un anniversaire inconnu, proposer « 10 septembre » offre environ une chance sur 365 de marquer ; s’abstenir garantit zéro. Sur des milliers de questions, le candidat qui tente toujours sa chance devance celui qui reconnaît ses lacunes.
Kalai et ses collègues ont passé en revue dix tests parmi les plus utilisés pour classer les modèles. Neuf notent de cette façon binaire et n’accordent rien à l’abstention ; le dixième, WildBench, lui donne un crédit partiel. Un exemple publié par OpenAI montre l’effet sur un tableau de scores. Sur le test SimpleQA, son modèle gpt-5-thinking-mini s’abstient sur 52 % des questions, répond juste à 22 % et se trompe sur 26 %. L’ancien o4-mini ne s’abstient presque jamais, à 1 %, répond juste à 24 %… et se trompe sur 75 %. Au seul classement de l’exactitude, le second l’emporte de peu, alors qu’il affirme du faux près de trois fois plus souvent.
Le remède proposé rappelle les examens qui retirent des points pour une mauvaise réponse : annoncer dans la consigne qu’une erreur coûte cher et récompenser l’abstention justifiée. Le modèle n’a alors intérêt à répondre que s’il est assez confiant. L’affaire Mata éclaire aussi l’autre versant du problème. Interrogé sur l’existence de Varghese, ChatGPT a produit une nouvelle suite plausible, cette fois une confirmation. Une assurance écrite par le modèle est une phrase générée comme les autres.
Donner des documents à lire : un progrès, pas un rempart
La parade la plus répandue consiste à brancher le modèle sur des documents. En 2020, Patrick Lewis et une équipe de Facebook AI Research, de l’University College London et de l’université de New York ont décrit la « génération augmentée par récupération », abrégée RAG en anglais : avant de répondre, le système va chercher des passages pertinents dans une collection de textes, puis rédige en s’appuyant sur eux. La réponse peut ainsi refléter des informations récentes et indiquer d’où elles viennent.
Les éditeurs juridiques ont adopté cette approche, et l’un d’eux promettait en 2023 des citations « sans hallucination ». Une équipe principalement de l’université Stanford, autour de Varun Magesh et Daniel Ho, a voulu le vérifier. Elle a soumis plus de 200 questions juridiques, fixées à l’avance, aux outils de LexisNexis et de Thomson Reuters ainsi qu’à GPT-4. Les outils spécialisés se trompaient moins que le chatbot généraliste, mais chacun produisait une réponse hallucinée dans 17 à 33 % des cas. Dans un exemple, l’assistant de Westlaw attribuait aux règles fédérales de procédure de faillite un paragraphe qui n’existe pas.
L’étude compte aussi les réponses « mal ancrées » : la source citée existe, mais elle ne dit pas ce qu’on lui fait dire, ou ne s’applique pas au cas. C’est l’erreur la plus difficile à repérer, car le lien fonctionne. D’où une vérification en deux temps : ouvrir le document cité et y trouver le passage invoqué, puis se demander si ce passage soutient réellement l’affirmation. Ajouter des sources déplace une partie du risque vers leur choix et leur lecture.
Mesurer l’invention : pourquoi un taux unique trompe
Pour compter les inventions, il faut des questions dont on connaît la réponse. SimpleQA, publié par OpenAI en novembre 2024, en rassemble 4 326, courtes et factuelles, choisies pour n’avoir qu’une réponse incontestable et pour mettre GPT-4 en difficulté. Chaque réponse est classée juste, fausse ou non tentée. Ce troisième tiroir change tout : il sépare le modèle qui se tait de celui qui invente, deux comportements qu’un simple pourcentage de bonnes réponses confond.
Un même modèle peut afficher des chiffres très différents selon qu’on l’interroge sur des faits brefs ou qu’on lui fasse résumer un dossier, selon le domaine, selon qu’il dispose d’une recherche en ligne et selon la façon de compter les abstentions. Dans l’usage réel, rappelle OpenAI, l’exactitude plafonne sous 100 %, car certaines questions n’ont pas de réponse déterminable : information indisponible, demande ambiguë. Un « taux d’hallucination » cité sans ces précisions permet de comparer très peu de choses.
D’autres chercheurs tentent de repérer l’invention au moment où elle se produit. En juin 2024, dans la revue Nature, Sebastian Farquhar, Yarin Gal et leurs collègues de l’université d’Oxford ont proposé de poser plusieurs fois la même question au modèle, puis de regrouper ses réponses par sens : « Paris » et « c’est Paris » comptent pour une seule. Si les sens se dispersent, la réponse a de fortes chances d’être inventée. Interrogé sur la cible du sotorasib, un médicament anticancéreux, un modèle répondait tantôt KRAS G12C, la bonne réponse, tantôt G12D. Les auteurs énoncent eux-mêmes la limite de leur méthode : elle reste aveugle quand le modèle se trompe de la même façon à chaque fois, par exemple parce qu’il a appris une idée reçue.
Ce qui reste ouvert
Depuis l’affaire Mata, les cas se sont multipliés. Le juriste Damien Charlotin, chercheur à HEC Paris et enseignant à Sciences Po, tient une base des décisions où un tribunal a constaté, ou soupçonné, l’usage de contenus hallucinés par une IA. Début octobre 2026, elle en recensait 2 149 dans le monde, dont 14 en France. Son auteur la présente comme un travail en cours, limité aux décisions qui relèvent le problème : l’ensemble des fausses citations déposées devant les tribunaux est forcément plus vaste.
Côté recherche, l’équipe d’OpenAI soutient que les hallucinations n’ont rien d’une fatalité, puisqu’un modèle peut s’abstenir, mais qu’aucun n’atteindra 100 % de bonnes réponses. Reste à savoir si les classements qui orientent le développement adopteront des barèmes favorables à la prudence, et quel prix les utilisateurs accepteront : un assistant qui répond « je ne sais pas » une fois sur deux est plus honnête, et parfois moins utile. Le vocabulaire bouge aussi. Dans son profil de risques de 2024, l’institut américain des normes, le NIST, emploie le terme de « confabulation » : la production de contenus faux énoncés avec assurance.
Dans sa décision, le juge Castel écrivait qu’il n’y a rien d’intrinsèquement répréhensible à se faire aider par un outil d’intelligence artificielle fiable, mais que l’avocat reste le gardien de l’exactitude de ce qu’il dépose. Le faux arrêt Varghese a fini, lui, par entrer pour de bon dans les archives judiciaires : il est reproduit en annexe de la décision qui a sanctionné ceux qui l’avaient cité.
Ce qu’on garde en tête.
- Un modèle de langage imite parfaitement la forme d’une référence ; un fait rare et arbitraire, comme une date de naissance ou un arrêt précis, ne se déduit d’aucune régularité et se prête à l’invention.
- Les tests notés comme des QCM sans points négatifs récompensent la réponse tentée : sur SimpleQA, un modèle d’OpenAI qui ne s’abstient presque jamais se trompe près de trois fois plus souvent qu’un modèle plus prudent, pour une exactitude voisine.
- Brancher un modèle sur des documents réduit les erreurs sans les supprimer : des outils juridiques fondés sur cette méthode inventaient encore dans 17 à 33 % des cas, parfois en citant une source réelle qui ne dit pas ce qu’on lui prête.
Ce que l’on sait. Ce qui reste ouvert.
Les systèmes d’IA diffèrent selon leur entraînement, leurs outils et leurs réglages, et leurs erreurs varient d’une tâche à l’autre. Les pourcentages cités décrivent des tests précis (SimpleQA, une étude sur des outils juridiques) et ne constituent pas un taux d’erreur universel. Les résultats SimpleQA présentés ici sont publiés par OpenAI sur ses propres modèles.
UN PETIT DÉCLIC POUR LA ROUTE
Un chatbot vous cite un arrêt de justice. Vous lui demandez s’il existe vraiment : il confirme et précise dans quelle base juridique le trouver. Qu’en conclure ?
Remonter à la source.
- Mata v. Avianca, Inc. : décision sur les sanctions du 22 juin 2023Tribunal fédéral du district sud de New York · Décision de justice (copie CourtListener), anglais↗
- Pourquoi les modèles de langage hallucinentOpenAI · Présentation d’une recherche et résultats SimpleQA, septembre 2025, anglais↗
- Why Language Models HallucinateKalai, Nachum, Vempala et Zhang · Article de recherche, 2025, anglais↗
- Associer une recherche documentaire à la génération de texteLewis et al. · NeurIPS, 2020, anglais↗
- Hallucination-Free? Assessing the Reliability of Leading AI Legal Research ToolsMagesh et al., Stanford · Étude préenregistrée, 2024, anglais↗
- Measuring short-form factuality in large language models (SimpleQA)Wei et al., OpenAI · Jeu de test, 2024, anglais↗
- Detecting hallucinations in large language models using semantic entropyFarquhar et al., université d’Oxford · Nature, 2024, anglais↗
- AI Hallucination Cases DatabaseDamien Charlotin · Base de décisions de justice, mise à jour continue, anglais↗
- Curriculum vitaeDamien Charlotin · Page personnelle, fonctions à HEC Paris et Sciences Po, anglais↗
- Les erreurs factuelles des systèmes génératifs et leur évaluationNIST · Generative AI Profile, 2024, anglais↗
Sources consultées le 9 octobre 2026. Rédaction assistée par IA, sans relecture indépendante d’expert à ce stade.
Signaler une erreur ou proposer une précision