Vous demandez à un assistant conversationnel de vous citer trois études sur un sujet précis. Il répond en quelques secondes, avec des titres crédibles, des noms d’auteurs plausibles, une revue prestigieuse et même une année de publication. Vous allez vérifier : rien. Ni l’article, ni parfois les auteurs. Ce phénomène a un nom, désormais familier : l’hallucination des modèles de langage. Et parmi toutes ses formes, l’invention de sources est la plus sournoise, parce qu’elle imite exactement les codes du sérieux.
Pourquoi une machine « invente » une référence
Il faut d’abord tordre le cou à une intuition trompeuse : un modèle de langage n’est pas une base de données. Un grand modèle de langage ne consulte pas une bibliothèque interne pour retrouver une fiche, il produit du texte token après token en estimant, à chaque étape, la suite la plus probable. C’est une machine à plausibilité statistique, pas un moteur de vérité.
Or une référence bibliographique est, du point de vue de la forme, extrêmement régulière : un nom, une année, un titre construit avec des mots-clés du domaine, une revue. Le modèle a vu des dizaines de milliers de ces structures pendant son entraînement. Générer une citation qui « ressemble » à une citation est donc trivial pour lui. Générer une citation qui existe réellement demande, à l’inverse, une mémoire factuelle exacte que l’architecture ne garantit pas. Le résultat est une contrefaçon involontaire : la forme est parfaite, le référent est vide.
Le cas d’école : l’avocat et les six arrêts fantômes
L’affaire la plus citée date de 2023, devant un tribunal de New York. Un avocat dépose un mémoire s’appuyant sur plusieurs décisions de justice… toutes générées par ChatGPT et toutes inexistantes. Interrogé, il explique avoir demandé au modèle si les arrêts étaient authentiques ; le modèle a confirmé. C’est le second étage du problème : non seulement le système fabrique, mais il défend sa fabrication avec le même aplomb, parce que « oui, cette source est réelle » est aussi une suite de mots probable.
Le milieu académique connaît la même dérive. Des relecteurs signalent régulièrement des bibliographies partiellement fictives dans des manuscrits rédigés à la hâte avec assistance automatique — un mélange redoutable de vraies références, de titres déformés et d’entrées complètement imaginaires.
Les signatures d’une source inventée
Avec un peu d’habitude, on repère les fausses citations à des marqueurs assez constants :
- Un titre trop parfait : il reformule votre question presque mot pour mot, comme s’il avait été écrit sur commande. C’est souvent le cas — il vient d’être écrit sur commande.
- Un identifiant qui ne résout pas : le DOI renvoie une erreur, ou pointe vers un article sans rapport.
- Des auteurs recomposés : deux chercheurs réels du domaine, associés sur un papier qu’ils n’ont jamais cosigné.
- Une pagination et une revue vraisemblables mais introuvables dans le catalogue de l’éditeur.
- Une URL bien formée mais morte, souvent sur un domaine institutionnel réel.
Ce que l’industrie met en place
La première réponse technique est la génération augmentée par récupération, ou RAG : au lieu de laisser le modèle puiser dans sa mémoire floue, on va d’abord chercher des documents réels dans un index, puis on lui demande de répondre uniquement à partir de ces extraits, avec citation du passage utilisé. Le gain est net, mais il n’est pas absolu : un modèle peut encore surinterpréter un document, ou attribuer à la source une affirmation qu’elle ne contient pas.
La deuxième réponse est la vérification programmatique. Rien n’empêche de brancher un contrôle automatique sur chaque référence produite : interrogation d’un registre comme Crossref pour les DOI, d’arXiv pour les prépublications, de PubMed pour le biomédical. Si l’entrée n’existe pas, on la supprime avant affichage. C’est peu spectaculaire et très efficace.
La troisième piste, plus profonde, consiste à travailler la calibration : apprendre au modèle à dire « je ne sais pas » plutôt qu’à combler le vide. Plusieurs travaux montrent qu’une partie des hallucinations vient des méthodes d’évaluation elles-mêmes, qui récompensent une réponse hasardeuse plus qu’une abstention honnête. Tant qu’un benchmark note zéro un « je l’ignore », le modèle apprend à parier.
Le réflexe minimal pour l’utilisateur
En attendant, la discipline est individuelle et tient en quelques règles. Ne jamais recopier une référence sans l’avoir ouverte. Demander l’URL et le DOI plutôt que le seul titre, puis les tester. Chercher le titre exact entre guillemets dans Google Scholar : zéro résultat sur un titre académique est un signal quasi définitif. Et surtout, ne pas demander au modèle de se vérifier lui-même : il n’a aucun moyen fiable de distinguer un souvenir d’une invention.
Une bonne pratique complémentaire consiste à inverser la démarche. Plutôt que « donne-moi cinq sources », mieux vaut apporter soi-même les documents — un PDF, un article de Wikipédia, un rapport — et demander au modèle de les résumer, de les comparer, d’en extraire les arguments. On utilise alors sa vraie force, la manipulation du langage, sans solliciter sa faiblesse structurelle, la mémoire factuelle.
Un défaut de conception, pas un accident
Il serait confortable de considérer l’hallucination comme un bug transitoire, promis à disparaître avec la prochaine génération de modèles. C’est probablement faux. Un système entraîné à produire la continuation la plus plausible d’un texte produira toujours, dans les zones où sa connaissance est mince, du plausible sans référent. Les progrès réduisent la fréquence du phénomène ; ils ne changent pas sa nature.
La conclusion est donc moins technique que culturelle. Ces outils sont d’excellents assistants de rédaction, de reformulation et d’exploration, à condition qu’un humain conserve la charge de la preuve. Une citation n’a de valeur que vérifiée. Et si vérifier prend trente secondes, c’est trente secondes qui séparent un article documenté d’un texte qui parle avec assurance de choses qui n’existent pas.