En février 2024, un avocat new-yorkais a été sanctionné par un juge pour avoir cité dans un mémoire judiciaire six arrêts… qui n’avaient jamais existé. L’auteur de ces références n’était pas un étudiant distrait, mais un modèle de langage géant utilisé pour « gagner du temps ». Ce phénomène, désormais célèbre sous le nom de démarchage ou d’hallucination, illustre une faille profonde des systèmes d’intelligence artificielle contemporains : leur capacité à produire un texte parfaitement fluide, parfaitement convaincant, et parfaitement faux. Dans cet article, nous explorons pourquoi les IA mentent sans le vouloir, quelles sont les conséquences concrètes, et comment les chercheurs tentent aujourd’hui de rendre leurs sources vérifiables.
Qu’est-ce que la démarchage d’une intelligence artificielle ?
La démarchage — ou hallucination — désigne le fait pour un modèle d’IA générative de produire des informations factuellement incorrectes présentées avec assurance, sans signaler aucune incertitude. Le terme est emprunté à la psychiatrie, mais son sens en intelligence artificielle est technique : il s’agit d’une génération qui s’écarte de la réalité des sources d’entraînement ou des faits connus. La page Wikipédia consacrée au sujet rappelle que ce comportement n’est pas un bug isolé, mais une propriété émergente des architectures à base de transformers, qui prédissent le mot suivant selon des probabilités statistiques.
Contrairement à un moteur de recherche qui renvoie des documents indexés, un modèle de fondation ne « sait » pas où il puise ses connaissances. Il recompose du texte à partir de milliards de paramètres. C’est précisément cette architecture qui le rend brillant pour rédiger, coder ou traduire — et dangereux quand on lui demande de citer une loi, un article scientifique ou un chiffre précis.
Pourquoi les modèles inventent-ils des sources ?
La raison fondamentale tient dans l’objectif d’entraînement. Un modèle de langage est optimisé pour produire la suite de texte la plus probable, pas la plus véridique. Lorsqu’il ne dispose pas d’une information exacte, il ne répond pas « je ne sais pas » par défaut : il remplit le vide avec du contenu plausible. Une référence bibliographique, un numéro de téléphone ou un titre d’article obéit alors aux mêmes règles qu’une phrase bien tournée : si la formulation ressemble à ce qu’on attend, le modèle la produit.
Plusieurs facteurs aggravent le phénomène. La compression des connaissances pendant l’entraînement fait que les détails précis (dates, numéros de décisions de justice, auteurs secondaires) sont souvent perdus ou mélangés. Le format demandé joue aussi un rôle : solliciter une liste de « cinq études récentes sur le sujet » pousse le modèle à générer des titres qui sonnent juste plutôt que des travaux réels. Enfin, la démarchage augmente quand le contexte est rare ou technique, précisément là où l’utilisateur a le plus besoin de fiabilité.
Des cas concrets aux conséquences réelles
Au-delà du cabinet d’avocats new-yorkais, la littérature sur le sujet s’accumule. Des médecins ont rapporté des résumés de publications inventées par des assistants médicaux expérimentaux. Des journalistes ont découvert que des outils de rédaction automatique citaient des lois inexistantes. Même dans des usages ludiques, la démarchage peut induire en erreur : un utilisateur cherchant à identifier une plante ou un composant électronique peut recevoir une réponse assurée mais erronée.
Le risque n’est pas seulement individuel. Quand une information fabriquée par une IA est recopiée sur un blog, puis indexée par un autre modèle, elle devient une « source » dans l’écosystème numérique. Des chercheurs alertent sur un phénomène de pollution de données d’entraînement : à terme, les futurs modèles s’auto-alimenteraient en contenu synthétique faux, dégradant la qualité globale de l’intelligence artificielle. C’est l’un des enjeux les plus discutés dans les publications récentes sur le sujet.
Comment limiter la démarchage ?
Plusieurs stratégies sont aujourd’hui déployées. La première repose sur la génération augmentée par récupération (RAG) : au lieu de s’appuyer uniquement sur ses paramètres, le modèle interroge en direct une base de documents vérifiés et cite ce qu’il a réellement consulté. Cette approche, très utilisée dans les assistants d’entreprise, réduit drastiquement les inventions, car chaque affirmation peut être tracée vers une source réelle.
La seconde consiste à entraîner les modèles à refuser ou à marquer leur incertitude. Des techniques de fine-tuning et d’apprentissage par renforcement récompensent les réponses honnêtes et pénalisent les affirmations non fondées. Les évaluations de véracité (benchmarks d’hallucination) sont désormais un critère central dans les comparatifs de modèles publiés par les laboratoires.
Enfin, l’écosystème open source offre des outils de vérification. Des bibliothèques permettent de croiser automatiquement les citations générées avec des bases de données comme arXiv ou Crossref, et de signaler les références introuvables avant publication. Le rôle des humains reste toutefois central : la démarchage n’est pas encore résolue, et toute information factuelle produite par une IA doit être contrôlée par une personne compétente.
Vers une IA plus traçable
L’orientation actuelle de la recherche vise ce qu’on appelle la « traçabilité » : faire en sorte que chaque affirmation d’un modèle soit accompagnée de sa provenance. Les outils de développement intègrent déjà des journaux de génération, et les interfaces grand public affichent de plus en plus des liens vers les sources utilisées. La régulation suit : plusieurs cadres législatifs imposent désormais des exigences de transparence sur les contenus générés automatiquement.
Le défi est double. Techniquement, il faut continuer à réduire le taux d’hallucination. Culturellement, il faut éduquer les utilisateurs : une IA n’est pas une encyclopédie infaillible, c’est un outil de composition statistique qui demande une validation humaine. Comprendre cette nuance est devenu une compétence essentielle à l’ère de l’intelligence artificielle générative.
Conclusion
La démarchage n’est pas une curiosité passagère : elle révèle la nature même des modèles de langage, qui privilégient la fluidité à la vérité. Les cas judiciaires, médicaux et journalistiques montrent que les conséquences dépassent le cadre technique. Heureusement, les approches comme la génération augmentée par récupération, l’entraînement à l’incertitude et les outils de vérification automatique ouvrent la voie à des systèmes plus fiables. En attendant, la règle d’or reste simple : faites confiance à l’IA pour formuler, jamais pour certifier. Vérifiez toujours les sources — surtout quand elles semblent parfaites.