Pourquoi une citation fabriquée exige sa propre étape de recherche documentaire

La question à l'origine de ce texte

Ce texte existe grâce à la question que m'a posée un ingénieur, et c'est la formulation la plus percutante du problème qu'il m'ait été donné d'entendre.

Le contexte était familier : un système d'extraction atteignant une exactitude d'environ 90 % — encourageant, mais pas fiable sur le plan opérationnel. La raison de cette non-fiabilité est la partie qu'il faut retenir. Si le réviseur doit encore tout relire pour trouver les erreurs, vous avez déplacé le fardeau, vous ne l'avez pas supprimé. Ma réponse : le correctif ne peut pas tenir dans un seul seuil de confiance, et chaque affirmation doit être décomposée en unité atomique puis jugée à l'aune de preuves externes plutôt que de la mémoire du modèle.

La réplique visait directement la partie la plus difficile de la conception. En la paraphrasant :

Une fausse source plausible est pire qu'un faux chiffre plausible, parce qu'elle blanchit la confiance : vous l'avez vérifiée, donc ce doit être juste. Comment bâtir le contrôle de cela précisément ? Une citation qui ne renvoie à aucune référence réelle semble exiger sa propre étape de recherche documentaire, distincte de la vérification des faits elle-même.

L'intuition est juste, et elle mérite mieux qu'une réponse en commentaire. Une vérification des citations exige bel et bien sa propre étape de recherche documentaire. La raison est structurelle, elle est mesurable dans la littérature évaluée par les pairs, et la plupart des chaînes de validation que j'ai vues ne l'implémentent pas — parce qu'elles traitent la vérification des citations comme une sous-tâche de la vérification des faits plutôt que comme une seconde recherche, orientée différemment.

Exactitude et qualité des citations sont deux mesures différentes

La preuve la plus nette qu'il s'agit de deux problèmes distincts vient de la manière dont le domaine a choisi de les mesurer. ALCE — le premier banc d'essai d'évaluation automatique des citations produites par les grands modèles de langage — évalue le texte généré selon trois dimensions : la fluidité, l'exactitude et la qualité des citations (Gao et al., 2023). L'exactitude et la qualité des citations ne sont pas imbriquées. Ce sont des axes orthogonaux, car un système peut produire un énoncé vrai rattaché à une source qui ne l'appuie pas, et il peut produire un énoncé bien appuyé qui se trouve être faux.

La qualité des citations se décompose elle-même davantage, et c'est la partie qu'il vaut la peine d'assimiler. ALCE mesure le taux de rappel des citations — si l'énoncé est entièrement appuyé par les passages qu'il cite — et le taux de précision des citations — si un passage cité est non pertinent, c'est-à-dire qu'il ne peut pas appuyer l'énoncé et que son retrait ne changerait rien à la capacité des autres citations de le faire (Gao et al., 2023). Le rappel détecte la sous-citation. La précision détecte la décoration : des sources accrochées à une phrase pour lui donner l'air d'être sourcée.

Le résultat marquant est celui sur lequel il faut s'arrêter. Sur le jeu de données ELI5, même les meilleurs systèmes évalués n'ont pas d'appui citationnel complet 50 % du temps (Gao et al., 2023). Non pas faux la moitié du temps — non appuyés par leurs propres citations la moitié du temps. Si votre chaîne ne demande que « cette affirmation est-elle vraie ? », toute cette surface de défaillance vous est invisible.

Trois façons dont une citation échoue, et une seule ressemble à un mensonge

Une fois admis que l'attribution est une variable à part entière, les modes de défaillance se séparent nettement. Ils exigent des détections différentes, et ils ne sont pas également visibles.

Défaillance 1 — la référence n'existe pas. Le modèle invente un article, un couple d'auteurs, un numéro de volume. C'est celle que tout le monde imagine, et elle est assez fréquente pour constituer un comportement de base plutôt qu'un cas limite : dans un audit évalué par les pairs de bibliographies générées, 55 % des citations de GPT-3.5 et 18 % de celles de GPT-4 étaient purement fabriquées (Walters & Wilder, 2023). Dans un test de recherche documentaire clinique, un agent conversationnel a produit 35 références dont deux seulement étaient réelles (McGowan et al., 2023).

Défaillance 2 — la référence existe, mais le renvoi est erroné. C'est la plus discrète et la plus dangereuse. Dans le même audit, parmi les citations qui étaient réelles, 43 % (GPT-3.5) et 24 % (GPT-4) comportaient encore des erreurs substantielles de volume, de pages ou d'année (Walters & Wilder, 2023). La source se résout. Le lien fonctionne. L'affirmation qu'on y rattache n'est pas celle qu'elle formule. Tout contrôle qui vérifie la forme de la citation laisse passer cela sans broncher.

Défaillance 3 — la référence existe et l'a dit une fois. Le document a été révisé, le règlement est passé de projet à version définitive, la page citée a été réécrite. Votre citation était exacte le jour de sa saisie et elle est fausse aujourd'hui. Le statut n'est pas figé : un règlement parcourt le trajet projet → définitif → en vigueur → modifié → abrogé, et une citation qui ne porte pas de version est une citation qui finira par être fausse Sagentix 16-Point Quality Gate, 2026.

Notez ce que ces trois modes ont en commun : aucun n'est détectable en demandant si l'affirmation sous-jacente est vraie. Dans la défaillance 2 surtout, le fait est fréquemment exact. C'est exactement le mécanisme de blanchiment décrit plus haut — l'étape de vérification certifie l'affirmation, et la certification se transfère, indûment, à l'attribution.

La seconde recherche : ce que la vérification des citations doit réellement faire

Voici l'architecture, exposée comme une conception plutôt que comme une implémentation.

La vérification des faits mène une recherche sur les preuves : prendre une affirmation atomique, aller chercher ce que le monde en dit, juger l'affirmation à l'aune de ce qui revient. C'est la voie bien balisée — décomposer un texte long en faits atomiques et mesurer la proportion appuyée par une source de connaissances fiable (Min et al., 2023) ; ou confier à un agent la décomposition d'une réponse en faits individuels et le raisonnement sur les résultats de recherche fait par fait, ce qui concorde avec des annotateurs humains 72 % du temps et l'emporte dans 76 % des cas de désaccord (Wei et al., 2024).

La vérification des citations mène une recherche sur tout autre chose : le graphe des références du document lui-même. Son index n'est pas le Web. C'est la bibliographie. Et elle pose trois questions, dans l'ordre.

Premièrement, la citation se résout-elle ? Chaque citation en texte doit se rattacher à une entrée bibliographique, et chaque entrée bibliographique doit se résoudre en un document récupérable. C'est un problème de graphe avant d'être un problème sémantique — aucune compréhension du langage requise, ce qui est précisément pourquoi il doit s'exécuter de façon déterministe et bloquer en cas d'échec. Le contrôle doit aussi s'exécuter dans les deux sens. Une citation en texte sans entrée bibliographique est une fabrication potentielle. Une entrée bibliographique que rien ne cite est de la décoration — la défaillance de précision citationnelle, de l'habillage plutôt que de la preuve.

Deuxièmement, le document récupéré appuie-t-il cette affirmation précise ? C'est l'étape qu'on ne peut pas court-circuiter, et celle que la plupart des chaînes escamotent. Elle exige de récupérer le texte du document cité — et non de chercher le sujet sur le Web pour trouver quelque chose d'adjacent qui va dans le même sens. L'accord adjacent est la façon dont une affirmation erronée survit : la recherche renvoie des faits voisins, l'affirmation paraît corroborée, et la source réellement citée n'a jamais été ouverte. La comparaison est un écart entre l'affirmation et le texte récupéré, avec un verdict par affirmation, et non par document.

Troisièmement, est-ce bien la version que je cite ? Une récupération en direct et une capture archivée de la même adresse divergeront lorsqu'une source a été révisée. Cette divergence est le signal. Si une citation ne concorde qu'avec la version archivée, la citation est périmée — toujours honnête, mais plus vraie, et il faut la réancrer ou la dater plutôt que de la présenter au présent.

Seule la troisième question recoupe la vérification des faits. Les deux premières s'exécutent sur un index que la vérification des faits ne touche jamais.

La défaillance que personne n'instrumente : prouver que la récupération a fonctionné

C'est le détail opérationnel que je donnerais à quiconque bâtit ce système, parce que c'est celui qui inverse silencieusement vos résultats.

Votre vérificateur de citations conclut à des absences. « La source ne contient pas cela. » « Aucune référence ne correspond. » L'absence est un constat légitime — et c'est aussi exactement l'allure qu'a une récupération ratée.

Plusieurs sources primaires faisant autorité renvoient un code HTTP 403 aux clients automatisés tout en servant normalement un navigateur. D'autres renvoient un code 200 accompagné de quelques centaines de caractères de mur anti-robot. Dans les deux cas, votre vérificateur reçoit un document vide, et un document vide « ne contient » trivialement pas votre affirmation. Le contrôle signale une absence nette. L'affirmation est marquée — ou pire, une affirmation négative (« l'organisme de réglementation ne traite pas de X ») se trouve confirmée par une page que vous n'avez jamais réellement lue.

La protection est simple et non négociable : prouvez que la récupération a réussi avant d'avoir le droit de conclure à quoi que ce soit de manquant. Récupérez avec un véritable agent utilisateur de navigateur. Exigez une chaîne témoin — une autre chaîne de caractères dont vous savez qu'elle figure sur la page — avant d'accepter le document comme lu. Traitez une réponse trop mince comme une récupération non prouvée, et non comme une source vide. Et déclarez non prouvé, jamais absent, lorsque la chaîne témoin échoue.

Les affirmations négatives méritent de façon générale leur propre palier de rigueur. « X n'exige pas Y », « aucune orientation publiée ne couvre Z », « la norme est muette sur W » — ce sont les affirmations les plus à risque, parce qu'un seul titre de section non balayé les réfute, et parce qu'on ne peut pas les confirmer en trouvant quelque chose. On ne peut les confirmer qu'en échouant exhaustivement à trouver, ce qui est précisément l'opération qu'une récupération défaillante simule à la perfection.

Ce que cela coûte lorsque cela est publié

Les conséquences ne sont plus hypothétiques ni cantonnées aux bancs d'essai de recherche. Une base de données publique tenue par le chercheur en droit Damien Charlotin recense les décisions judiciaires dans lesquelles un tribunal a constaté qu'une partie s'était appuyée sur du contenu halluciné par l'IA — typiquement de fausses citations. Au 3 août 2026, elle répertorie 1 822 cas relevés, et son mainteneur la décrit comme un travail en cours plutôt qu'un recensement exhaustif (Charlotin, 2026).

C'est la forme que prend le risque de responsabilité professionnelle, dans le seul domaine où chaque citation est vérifiée de manière contradictoire par un adversaire payé pour la vérifier. La plupart des secteurs n'ont pas cet adversaire. En conseil, la vérification se produit en réunion du conseil d'administration, une fois, en public — ou elle ne se produit pas du tout, ce qui est pire, car le chiffre erroné se répercute alors sur les trois décisions suivantes.

Le comportement sous-jacent des modèles est stable d'un domaine à l'autre. Interrogés sur des questions directes et vérifiables portant sur des affaires judiciaires fédérales choisies au hasard, les principaux modèles ont halluciné entre 58 % (GPT-4) et 88 % (Llama 2) du temps (Dahl et al., 2024). L'application de la décomposition atomique à la production biographique longue de ChatGPT a situé la précision factuelle à 58 % — soit environ quatre affirmations assurées sur dix sans appui par une source de connaissances fiable (Min et al., 2023). Ce ne sont pas les chiffres d'un système qu'on peut contrôler par sondage.

Comment cela fonctionne en pratique

Chez Sagentix, aucun livrable n'est expédié sur la seule parole de la couche générative. Les affirmations sont décomposées en unités atomiques et retracées jusqu'à leur source selon un ordre de préséance fixe, et les verdicts qui en résultent sont au nombre de quatre, et non de deux : confirmé, partiel, contredit ou indéterminable. Contredit est bloqué de façon stricte — cela n'atteint jamais la page. Indéterminable est signalé pour intervention humaine, jamais discrètement écarté, car la suppression silencieuse est la façon dont une lacune de couverture devient une inconnue insoupçonnée. La jonction sur le graphe des références décrite plus haut s'exécute comme une étape bloquante à part entière : une citation en texte qui ne se résout en aucune entrée bibliographique interrompt la livraison, et elle se résout par identité exacte avec une seule entrée plutôt que par ressemblance à l'échelle de la bibliographie. Les chiffres externes doivent être corroborés par deux sources indépendantes avant publication, et tout ce qui est irréversible est mis en attente pour une personne plutôt qu'envoyé automatiquement Sagentix 16-Point Quality Gate, 2026.

Cette exigence d'identité n'est pas du pédantisme, et c'est le détail que la plupart des implémentations ratent. Le raccourci tentant consiste à vérifier que l'auteur figure quelque part dans la liste de références et que l'année figure quelque part dans la liste de références, puis à déclarer la citation résolue. Ce sont deux recherches indépendantes : une citation inventée renvoyant à un article de Chen daté de 2024 les satisfait toutes les deux dès qu'une entrée contient ce patronyme et qu'une autre entrée contient cette année-là. Cela ressemble à une vérification des citations ; c'est un score de similarité qui en porte le costume. Or la similarité est précisément la propriété qu'une citation fabriquée possède déjà.

D'où le seul conseil que je donnerais à quiconque bâtit ce contrôle : plantez une fausse citation et confirmez que le contrôle échoue avant de lui faire confiance. Une étape de vérification qu'on n'a jamais vue échouer ne prouve encore rien.

L'économie compte ici, car la vérification est l'endroit où la discipline probante meurt habituellement : elle coûte cher, donc on l'échantillonne. Automatiser le jugement affirmation par affirmation est ce qui rend la vérification exhaustive abordable : l'évaluateur agentique des travaux de DeepMind coûte plus de 20 fois moins cher que des annotateurs humains à tâche égale (Wei et al., 2024). Cette courbe de coût est tout l'argument en faveur de la construction de la seconde recherche plutôt que d'un audit manuel de bibliographie.

La plateforme exécute 10 phases de bout en bout sur plus de 727 artefacts organisés, avec livraison en 6 à 8 semaines à un tarif de 4 000 à 50 000 $ CA, la phase 1 étant assortie d'une garantie de remboursement (sous réserve de conditions) Sagentix GTM Methodology, 2026.

Ce que cela vous laisse comme options

Trois voies, et une seule consiste à retenir mes services.

Bâtissez vous-même la seconde recherche. Il en faut moins qu'on ne le croit pour les 80 premiers pour cent : une jonction déterministe entre les citations en texte et les entrées bibliographiques, exécutée dans les deux sens, bloquante à la moindre orpheline. Ce seul contrôle attrape toutes les citations qui ne se résolvent en rien, n'exige aucun modèle et peut être livré en une journée. Ajoutez ensuite l'écart entre l'affirmation et la source récupérée, et la protection par chaîne témoin avec lui — jamais l'un sans l'autre.

Achetez le contrôle, gardez votre chaîne. La vérification des citations est, par conception, dissociable de la génération de contenu. Si votre chaîne de génération fonctionne, instrumentez la sortie plutôt que de reconstruire le producteur. L'interface est étroite : un document en entrée, des verdicts par affirmation en sortie.

Faites appel à quelqu'un qui l'a déjà bâtie. Si les livrables passent devant un conseil d'administration, un organisme de réglementation ou un prêteur — là où une seule citation blanchie vous coûte la salle — c'est le moment où le calcul « construire ou acheter » favorise la chaîne qui existe déjà.

Quel que soit votre choix, le geste est le même : cessez de traiter la vérification des citations comme une étape à l'intérieur de la vérification des faits. Donnez-lui son propre index, ses propres verdicts et son propre droit de bloquer. Les défauts qui parviennent à votre lecteur sont, par définition, ceux que votre contrôle actuel a certifiés.

References

• Charlotin, D. (2026). AI hallucination cases [Database]. Retrieved 3 August 2026.
• Dahl, M., Magesh, V., Suzgun, M., & Ho, D. E. (2024). Large legal fictions: Profiling legal hallucinations in large language models. Journal of Legal Analysis, 16(1), 64–93.
• Gao, T., Yen, H., Yu, J., & Chen, D. (2023). Enabling large language models to generate text with citations. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (pp. 6465–6488). Association for Computational Linguistics.
• McGowan, A., Gui, Y., Dobbs, M., Shuster, S., Cotter, M., Selloni, A., Goodman, M., Srivastava, A., Cecchi, G. A., & Corcoran, C. M. (2023). ChatGPT and Bard exhibit spontaneous citation fabrication during psychiatry literature search. Psychiatry Research, 326, 115334.
• Min, S., Krishna, K., Lyu, X., Lewis, M., Yih, W., Koh, P. W., Iyyer, M., Zettlemoyer, L., & Hajishirzi, H. (2023). FActScore: Fine-grained atomic evaluation of factual precision in long form text generation. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (pp. 12076–12100). Association for Computational Linguistics.
• Sagentix Advisors Inc. (2026). GTM methodology — 10-phase delivery model. Sagentix Advisors Inc.
• Sagentix Advisors Inc. (2026). 16-point quality gate — anti-hallucination verification and evidence discipline. Sagentix Advisors Inc.
• Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045.
• Wei, J., Yang, C., Song, X., Lu, Y., Hu, N., Huang, J., Tran, D., Peng, D., Liu, R., Huang, D., Du, C., & Le, Q. V. (2024). Long-form factuality in large language models. arXiv.