Réponse courte
Ne demandez pas à un modèle de se souvenir de références. Récupérez d'abord le texte source, exigez que chaque affirmation pointe vers un passage récupéré, vérifiez que l'identifiant existe avant l'affichage, et prévoyez un chemin pour que le système dise qu'il ne sait pas.
Pourquoi les modèles inventent des références
Un modèle de langage prédit du texte plausible. Une référence comme article 324 bis 1 a une forme statistique forte : un numéro d'article vraisemblable est facile à produire, et rien dans le processus de génération ne distingue celui qui existe de celui qui n'existe pas.
Ce n'est pas un défaut qu'on corrige par un prompt. Demander à un modèle de « ne citer que des sources réelles » réduit le taux sans changer le mécanisme. La correction doit être architecturale.
Quatre couches qui fonctionnent
1. Récupérer d'abord
Gardez les textes sources dans un corpus que vous maîtrisez. Récupérez les passages pertinents, mettez-les dans le contexte, et demandez au modèle de répondre uniquement à partir de ce qui lui a été fourni. Son travail devient de résumer un texte fourni plutôt que de se rappeler des faits.
2. Faire pointer chaque affirmation vers un passage
Exigez une sortie structurée où chaque affirmation porte l'identifiant du passage qui la soutient. Une affirmation sans source attachée devient un bug détectable automatiquement, plutôt qu'une erreur qu'un lecteur doit attraper.
3. Vérifier l'identifiant avant l'affichage
Cette étape est peu coûteuse et souvent sautée. Avant d'afficher une citation, contrôlez l'identifiant dans l'index du corpus. S'il ne résout pas, ne l'affichez pas. Cela attrape exactement la panne qui compte le plus : une référence parfaitement formatée qui ne renvoie nulle part.
4. Laisser le système refuser
Si la récupération ne renvoie rien de pertinent, la bonne sortie est « je n'ai pas trouvé de fondement », pas un paragraphe fluide. Le refus doit être un chemin explicite et conçu. Un système qui ne peut pas refuser devinera toujours.
Ce que cela coûte
Plus d'ingénierie, plus de latence, et un corpus à maintenir. Cela produit aussi un outil qui répond à moins de questions. C'est l'arbitrage voulu : pour un professionnel dont le travail doit être exact, un outil plus étroit mais fiable vaut mieux qu'un outil large qui invente de temps en temps.
La mesure d'un outil d'IA professionnel n'est pas la fréquence de ses réponses. C'est de savoir si l'on peut faire confiance à celles qu'il donne.
Comment le tester
Posez des questions dont vous savez qu'elles n'ont pas de réponse dans le corpus. Un système bien construit le dira. Un système mal construit produira quelque chose de fluide et de plausible, et c'est le test le plus utile que vous puissiez faire avant d'acheter un outil d'IA pour un usage professionnel.
Voir la page de service : Kateb.
Questions fréquentes
Comment empêcher une IA d'inventer des sources ?
Récupérez le texte source avant de générer, exigez que chaque affirmation référence un passage récupéré, vérifiez l'identifiant dans votre index avant de l'afficher, et prévoyez un chemin explicite pour que le système refuse quand la récupération ne trouve rien.
Le prompt engineering suffit-il à éviter les citations inventées ?
Non. Les instructions réduisent le taux mais ne changent pas le mécanisme, puisque le modèle prédit du texte plausible plutôt que de consulter quoi que ce soit. La fiabilité vient de la récupération et de la vérification en dehors du modèle.
Comment tester si un outil d'IA invente des références ?
Posez-lui des questions sans réponse dans ses sources. Un système bien construit dira qu'il ne trouve pas de fondement. Un système faible produira une réponse fluide, plausible et sans fondement.
