Comment vérifier une réponse d’IA avant de l’utiliser ?

1. Toutes les réponses ne méritent pas le même audit

2. Première étape : découper la réponse en affirmations vérifiables

Une réponse peut mélanger en une seule phrase :

• un fait : « le dispositif s’applique depuis telle date » ;
• un chiffre : « le taux est de 60 % » ;
• une interprétation : « cela avantage plutôt tel profil » ;
• une recommandation : « vous devriez choisir A ».

Vérifiez les deux premiers séparément avant d’évaluer les deux suivants.

3. Cas n°1 — Une règle administrative correcte… mais périmée

Le contenu ancien peut avoir été exact. Le défaut n’est pas forcément une invention : c’est un problème de temporalité. Pour toute règle susceptible d’évoluer, cherchez la version applicable à la date de votre situation.

4. Cas n°2 — Une citation qui sonne parfaitement mais n’existe pas

Une IA attribue à un rapport une phrase de 25 mots. Le titre du rapport existe, l’auteur aussi. Mais la recherche du passage exact ne trouve rien.

Le fait qu’une référence soit plausible ne suffit pas. Pour une citation, vérifiez le document lui-même et le passage exact.

5. Cas n°3 — Le calcul est faux alors que les données sont justes

Sur une décision financière, demandez l’équation, les hypothèses et refaites le calcul avec une calculatrice ou un tableur. Une erreur de formule peut se cacher derrière un texte parfaitement cohérent.

6. Cas n°4 — La bonne statistique utilisée pour la mauvaise population

Un chiffre national est présenté comme s’il décrivait une ville, un âge ou un secteur précis. La statistique peut être exacte, mais son périmètre ne répond pas à la question.

7. La hiérarchie des sources

Une source secondaire peut être excellente pour comprendre. Pour trancher un chiffre ou une règle, remontez autant que possible à l’original.

8. Les liens doivent être ouverts, pas seulement regardés

Un lien crédible peut :

• mener à une page qui ne dit pas ce que la réponse affirme ;
• pointer vers une ancienne version ;
• renvoyer à une page de présentation plutôt qu’au texte juridique ;
• être correct mais ne couvrir qu’une partie de l’affirmation.

La vérification consiste à lire le passage pertinent.

9. Cas n°5 — Une recommandation raisonnable construite sur une hypothèse invisible

Les faits et calculs peuvent être impeccables, mais la conclusion reste mauvaise si l’hypothèse centrale ne correspond pas à votre situation. Demandez : « quelle hypothèse ferait inverser votre conclusion ? »

10. Le protocole 6 × 2 minutes

11. Stress test : chercher activement la contre-preuve

Après avoir obtenu une réponse, formulez une seconde requête : « Donne-moi les trois meilleures raisons pour lesquelles cette conclusion pourrait être fausse. Quelles données permettraient de trancher ? » Puis vérifiez ces données indépendamment. Le but n’est pas de forcer l’IA à se contredire, mais de faire apparaître les hypothèses fragiles.

12. Quand arrêter de vérifier

La vérification elle-même a un coût. Arrêtez lorsque les informations restantes ne peuvent plus :

• éliminer une option ;
• modifier le classement des options ;
• changer le moment d’agir ;
• augmenter significativement le dommage potentiel.

Pour une décision à faible enjeu, cinq minutes peuvent suffire. Pour une décision juridique, médicale ou financière importante, le seuil de preuve doit être beaucoup plus élevé.

13. Ce qui fait inverser le niveau de vérification

14. Signaux d’alerte

• réponse extrêmement précise sans source ;
• citation parfaite mais introuvable ;
• date absente sur une règle actuelle ;
• source qui ne soutient qu’une partie de la phrase ;
• calcul sans formule ;
• recommandation sans hypothèses ;
• « toujours », « jamais », « garanti » sur un sujet incertain ;
• refus de distinguer fait, estimation et opinion.

15. Plan d’action selon l’enjeu

Sources

• NIST — Artificial Intelligence Risk Management cadre: Generative AI Profile (2024)
• NIST — AI Risk Management Framework

Le protocole est une méthode de contrôle général. Il ne remplace pas l’expertise professionnelle lorsqu’une décision présente un risque médical, juridique, fiscal, financier ou de sécurité important.