La littérature sur l'interprétabilité des systèmes d'apprentissage automatique a un point de départ désormais classique : il n'existe pas de définition unique de l'interprétabilité, et sa nécessité naît quand le problème que le système résout est spécifié de manière incomplète par rapport à ce qui compte vraiment (Doshi-Velez et Kim, 2017). Dans les contextes applicatifs que nous traitons, une écriture comptable, un document de transport, une vérification sur données publiques, cette incomplétude est la norme : le système répond, mais la responsabilité du résultat reste à une personne. Il s'ensuit que l'explicabilité et le contrôle ne sont pas une documentation accessoire du produit : ce sont des propriétés du produit, et elles se conçoivent comme les autres, avec des exigences, des mesures et le coût qu'elles comportent.
Évidence et inférence doivent rester distinctes
La première forme d'explicabilité est concrète et n'a rien de théorique : des sources visibles, des étapes reconstruisibles et une distinction nette entre ce que le système a observé et ce qu'il a inféré. Un nombre lu dans un document et un nombre estimé par un modèle doivent apparaître différents à l'utilisateur, parce qu'ils ont un statut épistémique différent : le premier se vérifie en remontant à la source, le second s'évalue par rapport à une marge d'erreur. Les confondre dans l'interface, c'est transférer à l'utilisateur une ambiguïté que le système connaissait et a tue.
La recherche sur l'explication a en outre montré qu'une explication efficace est sélective et contrastive, c'est-à-dire qu'elle répond à la question « pourquoi ceci et pas autre chose » avec quelques éléments pertinents, non avec la liste exhaustive des facteurs (Miller, 2019). Pour le concepteur, la conséquence est précise : l'explication utile est celle qui permet à l'utilisateur d'atteindre la donnée de départ en quelques étapes, non celle qui décrit le fonctionnement interne du modèle.
L'incertitude se conçoit, et se calibre
Un système mûr ne cache pas ce qu'il ne sait pas. Seuils de confiance, indicateurs d'incertitude et parcours de revue humaine appartiennent à l'interface, non au manuel. Il existe cependant une exigence préalable que la pratique néglige souvent : pour qu'une confiance déclarée ait un sens, elle doit être calibrée, c'est-à-dire correspondre empiriquement à la fréquence avec laquelle le système a raison. Il est documenté que les réseaux de neurones modernes tendent à être mal calibrés, systématiquement plus sûrs que leurs résultats ne le justifient (Guo et al., 2017) ; exposer à l'utilisateur une confiance non calibrée est pire que n'en exposer aucune, car cela habille une impression en mesure.
Concevoir l'incertitude, c'est aussi décider à l'avance ce qui se passe sous un seuil donné : le système s'arrête, demande, signale, achemine vers une personne. Ce sont des décisions de produit, et elles se prennent avant que le modèle existe, parce qu'elles déterminent les exigences que le modèle doit satisfaire et non l'inverse.
Le contrôle est une architecture
Versionnage des modèles, journalisation des entrées et des sorties, surveillance des dérives dans le temps, évaluations répétables sur des jeux d'essai stables : ce sont les conditions pour reproduire un résultat passé et comprendre pourquoi un résultat d'aujourd'hui diffère de celui d'il y a six mois. Sans cette instrumentation, un système d'apprentissage automatique n'est pas gouvernable : il fonctionne tant qu'il fonctionne et, quand il cesse, personne ne sait dire depuis quand ni pourquoi. L'instrumentation de contrôle, il faut le dire, coûte : elle allonge le développement et ne se voit pas dans les démonstrations. C'est l'investissement typique dont l'utilité n'apparaît qu'au premier incident évité ou reconstruit.
La supervision humaine est une exigence, y compris juridique
Le principe « le système propose, une personne décide, la décision reste inspectable » n'est pas seulement prudentiel : pour les systèmes classés à haut risque, c'est une obligation juridique. Le règlement européen sur l'intelligence artificielle (Règlement (UE) 2024/1689) consacre à la surveillance humaine son article 14, en exigeant que les systèmes soient conçus pour pouvoir être supervisés efficacement, y compris la capacité d'interpréter leur sortie, de ne pas s'y fier à l'excès et d'en interrompre le fonctionnement. La formulation normative confirme un point architectural : la supervision effective présuppose la vérifiabilité. On ne peut pas surveiller ce qu'on ne peut pas inspecter.
Ce que cela implique pour le concepteur
Plus de travail d'instrumentation et moins d'effet de scène. Un système vérifiable montre ses propres limites et, dans une démonstration commerciale, une limite déclarée impressionne moins qu'une réponse assurée. C'est pourtant la seule manière de porter l'apprentissage automatique dans des processus où quelqu'un répond du résultat, et c'est le critère selon lequel les produits Analytiko™ sont conçus et évalués : chaque sortie distingue l'observé de l'inféré, déclare sa marge et conserve la chaîne qui la relie à l'évidence.
Références : Doshi-Velez F., Kim B., « Towards a Rigorous Science of Interpretable Machine Learning », arXiv:1702.08608, 2017 · Miller T., « Explanation in Artificial Intelligence », Artificial Intelligence, 267, 2019 · Guo C. et al., « On Calibration of Modern Neural Networks », ICML 2017 · Règlement (UE) 2024/1689, article 14.
Analytiko · 2 septembre 2026