Die Literatur zur Interpretierbarkeit maschinellen Lernens hat einen inzwischen klassischen Ausgangspunkt: Es gibt keine einheitliche Definition von Interpretierbarkeit, und ihr Bedarf entsteht, wenn das Problem, das das System löst, unvollständig gegenüber dem spezifiziert ist, worauf es wirklich ankommt (Doshi-Velez und Kim, 2017). In den Anwendungskontexten, mit denen wir arbeiten, eine Buchung, ein Transportdokument, eine Prüfung gegen öffentliche Daten, ist diese Unvollständigkeit die Regel: Das System antwortet, aber die Verantwortung für das Ergebnis bleibt bei einer Person. Daraus folgt, dass Erklärbarkeit und Kontrolle keine begleitende Dokumentation des Produkts sind: Sie sind Eigenschaften des Produkts und müssen wie die anderen entworfen werden, mit Anforderungen, mit Messgrößen und mit den Kosten, die sie verursachen.
Evidenz und Inferenz gehören getrennt
Die erste Form der Erklärbarkeit ist konkret und hat nichts Theoretisches: sichtbare Quellen, rekonstruierbare Schritte und eine scharfe Unterscheidung zwischen dem, was das System beobachtet, und dem, was es gefolgert hat. Eine aus einem Dokument gelesene Zahl und eine von einem Modell geschätzte Zahl müssen für den Nutzer verschieden aussehen, weil sie einen verschiedenen epistemischen Status haben: Die erste prüft man durch Rückverfolgung zur Quelle, die zweite beurteilt man gegen eine Fehlermarge. Sie in der Oberfläche zu vermischen heißt, dem Nutzer eine Mehrdeutigkeit zu übertragen, die das System kannte und verschwieg.
Die Forschung zur Erklärung hat zudem gezeigt, dass eine wirksame Erklärung selektiv und kontrastiv ist, also die Frage «warum dies und nicht das» mit wenigen einschlägigen Elementen beantwortet, nicht mit der erschöpfenden Liste der Faktoren (Miller, 2019). Für den Entwickler ist die Konsequenz präzise: Die nützliche Erklärung ist die, die den Nutzer in wenigen Schritten zum Ausgangswert führt, nicht die, die das Innenleben des Modells beschreibt.
Unsicherheit wird entworfen, und kalibriert
Ein reifes System verbirgt nicht, was es nicht weiß. Konfidenzschwellen, Unsicherheitsindikatoren und Wege der menschlichen Prüfung gehören zur Oberfläche, nicht ins Handbuch. Es gibt jedoch eine Vorbedingung, die die Praxis oft vernachlässigt: Damit eine erklärte Konfidenz etwas bedeutet, muss sie kalibriert sein, also empirisch der Häufigkeit entsprechen, mit der das System recht hat. Es ist dokumentiert, dass moderne neuronale Netze zu schlechter Kalibrierung neigen, systematisch sicherer sind, als ihre Ergebnisse rechtfertigen (Guo et al., 2017); dem Nutzer eine unkalibrierte Konfidenz zu zeigen ist schlimmer, als keine zu zeigen, weil es einen Eindruck als Messung verkleidet.
Unsicherheit zu entwerfen heißt auch, im Voraus zu entscheiden, was unterhalb einer gegebenen Schwelle geschieht: Das System hält an, fragt, meldet, leitet an eine Person weiter. Das sind Produktentscheidungen, und sie müssen getroffen werden, bevor das Modell existiert, weil sie die Anforderungen bestimmen, die das Modell erfüllen muss, und nicht umgekehrt.
Kontrolle ist eine Architektur
Versionierung der Modelle, Protokollierung von Ein- und Ausgaben, Überwachung von Drift über die Zeit, wiederholbare Bewertungen auf stabilen Testbeständen: Das sind die Bedingungen, um ein vergangenes Ergebnis zu reproduzieren und zu verstehen, warum ein heutiges Ergebnis von dem vor sechs Monaten abweicht. Ohne diese Instrumentierung ist ein lernendes System nicht steuerbar: Es funktioniert, solange es funktioniert, und wenn es aufhört, kann niemand sagen, seit wann und warum. Die Kontrollinstrumentierung kostet, das muss gesagt werden: Sie verlängert die Entwicklung und zeigt sich nicht in Vorführungen. Es ist die typische Investition, deren Nutzen erst beim ersten vermiedenen oder rekonstruierten Vorfall sichtbar wird.
Menschliche Aufsicht ist eine Anforderung, auch rechtlich
Das Prinzip «das System schlägt vor, eine Person entscheidet, die Entscheidung bleibt einsehbar» ist nicht bloß Vorsicht: Für als hochriskant eingestufte Systeme ist es eine Rechtspflicht. Die europäische Verordnung über künstliche Intelligenz (Verordnung (EU) 2024/1689) widmet der menschlichen Aufsicht ihren Artikel 14 und verlangt, dass Systeme so entworfen werden, dass sie wirksam beaufsichtigt werden können, einschließlich der Fähigkeit, ihre Ausgabe zu interpretieren, sich nicht übermäßig auf sie zu verlassen und ihren Betrieb zu unterbrechen. Die normative Formulierung bestätigt einen architektonischen Punkt: Wirksame Aufsicht setzt Überprüfbarkeit voraus. Man kann nicht beaufsichtigen, was man nicht einsehen kann.
Was das für den Entwickler bedeutet
Mehr Instrumentierungsarbeit und weniger Bühneneffekt. Ein überprüfbares System zeigt seine eigenen Grenzen, und in einer kommerziellen Vorführung beeindruckt eine erklärte Grenze weniger als eine sichere Antwort. Es ist jedoch der einzige Weg, maschinelles Lernen in Prozesse zu bringen, in denen jemand für das Ergebnis einsteht, und es ist das Kriterium, nach dem die Analytiko™-Produkte entworfen und bewertet werden: Jede Ausgabe unterscheidet das Beobachtete vom Gefolgerten, erklärt ihre Marge und bewahrt die Kette, die sie mit der Evidenz verbindet.
Literatur: Doshi-Velez F., Kim B., «Towards a Rigorous Science of Interpretable Machine Learning», arXiv:1702.08608, 2017 · Miller T., «Explanation in Artificial Intelligence», Artificial Intelligence, 267, 2019 · Guo C. et al., «On Calibration of Modern Neural Networks», ICML 2017 · Verordnung (EU) 2024/1689, Artikel 14.
Analytiko · 2. September 2026