Transparenz und Erklärbarkeit von KI.

Eine KI lehnt eine Bewerbung ab, gewährt einen Kredit nicht, sortiert einen Antrag als bearbeitungswürdig oder nicht. Der Betroffene fragt: Warum? Und der Mitarbeiter, der das Ergebnis weitergeben muss, hat keine wirkliche Antwort — die KI hat halt entschieden. Diese Konstellation ist im Mittelstand 2026 keine Ausnahme, sondern Alltag. Mit dem EU AI Act, mit DSGVO-Auskunftsrechten und mit dem zunehmenden Bewusstsein für KI-Risiken ist sie aber nicht mehr akzeptabel. Erklärbarkeit von KI-Entscheidungen — auf Englisch Explainable AI oder XAI — ist von einem Forschungsthema zu einer Praxisanforderung geworden. Was sich dahinter verbirgt, was technisch heute möglich ist, was nicht, und wie ein Mittelständler ohne eigene Forschungsabteilung mit dem Thema umgehen kann, ist das Thema dieses Artikels. Er ersetzt keine Fachberatung, sondern soll Entscheidern eine pragmatische Orientierung geben.

Warum Erklärbarkeit nicht mehr verhandelbar ist.

Vor ein paar Jahren konnte man Erklärbarkeit als akademisches Anliegen relativieren: Wenn das Ergebnis stimmt, ist die innere Mechanik egal. Diese Position trägt nicht mehr. Drei Entwicklungen haben Erklärbarkeit zu einer Pflichtanforderung gemacht.

EU AI Act. Für Hochrisiko-KI-Systeme verlangt der AI Act unter anderem, dass die Funktionsweise hinreichend transparent ist, dass Betreiber das Ergebnis interpretieren können und dass eine menschliche Aufsicht möglich ist. Ohne ein Mindestmaß an Erklärbarkeit ist das nicht zu leisten.

DSGVO. Artikel 22 DSGVO gibt Betroffenen ein Recht, einer automatisierten Entscheidung nicht unterworfen zu werden, und Artikel 15 ein Recht auf Information über die involvierte Logik. Eine KI-Entscheidung, deren Logik nicht erklärt werden kann, ist DSGVO-rechtlich problematisch.

Geschäftspraxis. Auch jenseits der Regulatorik ist eine KI-Entscheidung ohne Erklärung im Unternehmensalltag problematisch. Ein Mitarbeiter, der eine Empfehlung weitergeben oder begründen muss, braucht eine Erklärung. Ein Kunde, der eine ungünstige Entscheidung bekommt, erwartet einen Grund. Ein Geschäftsführer, der eine strategische Empfehlung erhält, will wissen, woher sie kommt. Erklärbarkeit ist Voraussetzung für Vertrauen und Akzeptanz.

Daraus folgt: Erklärbarkeit ist kein „nice to have“, sondern eine Designanforderung an KI-Anwendungen. Wer sie nicht im Vorfeld mitdenkt, baut Anwendungen, die in der späteren Nutzung an Akzeptanz und Compliance scheitern.

Drei Erklärbarkeits-Ebenen — was wer braucht.

Erklärbarkeit ist kein einheitliches Anliegen. Drei Ebenen müssen unterschieden werden, weil sie unterschiedlichen Adressaten dienen.

Globale Erklärung. Wie funktioniert das System grundsätzlich? Welche Daten gehen ein, welche Logik ist hinterlegt, welche Faktoren sind wichtig? Diese Ebene richtet sich an Geschäftsführung, Compliance, Aufsicht, Datenschutzbeauftragte. Sie wird in einem Systembeschreibungs-Dokument festgehalten, das einmal erstellt und bei Änderungen aktualisiert wird.

Lokale Erklärung. Warum hat das System in diesem konkreten Fall so entschieden? Welche Eingaben waren ausschlaggebend, welche Faktoren haben das Ergebnis verändert? Diese Ebene richtet sich an den Bearbeiter, der die Entscheidung weiterträgt, und an den Betroffenen, der eine Auskunft verlangt. Sie wird pro Entscheidung generiert.

Kontrafaktische Erklärung. Was hätte sich ändern müssen, damit eine andere Entscheidung getroffen worden wäre? Welche Variablen waren ausschlaggebend? Diese Ebene ist besonders nützlich, weil sie für den Betroffenen handhabbar ist. „Wenn Ihre Berufserfahrung um zwei Jahre länger gewesen wäre, hätten Sie die Vorauswahl bestanden“ ist eine konkrete Information, mit der man umgehen kann.

Welche Ebene wann zu liefern ist, hängt von der Anwendung ab. Für eine Personalvorauswahl sind lokale und kontrafaktische Erklärungen wichtig. Für eine generelle Compliance ist die globale Erklärung zentral. Wer diese Differenzierung früh macht, baut effizienter — und liefert das, was der Empfänger wirklich braucht.

Welche Modelle wie gut erklärbar sind.

Modelle unterscheiden sich erheblich in ihrer inhärenten Erklärbarkeit. Eine grobe Übersicht:

Hieraus folgt eine pragmatische Regel: In Hochrisiko-Anwendungen, in denen Erklärbarkeit wichtig ist, sollten eher inhärent interpretierbare Modelle gewählt werden — auch wenn sie etwas weniger genau sind. Eine logistische Regression mit 88 Prozent Genauigkeit und perfekter Erklärbarkeit ist im Bewerber-Vorauswahl oft besser als ein Random Forest mit 92 Prozent Genauigkeit und unklarer Logik.

Eine Sonderrolle haben LLMs. Sie können ihre eigene Antwort begründen — aber diese Begründung ist nicht zwingend die wahre Ursache. Ein Modell kann etwa antworten „Ich habe Ihre Bewerbung als nicht passend eingestuft, weil die Berufserfahrung zu kurz ist“, obwohl die tatsächliche Ausschlussursache eine andere Variable war. Selbst-Begründungen von LLMs sind ein Indiz, kein Beweis.

Technische Werkzeuge — SHAP, LIME und Konsorten.

Für die häufigsten Modelltypen im Mittelstand existieren etablierte Werkzeuge zur Erklärbarkeit. Drei sollen genannt sein.

SHAP (Shapley Additive Explanations). Eine mathematisch fundierte Methode, die für jedes einzelne Ergebnis berechnet, welchen Beitrag jede Eingangsvariable hatte. SHAP funktioniert mit Random Forests, Gradient Boosting, neuronalen Netzen und vielen weiteren Modelltypen. Es ist heute der De-facto-Standard für lokale Erklärungen in tabellarischen Daten.

LIME (Local Interpretable Model-Agnostic Explanations). Eine alternative Methode, die lokal um eine konkrete Entscheidung herum ein einfaches Modell anpasst, das die Entscheidung approximiert. Schneller als SHAP, weniger mathematisch sauber, in der Praxis oft schon hinreichend.

Feature Importance. Eine globale Auswertung, welche Variablen über alle Entscheidungen hinweg den größten Einfluss haben. Nützlich für die Systemerklärung und für Audits, nicht für die Erklärung einzelner Entscheidungen.

In der Praxis kombinieren sich diese Werkzeuge. Eine Personalvorauswahl liefert pro Entscheidung eine SHAP-Auswertung („Diese Bewerbung wurde abgelehnt, weil die Berufserfahrung in Position X nur 2 Jahre war, der wichtigste Faktor mit -0.34“). Für Audits liefert das System einmal pro Quartal eine globale Feature-Importance-Analyse. Diese Kombination ist nicht akademisch perfekt, aber sie deckt 80 Prozent der praktischen Anliegen ab — mit überschaubarem technischen Aufwand.

Erklärbarkeit bei LLMs — die ehrliche Antwort.

Bei großen Sprachmodellen ist die Lage prinzipiell anders. Ein LLM hat keine klare interne Logik, die sich auswerten ließe. Die Methoden SHAP und LIME funktionieren prinzipiell, sind aber bei generativen Aufgaben weniger aussagekräftig. Was ist „die wichtigste Eingangsvariable“ für eine 200-Wort-Antwort?

Drei pragmatische Strategien werden in der Praxis kombiniert.

Quellenangabe. Ein RAG-System, das seine Antwort aus konkreten Dokumenten generiert, kann diese Quellen mit Zitaten ausweisen. Das ist nicht „Erklärbarkeit“ im strengen Sinn, aber es macht die Antwort nachvollziehbar — und das ist für die meisten Anwendungen das eigentliche Anliegen.

Selbst-Begründung mit Vorbehalt. Das Modell wird angewiesen, seine Antwort zu begründen und die wichtigsten Faktoren zu nennen. Diese Begründung ist nützlich als Indiz, sollte aber nicht als kausale Wahrheit verstanden werden.

Confidence-Scores und Unsicherheits-Hinweise. Wo möglich, soll das Modell angeben, wie sicher es sich ist. Das ist nicht trivial — LLMs sind systematisch übersicher in ihren eigenen Aussagen — aber moderne Frameworks beginnen, hier sinnvolle Werte zu liefern. Eine Aussage „Ich bin sehr sicher“ versus „Diese Information habe ich nicht zuverlässig“ ändert das Vertrauen erheblich.

Daraus folgt für die Anwendungspraxis: LLMs eignen sich heute schlecht für Entscheidungen, die in starkem Maße erklärbar sein müssen. Sie eignen sich für Assistenzfunktionen, in denen ein Mensch das Ergebnis prüft und verantwortet. Wer das Verhältnis dieser beiden Rollen verwechselt, baut Anwendungen, die rechtlich und operativ Probleme produzieren.

Kommunikation mit Betroffenen.

Eine sauber generierte Erklärung ist nichts wert, wenn sie nicht vermittelbar ist. Drei Punkte sind in der Kommunikation mit Betroffenen wichtig.

Sprache. Eine SHAP-Auswertung kann „Feature X: -0.34, Feature Y: +0.18“ liefern. Das ist für den Betroffenen wertlos. Eine Übersetzung in natürliche Sprache („Ihre Berufserfahrung in dieser Position war zu kurz; das war der wichtigste ausschließende Faktor“) ist Pflicht.

Handhabbarkeit. Eine gute Erklärung beantwortet implizit die Frage, was der Betroffene tun könnte, um eine andere Entscheidung zu erreichen — oder warum das nicht möglich ist. Eine kontrafaktische Erklärung („Mit zwei zusätzlichen Jahren Erfahrung hätten Sie die Vorauswahl bestanden“) ist handhabbarer als eine reine Aufzählung von Faktoren.

Begrenzung der Information. Eine Erklärung muss vollständig genug sein, dass sie der Auskunftspflicht genügt, aber nicht so vollständig, dass sie das Modell für Manipulation freilegt. Wenn das System ausgibt „Ihre Bewerbung wurde abgelehnt, weil Kennzahl X einen Wert unter 0.42 hatte“, werden zukünftige Bewerber ihre Lebensläufe so anpassen, dass Kennzahl X mindestens 0.42 erreicht — was die Aussagekraft des Modells untergräbt. Eine Erklärung muss informativ, aber nicht algorithmus-aufdeckend sein.

Grenzen — und warum perfekte Erklärbarkeit nicht das Ziel ist.

Drei Punkte verdienen ehrliche Anerkennung.

Erstens: Eine vollständige technische Erklärbarkeit ist bei komplexen Modellen nicht erreichbar — und in vielen Fällen nicht einmal sinnvoll. Eine SHAP-Auswertung erklärt, welche Variablen beigetragen haben; sie erklärt nicht, warum das Modell diese Variablen so gewichtet hat. Die Reise in die Tiefe kann beliebig fortgesetzt werden, hat aber abnehmenden Nutzen.

Zweitens: Erklärbarkeit kann mit Genauigkeit im Konflikt stehen. Ein interpretierbares Modell ist oft etwas weniger präzise als ein nicht-interpretierbares. In Hochrisiko-Anwendungen ist der Trade-off zugunsten der Interpretierbarkeit zu treffen. In risikoarmen Anwendungen (z. B. Marketing-Personalisierung) kann das anders abgewogen werden.

Drittens: Erklärbarkeit ersetzt keine Qualität. Ein erklärbares Modell, das schlechte Entscheidungen trifft, ist im Zweifel schlimmer als ein unerklärbares mit guten Entscheidungen — weil die schlechte Logik dann transparent dokumentiert ist. Erklärbarkeit ist nicht das Ziel, sondern ein Werkzeug, um Modelle zu verbessern, Compliance zu erfüllen und Vertrauen herzustellen. Wer sie als Selbstzweck verfolgt, verfehlt den Punkt.

Was Sie als Entscheider beachten sollten.

Drei pragmatische Schritte machen Erklärbarkeit zu einer realisierbaren Praxis:

1. Erklärbarkeit als Designanforderung früh formulieren. Bei jeder neuen KI-Anwendung muss vor der Tool-Auswahl geklärt sein, welche Erklärbarkeits-Anforderungen gelten — global, lokal, kontrafaktisch. Diese Anforderung beeinflusst Modellauswahl und Implementierung. Sie nachträglich einzuziehen ist deutlich teurer.
2. Standard-Werkzeuge nutzen. SHAP, LIME und Feature Importance sind etablierte Werkzeuge mit guter Tool-Unterstützung. Für die meisten mittelständischen Anwendungen reicht ein Datenanalyst mit den entsprechenden Skills — keine eigene Forschungsabteilung.
3. Erklärungs-Verfahren institutionalisieren. Wer liefert welche Erklärung an wen, in welcher Form, in welchem Zeitrahmen? Pro Anwendung sollte das geklärt sein, sonst entsteht bei jeder Anfrage neue Improvisation. Auch eine Verbindung zur allgemeinen KI-Governance ist hier sinnvoll — denn Erklärbarkeit ist eine Governance-Frage, nicht nur eine technische.

Was Sie nicht tun sollten: Erklärbarkeit als reines Compliance-Thema behandeln, das von der Rechtsabteilung delegiert wird. Sie ist eine technische, organisatorische und kommunikative Aufgabe — und sie entscheidet darüber, ob Ihre KI-Anwendungen langfristig Akzeptanz und Vertrauen genießen.

Sie wollen prüfen, ob Ihre KI-Anwendungen die nötige Erklärbarkeit liefern können? Unverbindlich anfragen — wir schauen gemeinsam auf Modellwahl, Erklärungsverfahren und die Kommunikation gegenüber Betroffenen.