Drift-Detection mit statistischen Tests KS, PSI und MMD im Produktiv-Monitoring.

Wer ein Trading-Modell im Produktivbetrieb überwacht, braucht irgendwann eine objektive Antwort auf eine einfache Frage: Hat sich die Verteilung meiner Eingangsdaten oder meiner Vorhersagen so weit verschoben, dass ich eingreifen sollte? Das Bauchgefühl reicht hier nicht — es sieht entweder zu viele Geister oder übersieht den schleichenden Verfall. Statistische Drift-Tests liefern den fehlenden Maßstab: Sie messen quantitativ, wie stark sich eine aktuelle Verteilung von einer Referenzverteilung unterscheidet, und übersetzen das in eine Zahl mit Schwellenwert. Drei Verfahren haben sich in der Praxis durchgesetzt: der Kolmogorov-Smirnov-Test, der Population Stability Index und die Maximum Mean Discrepancy. Jedes hat eigene Stärken, eigene blinde Flecken und eigene Fehlalarm-Neigungen. Dieser Beitrag vergleicht die drei an den Eigenheiten von Trading-Features, zeigt, wann welcher Test passt, und macht ehrlich, wo statistische Tests an Grenzen stoßen — gerade dort, wo die Daten ohnehin nie wirklich unabhängig und identisch verteilt sind.

Warum man Drift überhaupt formal messen sollte.

Ein Modell-Monitoring, das nur auf die Rendite schaut, reagiert zu spät und liefert keine Ursache. Drift-Tests setzen früher an: Sie beobachten die Verteilungen der Eingangs-Features und der Modell-Ausgaben und schlagen Alarm, bevor sich der Effekt voll in der Performance niederschlägt. Das gibt Zeit, eine Diagnose zu stellen, statt im Verlust zu reagieren.

Der Grundgedanke ist immer derselbe. Man definiert eine Referenzverteilung — meist die Trainingsdaten oder ein stabiles historisches Fenster — und vergleicht sie laufend mit der aktuellen Verteilung in einem gleitenden Fenster. Der Test gibt eine Distanz oder eine Teststatistik aus, und ein vorab gesetzter Schwellenwert entscheidet, ob die Abweichung als Drift gilt.

Der Reiz liegt in der Objektivität: Statt „die Daten sehen komisch aus“ gibt es eine reproduzierbare Zahl. Der Preis ist, dass jeder Test Annahmen mitbringt, die in Finanzdaten oft verletzt sind — und dass ein schlecht gewählter Schwellenwert entweder in Fehlalarmen ertrinkt oder echte Drift verschläft.

Der Kolmogorov-Smirnov-Test — einfach, aber empfindlich.

Der Kolmogorov-Smirnov-Test (KS) vergleicht zwei Verteilungen, indem er den größten vertikalen Abstand zwischen ihren kumulativen Verteilungsfunktionen misst. Er ist verteilungsfrei, leicht zu implementieren und für einzelne, stetige Features intuitiv: Die Teststatistik ist eine einzige Zahl zwischen 0 und 1, je größer, desto stärker die Abweichung.

Seine Schwächen sind allerdings für Trading-Daten relevant. Erstens reagiert der KS-Test am empfindlichsten auf Abweichungen in der Mitte der Verteilung und schwächer in den Rändern — gerade die Tails sind aber im Trading oft das Entscheidende. Zweitens, und das ist gravierend: Der zugehörige p-Wert geht von unabhängigen Stichproben aus. Finanzzeitreihen sind autokorreliert, die Beobachtungen also nicht unabhängig. Dadurch wird der p-Wert systematisch zu klein, und der Test schlägt viel zu oft Alarm.

In der Praxis nutzt man den KS-Test deshalb besser über seine reine Distanz-Statistik als über den p-Wert — und setzt den Schwellenwert empirisch, indem man beobachtet, welche Werte in stabilen Phasen auftreten. So wird aus einem hypersensiblen Signifikanztest ein brauchbarer relativer Drift-Indikator.

Der Population Stability Index — robust und interpretierbar.

Der Population Stability Index (PSI) stammt aus dem Kreditrisiko-Scoring und ist dort seit Jahrzehnten Standard. Er teilt beide Verteilungen in Bins — etwa Dezile der Referenzverteilung — und summiert über die Bins, wie stark sich die Anteile zwischen Referenz und Aktuell unterscheiden. Das Ergebnis ist eine einzige Zahl mit eingebürgerten, faustregelhaften Schwellen.

Der große Vorteil des PSI ist seine Robustheit gegen Autokorrelation und seine leichte Kommunizierbarkeit — eine Zahl, drei Schwellen, fertig. Der Nachteil: Das Ergebnis hängt von der Wahl der Bins ab. Zu wenige Bins verstecken Drift, zu viele machen den Index nervös. Außerdem sind die genannten Schwellen Faustregeln aus dem Kreditgeschäft, keine Naturgesetze — für volatile Trading-Features sollte man sie an der eigenen Historie kalibrieren statt blind zu übernehmen.

Maximum Mean Discrepancy — für komplexe, multivariate Drift.

KS und PSI betrachten typischerweise ein Feature nach dem anderen. Damit übersehen sie eine wichtige Drift-Form: die multivariate Verschiebung, bei der jedes einzelne Feature unauffällig bleibt, sich aber die Beziehung zwischen den Features ändert. Genau hier setzt die Maximum Mean Discrepancy (MMD) an.

MMD ist ein kernel-basiertes Distanzmaß zwischen zwei Verteilungen im mehrdimensionalen Raum. Vereinfacht gesagt bildet es beide Stichproben über eine Kernel-Funktion in einen hochdimensionalen Merkmalsraum ab und misst dort den Abstand der mittleren Repräsentationen. Der Vorteil: MMD erfasst auch Verschiebungen in der gemeinsamen Struktur mehrerer Features, nicht nur in den Randverteilungen.

Der Preis ist Komplexität. MMD ist rechenintensiver, das Ergebnis hängt von der Wahl der Kernel-Bandbreite ab, und es ist deutlich schwerer zu interpretieren — ein hoher MMD-Wert sagt, dass sich etwas geändert hat, aber nicht ohne Weiteres, was. Für ein Dashboard, das ein Team versteht, ist das ein Nachteil. MMD lohnt sich daher vor allem dort, wo die Korrelationsstruktur der Features selbst tragend für das Modell ist und univariate Tests nachweislich zu kurz greifen.

Die Wahl des Referenzfensters entscheidet mit.

Ein oft unterschätzter Punkt: Jeder dieser Tests ist nur so gut wie seine Referenzverteilung. Nimmt man als Referenz die gesamten Trainingsdaten, vergleicht man gegen einen breiten historischen Durchschnitt — Drift wird dann träge erkannt, weil das aktuelle Fenster gegen viele verschiedene Regime gemittelt wird. Nimmt man ein kurzes, jüngstes Fenster als Referenz, wird der Test nervös und meldet jede normale Schwankung.

Ebenso wichtig ist die Größe des Vergleichsfensters. Ein kleines Fenster reagiert schnell, rauscht aber stark; ein großes Fenster ist stabil, aber träge. Es gibt hier kein universell richtiges Setting — die Wahl hängt von der Handelsfrequenz und davon ab, wie schnell man auf Drift reagieren können muss.

Praktisch bewährt hat sich, mehrere Fenstergrößen parallel zu fahren und erst dann zu alarmieren, wenn mehrere Zeithorizonte gleichzeitig Drift anzeigen. Das filtert kurzfristiges Rauschen heraus, ohne echten, anhaltenden Drift zu verschlucken.

Wo statistische Tests systematisch Fehlalarme produzieren.

Die ehrlichste Aussage über Drift-Tests in Märkten ist, dass sie an einer Grundannahme scheitern: Sie gehen von unabhängigen, identisch verteilten Stichproben aus. Finanzdaten sind weder das eine noch das andere. Sie sind autokorreliert, sie clustern in der Volatilität, und ihre Verteilung ist ohnehin nicht stationär. Das führt zu zwei systematischen Problemen.

Erstens produzieren p-Wert-basierte Tests wie der klassische KS-Test in autokorrelierten Daten viel zu viele falsch-positive Signale. Wer die p-Werte naiv ernst nimmt, ertrinkt in Fehlalarmen. Zweitens ist „Drift“ in einem nie-stationären System ein Stück weit der Normalzustand — der Test misst dann ständig etwas, das tatsächlich da ist, aber nicht handlungsbedürftig sein muss.

Daraus folgt eine pragmatische Haltung: Drift-Tests sind Frühwarn-Indikatoren, keine Wahrheitsorakel. Man sollte sie als relative Signale lesen, ihre Schwellen an der eigenen, stabilen Historie kalibrieren und ein Drift-Signal immer mit einer Performance-Beobachtung kreuzen, bevor man handelt. Ein Drift-Alarm ist eine Aufforderung hinzuschauen — nicht automatisch eine Aufforderung nachzutrainieren.

Eine praxistaugliche Kombination der Verfahren.

In der Praxis spielt selten ein einzelner Test die Hauptrolle. Bewährt hat sich eine gestufte Kombination, die die Stärken ausnutzt und die blinden Flecken gegenseitig abdeckt:

• PSI als Standard-Wächter pro Feature — robust, interpretierbar, gut für ein Dashboard, das auch Nicht-Statistiker verstehen.
• KS-Distanz als feinerer Sensor für stetige Schlüssel-Features, ausgewertet über die Distanz-Statistik statt über den irreführenden p-Wert.
• MMD als gezielter Spezialtest für die wenigen Feature-Gruppen, deren gemeinsame Struktur für das Modell entscheidend ist.

Über allem steht ein Performance-Monitoring auf der Zielgröße, sobald die Ergebnisse vorliegen. Erst die Kombination aus Verteilungs-Tests auf den Eingaben und Güte-Beobachtung auf den Ausgaben erlaubt die eigentlich wichtige Unterscheidung — ob eine harmlose Verschiebung der Eingangsdaten vorliegt oder ein echter Bruch in der Modell-Logik. Welcher konkrete Test dabei anschlägt, ist zweitrangig; wichtig ist, dass man die Zahl im Kontext liest und nicht reflexhaft auf jeden Ausschlag reagiert.

Sie wollen ein Drift-Monitoring, das echte Verschiebungen meldet statt in Fehlalarmen zu ertrinken? Unverbindlich anfragen — wir wählen die passenden Tests für Ihre Features, kalibrieren die Schwellen an Ihrer Historie und verbinden sie mit Ihrem Performance-Monitoring.