Feature-Importance mit Purging ehrliche Wichtigkeit bei Zeitreihen.

Feature-Importance ist eines der ersten Werkzeuge, zu dem jeder greift, der ein Trading-Modell verstehen will — und gleichzeitig eines der am häufigsten falsch eingesetzten. Die voreingestellten Wichtigkeits-Rankings aus scikit-learn oder XGBoost wirken überzeugend, sind bei Finanzzeitreihen aber regelmäßig verzerrt: Sie bevorzugen Features mit vielen Kategorien, sie verteilen die Bedeutung willkürlich zwischen korrelierten Indikatoren, und sie werden durch überlappende Labels systematisch geschönt, weil Trainings- und Testdaten heimlich Information teilen. Das Ergebnis sind Rankings, die plausibel aussehen, aber out-of-sample nichts wert sind — und auf deren Basis dann Features ausgesortiert werden, die in Wahrheit getragen hätten. Dieser Beitrag zeigt, wie Mean-Decrease-Accuracy, Mean-Decrease-Impurity und Clustered Feature Importance zusammen mit Purging und Embargo belastbare Rankings liefern, welche Aussagekraft realistisch ist und wo auch die saubere Variante an ihre Grenzen kommt — denn Wichtigkeit ist nicht gleich Profitabilität, und kein Importance-Wert ersetzt einen ehrlichen Out-of-Sample-Test.

Warum Standard-Feature-Importance bei Marktdaten in die Irre führt.

Die meisten Praktiker übernehmen die Importance-Werte, die ein Modell von Haus aus mitliefert — bei Baum-Verfahren ist das die Mean-Decrease-Impurity (MDI): wie stark ein Feature im Schnitt die Unreinheit (Gini, Entropie) reduziert, wenn an ihm gesplittet wird. Das ist schnell und kostenlos, weil es während des Trainings ohnehin anfällt. Es hat aber drei eingebaute Schwächen, die bei Finanzdaten besonders schwer wiegen.

Erstens ist MDI cardinality-biased: Kontinuierliche Features mit vielen möglichen Split-Punkten — etwa ein roher Preis oder ein feingranularer Indikator — bekommen mechanisch höhere Werte als binäre oder grobe Features, völlig unabhängig vom tatsächlichen Informationsgehalt. Zweitens ist MDI eine reine In-Sample-Größe: Sie misst, wie das Modell die Trainingsdaten zerlegt, nicht wie gut es generalisiert. Ein Feature, an dem das Modell Rauschen auswendig lernt, kann eine hohe MDI haben und out-of-sample wertlos sein.

Drittens — und das ist bei Zeitreihen der schwerwiegendste Punkt — verteilen Baum-Verfahren die Bedeutung zwischen korrelierten Features zufällig. Hat man einen 10-Tage- und einen 12-Tage-Momentum, die fast identisch sind, splittet der Baum mal auf das eine, mal auf das andere. Beide bekommen halbe Werte und sehen unwichtig aus, obwohl das gemeinsame Signal stark ist. Wer auf dieser Basis Features streicht, wirft unter Umständen ein tragendes Signal weg.

MDA als ehrlichere, weil Out-of-Sample-basierte Alternative.

Mean-Decrease-Accuracy (MDA), auch Permutation Importance genannt, geht den umgekehrten Weg. Statt das Training zu beobachten, misst sie den Schaden: Man trainiert das Modell, bewertet es auf Validierungsdaten, permutiert dann die Werte eines einzelnen Features (mischt also seine Spalte durch, sodass die Verbindung zum Label zerstört wird) und bewertet erneut. Fällt die Performance stark, war das Feature wichtig — fällt sie gar nicht, war es überflüssig oder schädlich.

Der entscheidende Vorteil: MDA ist modellagnostisch und out-of-sample. Sie funktioniert mit jedem Schätzer, nicht nur mit Bäumen, und sie misst Generalisierung statt In-Sample-Fit. Als Bewertungsmetrik sollte man bei Trading-Modellen nicht blind Accuracy nehmen, sondern eine, die zur Aufgabe passt — bei unbalancierten Labels etwa Negative-Log-Loss oder F1, weil ein Feature, das die Klassenwahrscheinlichkeiten verbessert, sonst unsichtbar bleibt.

MDA hat zwei Kosten. Sie ist deutlich rechenintensiver, weil jedes Feature mindestens eine zusätzliche Bewertung erfordert, meist mehrere für eine stabile Schätzung. Und sie erbt das Korrelationsproblem in anderer Form: Permutiert man nur ein Feature von zwei nahezu identischen, kann das Modell die Information aus dem anderen ziehen, und beide erscheinen unwichtig. Genau hier setzt das Clustering an, das weiter unten beschrieben wird.

Das eigentliche Leck — überlappende Labels und Look-Ahead.

Bei Finanzzeitreihen entsteht das gravierendste Problem nicht aus der Importance-Methode selbst, sondern aus der Art, wie Labels gebildet werden. Wenn das Label eines Zeitpunkts aus einem Zeitfenster in der Zukunft stammt — etwa die Rendite über die nächsten zehn Tage, oder ein Triple-Barrier-Label, das bis zum Treffen einer Schwelle läuft — dann überlappen sich aufeinanderfolgende Labels. Das Label von Montag und das von Dienstag teilen sich neun gemeinsame Zukunftstage.

In einer naiven Kreuzvalidierung landen solche überlappenden Beobachtungen teils im Trainings-, teils im Testfold. Das Modell hat dann faktisch schon Information über die Testperiode gesehen — nicht durch echtes Lernen, sondern durch das Datenleck. Die Folge: aufgeblähte Validierungs-Scores und Importance-Rankings, die Features belohnen, die dieses Leck am besten ausnutzen. Im Live-Betrieb existiert das Leck nicht, und die Performance bricht weg.

Die Lösung sind zwei Mechanismen aus der Methodik von Marcos López de Prado:

• Purging: Trainingsbeobachtungen, deren Label-Zeitfenster sich mit dem Testfold überschneidet, werden aus dem Training entfernt.
• Embargo: Eine zusätzliche Sperrzone direkt nach dem Testfold, die verhindert, dass Serienkorrelation über die Foldgrenze hinweg leckt — typisch im Bereich von 1 bis 5 Prozent der Datenmenge.

Erst eine Purged-Embargoed-Cross-Validation liefert die saubere Basis, auf der MDA überhaupt erst aussagekräftig wird.

Clustered Feature Importance gegen das Korrelationsproblem.

Sowohl MDI als auch MDA versagen, wenn Features stark korreliert sind — und in einem typischen Trading-Feature-Set sind sie das fast immer: Dutzende Momentum-, Volatilitäts- und Mean-Reversion-Varianten messen im Grunde dasselbe mit leicht unterschiedlichen Fenstern. Die Bedeutung wird dann über die ganze Gruppe verschmiert, und keine Einzelvariable sieht wichtig aus.

Clustered Feature Importance dreht das um. Statt einzelne Features zu bewerten, gruppiert man sie zuerst — über eine Korrelations- oder Informationsmatrix und ein hierarchisches Clustering — zu thematischen Blöcken. Dann permutiert (bei MDA) oder aggregiert (bei MDI) man jeweils einen ganzen Cluster auf einmal. Das Ergebnis ist eine Wichtigkeit pro Konzept, nicht pro Spalte: "Momentum-Block trägt stark, Volumen-Block kaum" — eine Aussage, die robust ist und sich auch ökonomisch interpretieren lässt.

Praktischer Nebeneffekt: Die Cluster-Struktur ist selbst schon eine Erkenntnis. Sie zeigt, wie viele wirklich unabhängige Informationsdimensionen im Feature-Set stecken. Oft sind es bei fünfzig Features nur eine Handvoll echter Cluster — ein deutlicher Hinweis, dass das Set überladen ist und reduziert werden kann, ohne Signal zu verlieren.

Ein robuster Workflow in der Praxis.

In der Umsetzung hat sich eine feste Reihenfolge bewährt, die die genannten Bausteine kombiniert, statt einzelne Importance-Zahlen isoliert zu betrachten:

Der fünfte Schritt wird oft übersprungen und ist doch der wichtigste. Ein Feature-Ranking, das sich von Fold zu Fold oder von Jahr zu Jahr stark dreht, ist kein Ranking, sondern Rauschen. Erst Cluster, die über mehrere Validierungsperioden hinweg stabil oben stehen, verdienen Vertrauen. Diese zeitliche Konsistenzprüfung trennt echte Treiber von Zufallsmustern besser als jede einzelne, noch so sauber berechnete Zahl.

Was die Rankings nicht sagen — und oft missverstanden wird.

Selbst ein methodisch sauberes Importance-Ranking beantwortet nur eine eng begrenzte Frage: Welche Features tragen zur Vorhersagegüte des konkreten Modells bei? Es beantwortet ausdrücklich nicht, welche Features profitabel sind. Ein Feature kann die Klassifikationsgenauigkeit verbessern und trotzdem nur in Marktphasen feuern, in denen Transaktionskosten den Edge auffressen. Wichtigkeit und Handelbarkeit sind zwei verschiedene Dinge.

Ebenso wenig sagt Importance etwas über Kausalität. Ein Feature kann hoch ranken, weil es ein Confounder ist oder weil es zufällig mit dem Label im Testzeitraum korreliert — nicht weil es einen ökonomischen Mechanismus abbildet. Permutation Importance misst Assoziation im Modell, nicht Ursache. Wer kausale Aussagen braucht, muss zu Methoden wie Double Machine Learning greifen.

Und schließlich ist jedes Ranking modellabhängig. Ein Feature, das für ein Gradient-Boosting-Modell unwichtig ist, kann für ein lineares Modell zentral sein, weil die Modelle unterschiedliche Funktionsformen abbilden. Importance bewertet immer das Paar aus Feature und Modell, nie das Feature allein.

Grenzen und Aufwand ehrlich eingeordnet.

Die saubere Variante ist kein Gratis-Upgrade. Purged-Embargoed-CV mit Cluster-MDA ist je nach Datenmenge ein Vielfaches teurer als ein schnelles MDI aus dem trainierten Modell — bei großen Feature-Sets und vielen Folds kann eine Analyse von Minuten auf Stunden anwachsen. Für einen ersten Überblick ist die billige Variante legitim; für jede Entscheidung, die Features dauerhaft entfernt oder ein Modell in Produktion bringt, sollte die saubere Variante laufen.

Es gibt auch Situationen, in denen die Methodik wenig hilft. Bei sehr kurzen Historien reicht die Datenmenge nicht, um nach dem Purging noch stabile Schätzungen zu bekommen — die Foldgrößen werden zu klein. Und bei nicht-überlappenden Labels (etwa einer simplen Vorhersage des nächsten Bars) entfällt das Leakage-Problem weitgehend, sodass der Zusatzaufwand für Purging geringen Mehrwert bringt.

Der realistische Nutzen liegt nicht in einer hübscheren Grafik, sondern in vermiedenen Fehlentscheidungen: Features, die man fälschlich gestrichen hätte, bleiben erhalten; Scheinwichtigkeiten, auf die man Strategien gebaut hätte, werden entlarvt. In einem Forschungsprozess, in dem ein einzelnes übersehenes Leck Wochen an Arbeit auf ein Phantom-Signal lenken kann, zahlt sich diese Disziplin aus.

Sie vermuten, dass Ihre Feature-Auswahl auf verzerrten Importance-Rankings beruht und out-of-sample anders aussieht? Unverbindlich anfragen — gemeinsam prüfen wir Ihre Validierungslogik auf Label-Leakage, bauen eine purged Importance-Pipeline auf und trennen die Features, die wirklich tragen, von denen, die nur im Backtest glänzen.