Overfitting

Overfitting ist die häufigste Todesursache von Trading-Strategien: Ein Modell hat „auswendig gelernt“, was in der Vergangenheit funktioniert hat, und generalisiert nicht auf die Zukunft.

Symptome im Backtest: traumhafte Sharpe-Werte, viele Parameter, perfektes Kurven-Fitting. Gegenmittel: einfache Modelle, Out-of-Sample-Test, Walk-Forward-Validation, Information Coefficient prüfen, Anzahl Hypothesen-Tests dokumentieren (Multiple-Testing-Korrektur, White's Reality Check).

Genaue Definition

Overfitting (Überanpassung) liegt vor, wenn ein Modell oder Regelwerk neben dem wiederkehrenden Muster auch das zufällige Rauschen der Daten abbildet, auf denen es entwickelt wurde. Erkennbar wird das als Lücke: Die Kennzahlen auf den Optimierungsdaten (In-Sample) sind deutlich besser als auf Daten, die bei der Entwicklung unberührt blieben (Out-of-Sample). Im Trading entsteht Overfitting auf zwei Wegen: durch zu viele frei wählbare Parameter im Verhältnis zur Zahl der Trades und durch Auswahl, also das Ausprobieren vieler Varianten, von denen nur die beste übrig bleibt (Data-Snooping, Selection-Bias). Ein mathematisches Bild für den ersten Weg: Ein Polynom zehnten Grades lässt sich durch elf beliebige Punkte mit verschiedenen x-Werten exakt legen, sagt über einen zwölften Punkt aber nichts Verlässliches aus. Overfitting ist dabei kein reines Machine-Learning-Thema; es betrifft ebenso einen MT5-Expert-Advisor, dessen Parameter im Strategietester per genetischer Optimierung gesucht werden.

Rechnung: warum viele Versuche täuschen

Werden N voneinander unabhängige Varianten ohne echten Vorteil auf einem Signifikanzniveau von 5 % geprüft, ist die Wahrscheinlichkeit, dass mindestens eine zufällig „signifikant“ aussieht: P = 1 − 0,95^N.

Rechenbeispiel: Bei N = 20 Varianten ist P = 1 − 0,95^20 ≈ 0,64, also rund 64 %. Bei N = 100 Varianten sind es 1 − 0,95^100 ≈ 99,4 %. Die einfache Korrektur nach Bonferroni verlangt deshalb für jede einzelne Variante ein Niveau von 5 % / N, bei 20 Varianten also 0,25 %. Wie schnell N wächst, zeigt ein Regelwerk mit 4 Parametern und je 10 möglichen Werten: 10^4 = 10.000 Kombinationen, also 10.000 Versuche, wenn alle getestet werden. In der Praxis sind Varianten oft korreliert, die Zahl der wirklich unabhängigen Versuche ist dann kleiner als N und muss geschätzt werden. Die Deflated Sharpe Ratio bezieht die Zahl der Versuche und die Streuung ihrer Ergebnisse in die Bewertung ein.

Umsetzung im Code und typischer Fehler

Ganz vermeiden lässt sich Overfitting nicht, aber sichtbar machen. Dazu gehört, die Daten vor dem ersten Test aufzuteilen und einen letzten Abschnitt (Holdout) erst ganz am Ende ein einziges Mal zu verwenden. Jeder Optimierungslauf wird protokolliert, damit die Zahl der Versuche bekannt ist. Bei der Parameterwahl hilft der Blick auf die Umgebung des Optimums: Liegt der beste Wert auf einem breiten Plateau ähnlich guter Werte, ist das robuster als eine einzelne Spitze, neben der die Ergebnisse einbrechen. Ein formales Maß ist die Probability of Backtest Overfitting (PBO) nach Bailey, Borwein, López de Prado und Zhu: Sie schätzt per kombinatorischer Kreuzvalidierung, wie oft die In-Sample-beste Variante out-of-sample unter dem Median aller Varianten landet.

Ein typischer Fehler im Trading-Bot steckt in der Datenvorbereitung: Ein Skalierer (etwa StandardScaler) wird auf der gesamten Zeitreihe angepasst, bevor sie in Training und Test geteilt wird. Mittelwert und Streuung der Testphase fließen so ins Training ein. Richtig ist, jede Transformation nur auf dem Trainingsabschnitt zu fitten und auf den Testabschnitt lediglich anzuwenden. Ein zweiter typischer Fehler: Nach einem schwachen Out-of-Sample-Ergebnis wird die Strategie angepasst und erneut auf denselben Out-of-Sample-Daten geprüft. Damit werden diese Daten Teil der Optimierung.

Grenzen und Missverständnisse

Ein schwaches Out-of-Sample-Ergebnis beweist nicht zwingend Overfitting; es kann auch an einem veränderten Marktumfeld liegen. Umgekehrt belegt ein gutes Out-of-Sample-Ergebnis keine Robustheit, wenn es erst nach mehreren Anläufen zustande kam. Auch ein einfaches Modell mit zwei Parametern kann überangepasst sein, wenn es aus Hunderten Varianten ausgewählt wurde. Wie stark ein einfaches Regelwerk auf andere Parameter reagiert, lässt sich im Backtest Playground nachvollziehen. Verwandte Verfahren: Walk-Forward-Analyse, Cross-Validation mit Purging und Embargo, Monte-Carlo-Simulation. Die Bias-Quellen im Überblick beschreibt der Artikel Bias-Korrektur in Backtests.