Worum es beim Backtesting geht
Ein Backtest zeigt, wie sich ein festes Regelwerk auf historischen Daten verhalten hätte, und zwar unter genau den Annahmen, die im Test stecken. Die Validierung stellt die nächste Frage: Ist das Ergebnis mehr als eine Anpassung an zufällige Muster der Vergangenheit? Dazu gehören saubere Daten ohne Survivorship- und Look-Ahead-Fehler, realistische Kosten für Spread, Kommission und Slippage, eine klare Trennung von Optimierungs- und Testzeitraum sowie statistische Prüfungen, die berücksichtigen, wie viele Varianten ausprobiert wurden.
Die Artikel reichen von Grundlagen wie Walk-Forward in der Praxis bis zu Verfahren wie Bootstrap-Resampling, Monte-Carlo-Permutationstests oder White's Reality Check. Begriffe wie Overfitting und Survivorship-Bias erklärt das Glossar. Im Backtest-Playground lässt sich eine Moving-Average-Crossover-Strategie auf Beispieldaten ohne Code durchspielen.
Für wen die Artikel gedacht sind
Die Beiträge richten sich an Trader und Entwickler, die eigene Strategien in MetaTrader 5 oder Python testen, und an alle, die einen fremden Backtest beurteilen sollen, etwa bevor sie ein System übernehmen oder weiterentwickeln lassen. Für die meisten Methodik-Artikel genügen Grundbegriffe der Statistik wie Mittelwert, Standardabweichung und Standardfehler. Beiträge zu Verfahren wie der Deflated Sharpe Ratio oder der Combinatorial Purged Cross-Validation setzen etwas mehr voraus und enthalten Python-Code. Wie ein getestetes System anschließend stabil läuft, behandelt der Hub Trading-Bots und Broker-APIs.
Typische Fehler und Missverständnisse
- Die beste von vielen Varianten berichten. Wer hundert Parameterkombinationen testet und die beste auswählt, erhöht allein durch die Auswahl die Chance auf eine gut aussehende Kurve, auch wenn keine Variante einen echten Vorteil hat. Die Zahl der getesteten Varianten gehört deshalb in die Bewertung, etwa über die Deflated Sharpe Ratio oder einen Multiple-Testing-Test.
- Informationen aus der Zukunft. Ein Signal aus dem Tagesschlusskurs lässt sich nicht zur Eröffnung desselben Tages handeln. Quartalszahlen erscheinen in der Regel erst Wochen nach dem Quartalsende, manche Datenbanken ordnen sie aber rückwirkend dem Stichtag zu. Solche Look-Ahead-Fehler sind in der Kapitalkurve nicht zu erkennen (Bias-Korrektur).
- Nur die Überlebenden testen. Ein Aktienuniversum aus den heutigen Indexmitgliedern enthält keine Firmen, die zwischenzeitlich insolvent oder delistet wurden. Das verzerrt Rendite und Risiko in die optimistische Richtung (survivorship-freie Universen).
- Zu wenige Trades. Der Standardfehler des mittleren Trade-Ertrags sinkt nur mit der Wurzel der Trade-Anzahl. Rechenbeispiel: Bei 0,3 R mittlerem Ertrag und 1,5 R Standardabweichung (R ist das Anfangsrisiko eines Trades) liegt die t-Statistik nach 30 Trades bei etwa 1,1, nach 120 Trades bei etwa 2,2 (Stichprobengröße).
- Kosten pauschal oder gar nicht. Je kleiner der durchschnittliche Gewinn pro Trade, desto stärker verschieben Spread, Kommission und Slippage das Ergebnis. Kurzfristige Strategien reagieren darauf besonders empfindlich.
Vom Backtest zum Livebetrieb
Auch ein sauber validierter Backtest ist kein Beleg für künftige Ergebnisse. Märkte wechseln zwischen ruhigen und volatilen Phasen, und eine Strategie, die nur in einem Regime funktioniert hat, wirkt im Rückblick oft stabiler, als sie ist. Sinnvoll ist deshalb eine Kette von Prüfungen: ein Out-of-Sample- oder Walk-Forward-Test, Stresstests mit historischen Krisenphasen (Stress-Testing), danach ein Forward-Test auf einem Demokonto und ein vorher festgelegtes Kriterium, wann die Strategie als gescheitert gilt. Damit sich Ergebnisse später nachprüfen lassen, gehören Code, Datenstand und Parameter versioniert (reproduzierbare Backtests). Typische Gründe, warum Live-Ergebnisse hinter dem Test zurückbleiben, fasst der Beitrag Vom Backtest zur Live-Strategie zusammen.
Einstieg in 5 Schritten
- Vom Backtest zur Live-Strategie: die fünf häufigsten Fallen: Der Überblick über typische Fallen zwischen Backtest und Livebetrieb zeigt, welche Fehlerquellen Sie in den folgenden Schritten gezielt ausschließen sollten.
- Bias-Korrektur in Backtests: Survivorship, Look-Ahead, Selection systematisch eliminieren: Bevor Sie Kennzahlen bewerten, prüfen Sie die Daten: Survivorship-, Look-Ahead- und Selection-Bias erkennen und mit Point-in-Time-Daten korrigieren.
- Walk-Forward in der Praxis: so testen Sie Strategien ehrlich: Mit Walk-Forward trennen Sie Optimierung und Test über rollende Fenster und sehen, ob Ergebnisse und Parameter über mehrere Zeiträume stabil bleiben.
- Wie viele Trades braucht ein Backtest? Signifikanz prüfen: Danach folgt die Frage, ob die Anzahl der Trades überhaupt reicht, mit Standardfehler, t-Statistik und Probabilistic Sharpe Ratio an einem Rechenbeispiel erklärt.
- Deflated Sharpe Ratio: die ehrliche Korrektur für Backtest-Overfitting: Zuletzt korrigiert die Deflated Sharpe Ratio das Ergebnis für die Zahl getesteter Varianten sowie für Schiefe und Kurtosis der Erträge.
Häufige Fragen
Wie viele Trades braucht ein Backtest?
Eine feste Zahl gibt es nicht. Entscheidend ist, wie groß der mittlere Ertrag pro Trade im Verhältnis zu seiner Streuung ist. Der Standardfehler sinkt nur mit der Wurzel der Trade-Anzahl: Für einen halb so großen Standardfehler braucht es viermal so viele Trades. Ein kleiner Vorteil pro Trade braucht deshalb ein Vielfaches an Trades, bis er sich statistisch von null unterscheiden lässt. Zusätzlich zählt, ob die Daten verschiedene Marktphasen abdecken.
Was unterscheidet Walk-Forward von einem einfachen Out-of-Sample-Test?
Ein einfacher Out-of-Sample-Test teilt die Daten einmal: Optimiert wird auf dem ersten Teil, geprüft auf dem zweiten. Walk-Forward wiederholt diesen Schritt: optimieren auf einem Zeitraum, testen auf dem direkt folgenden, dann um die Testlänge weiterrücken, wahlweise mit festem oder wachsendem Optimierungsfenster. So entsteht eine zusammengesetzte Out-of-Sample-Kurve aus mehreren Phasen, und es wird sichtbar, ob die optimalen Parameter stabil bleiben oder von Fenster zu Fenster springen.
Warum sind Live-Ergebnisse oft schlechter als der Backtest?
Häufig kommen mehrere Ursachen zusammen. Wurden viele Varianten getestet, ist das beste Ergebnis zum Teil Zufall. Look-Ahead- und Survivorship-Fehler schönen die Daten. Spread, Kommission und Slippage fallen live oft höher aus als im Test angenommen, und Ausführungsverzögerungen fehlen im Test manchmal ganz. Dazu kommen Marktphasen, die im Testzeitraum nicht vorkamen. Je mehr dieser Punkte ein Backtest offen lässt, desto größer kann der Abstand zum Livebetrieb ausfallen.
Ist ein guter Backtest ein Beleg für künftige Gewinne?
Nein. Ein Backtest zeigt, wie sich Regeln unter den Annahmen des Tests in der Vergangenheit verhalten hätten. Saubere Daten, realistische Kosten, Out-of-Sample-Prüfung und statistische Tests senken die Wahrscheinlichkeit, einem Zufallsergebnis aufzusitzen. Gegen Regimewechsel, eine veränderte Marktstruktur oder neue Kosten schützen sie nicht. Ein validierter Backtest ist deshalb eine Voraussetzung für den Livebetrieb, aber keine Zusage über künftige Ergebnisse.
Was gehört in einen aussagekräftigen Backtest-Report?
Neben der Rendite gehören Maximal-Drawdown, Sharpe Ratio und Trade-Statistik in den Report, berechnet mit Spread, Kommission und Slippage. Wichtig sind außerdem Datenquelle und Zeitraum, die Zahl der getesteten Varianten, die Trennung von Optimierungs- und Testzeitraum und das Out-of-Sample-Ergebnis. Fehlen diese Angaben, lässt sich nicht beurteilen, ob die Kennzahlen belastbar sind.