LLM-Signale ehrlich backtesten ohne Look-Ahead-Leakage.
Der verführerischste und gefährlichste Fehler bei LLM-gestützten Trading-Signalen ist unsichtbar: Das Modell weiß bereits, wie die Geschichte ausgegangen ist. Wer ein heutiges Sprachmodell auf einen Nachrichtentext aus dem Jahr 2021 ansetzt und es nach der zu erwartenden Kursreaktion fragt, bekommt eine Antwort, die vom Wissen über das tatsächliche Ergebnis durchsetzt ist — das Modell hat über genau diese Entwicklung in seinen Trainingsdaten gelesen. Der Backtest sieht dann brillant aus und scheitert im Livebetrieb vollständig. Diese Form von Look-Ahead-Leakage ist heimtückischer als die klassischen Datenfehler, weil sie nicht in den Kursdaten steckt, sondern im Modell selbst. Dieser Beitrag erklärt, warum LLMs Backtests auf eine ganz eigene Weise verfälschen, welche Arten von Leakage zu unterscheiden sind, wie man mit Knowledge-Cutoffs, Point-in-Time-Texten und Vintage-Daten ein ehrliches Bild herstellt — und warum ein ernüchternder, aber realistischer Backtest am Ende mehr wert ist als ein beeindruckender, der lügt.
Drei Arten von Leakage, die sich überlagern.
Bei LLM-Signalen vermischen sich mehrere Leakage-Quellen, die man sauber auseinanderhalten muss, weil jede eine eigene Gegenmaßnahme braucht.
| Leakage-Typ | Quelle | Gegenmaßnahme |
|---|---|---|
| Modell-Wissen | Trainingsdaten des LLM kennen die Zukunft | Knowledge-Cutoff beachten, Ergebnisbezug vermeiden |
| Text-Leakage | verwendeter Text war zum Zeitpunkt nicht verfügbar | Point-in-Time-Texte, Veröffentlichungszeitpunkt prüfen |
| Daten-Leakage | revidierte Kurs-/Fundamentaldaten | Vintage-Daten, Point-in-Time-Datenbank |
Die ersten beiden sind LLM-spezifisch und werden oft übersehen, weil man bei klassischem Machine Learning nur die dritte kennt. Wer nur die Kursdaten sauber hält, aber das Modellwissen ignoriert, hat den gefährlichsten Kanal offengelassen. Alle drei können sich überlagern und einen Backtest gleich mehrfach beschönigen.
Der Knowledge-Cutoff und seine Tücken.
Jedes LLM hat einen Wissensstichtag — den Zeitpunkt, bis zu dem seine Trainingsdaten reichen. Naiv könnte man denken: Solange der Backtest-Zeitraum vor diesem Stichtag liegt, ist alles in Ordnung. Das Gegenteil ist der Fall. Genau dann kennt das Modell die Zukunft.
Will man ein Signal für das Jahr 2022 backtesten, bräuchte man streng genommen ein Modell, dessen Wissen vor 2022 endet. Solche Modelle existieren zwar, sind aber älter und schwächer — und mit jedem Jahr, das vergeht, schrumpft das Fenster sauberer historischer Auswertung weiter.
Es gibt keine perfekte Lösung. Eine pragmatische Annäherung ist, das Modell strikt auf die Verarbeitung des vorgelegten Textes zu beschränken und es nicht nach Prognosen zu fragen, die es aus Weltwissen beantworten könnte. Wenn das Modell nur extrahiert, was im Text steht — etwa welche Risikofaktoren genannt werden — statt zu prognostizieren, wie der Kurs reagieren wird, ist der Leakage-Kanal deutlich schmaler. Die Prognose entsteht dann in einem nachgelagerten, klassischen Modell, das nur auf damals verfügbaren Daten trainiert wurde.
Warum Extraktion sicherer ist als Prognose.
Die wichtigste architektonische Entscheidung für leakage-arme LLM-Signale ist die Trennung von Extraktion und Prognose. Das LLM sollte beschreiben, nicht vorhersagen.
Ein Beispiel verdeutlicht den Unterschied. Frage A lautet: „Wird dieser Geschäftsbericht zu einem Kursanstieg führen?“ — eine Prognosefrage, die das Modell mit seinem Weltwissen über den tatsächlichen Verlauf beantworten kann. Frage B lautet: „Welche neuen Risikofaktoren nennt dieser Bericht im Vergleich zum Vorjahr?“ — eine reine Extraktionsfrage, deren Antwort vollständig im vorgelegten Text steht.
Frage B ist gegen Modell-Leakage weitgehend immun, weil die Antwort nicht aus der Zukunft stammen kann, sondern aus dem Dokument. Die extrahierten Merkmale fließen anschließend in ein gewöhnliches Vorhersagemodell, das man mit den üblichen Methoden — Purging, Embargo, Out-of-Sample-Trennung — sauber gegen Leakage absichern kann. So verlagert man die kritische Prognose-Stufe aus dem schwer kontrollierbaren LLM in einen Bereich, in dem die etablierten Hygieneregeln greifen.
Point-in-Time-Texte: Was war wann lesbar.
Selbst wenn das Modell-Wissen unter Kontrolle ist, lauert die zweite Falle: Der Text, den man dem Modell vorlegt, war zum simulierten Handelszeitpunkt vielleicht noch gar nicht verfügbar oder lag in einer späteren, revidierten Fassung vor.
Nachrichtenartikel werden nachträglich editiert. Geschäftsberichte werden korrigiert und neu eingereicht. Wer im Backtest die finale, korrigierte Fassung verwendet, nutzt Informationen, die zum damaligen Zeitpunkt niemand hatte. Korrekt ist nur die Fassung, die genau zu diesem Zeitpunkt öffentlich war — mit dem exakten Veröffentlichungs-Zeitstempel.
In der Praxis bedeutet das, jeden Text mit seinem präzisen Verfügbarkeitszeitpunkt zu speichern und im Backtest ausschließlich Texte zu verwenden, deren Zeitstempel vor dem simulierten Handelszeitpunkt liegt. Bei Nachrichten ist überdies die Verzögerung zwischen Ereignis und tatsächlicher Verfügbarkeit für den eigenen Datenfeed zu berücksichtigen — wer eine Schlagzeile zur Sekunde des Ereignisses einbucht, obwohl sie real erst Minuten später im Feed lag, baut bereits Leakage ein.
Vintage-Daten für die Kursseite.
Die dritte Leakage-Quelle ist die klassische, aber sie verschwindet nicht, nur weil man jetzt mit Texten arbeitet. Fundamentaldaten werden revidiert, Indizes neu zusammengesetzt, Kurse um Corporate Actions angepasst. Wer die heutige, finale Datenversion in einen historischen Backtest einspielt, verwendet Korrekturen, die damals nicht bekannt waren.
Die Lösung ist eine Point-in-Time- oder Vintage-Datenbank, die nicht nur den Wert speichert, sondern auch, wann dieser Wert bekannt war. Ein Quartalsgewinn, der drei Wochen nach Quartalsende veröffentlicht und später revidiert wurde, darf im Backtest erst ab dem Veröffentlichungsdatum und in der damals gültigen Fassung auftauchen.
Für LLM-Signale ist diese Disziplin doppelt wichtig, weil die Textseite und die Datenseite zusammenpassen müssen. Es nützt nichts, den Geschäftsbericht zeitlich korrekt einzubuchen, wenn die Kennzahl, gegen die man ihn validiert, aus einer späteren Revision stammt. Beide Zeitachsen — Text und Zahl — müssen denselben Wissensstand abbilden.
Ein realistischer Test-Aufbau.
Ein ehrlicher Backtest für LLM-Signale folgt einer klaren Reihenfolge, die jede der drei Leakage-Quellen adressiert.
- Texte zeitlich korrekt einbinden: Nur Texte verwenden, deren Veröffentlichungszeitstempel vor dem Handelszeitpunkt liegt, in der damals gültigen Fassung.
- LLM auf Extraktion beschränken: Das Modell beschreibt, was im Text steht, statt Kursreaktionen zu prognostizieren.
- Prognose im nachgelagerten Modell: Ein klassisches Modell verbindet die extrahierten Merkmale mit dem Ziel — mit Purging und Embargo gegen Überlappung.
- Vintage-Daten auf der Zielseite: Renditen und Kennzahlen in der damals bekannten Fassung.
- Echte Out-of-Sample-Phase: Eine abschließende Periode, die in keiner Entwicklungsentscheidung berührt wurde.
Wer diese Reihenfolge einhält, bekommt fast immer ein ernüchternderes Ergebnis als der naive Ansatz. Das ist kein Fehler — das ist der Punkt. Der ernüchternde Wert ist die ehrliche Schätzung dessen, was im Livebetrieb übrig bleibt.
Die unbequeme Schlussfolgerung.
Die ehrliche Auseinandersetzung mit LLM-Leakage führt oft zu einer unbequemen Erkenntnis: Viele beeindruckende LLM-Trading-Ergebnisse, die im Umlauf sind, dürften zu einem erheblichen Teil auf Leakage beruhen. Sobald man die Tests sauber baut, schrumpft der Edge — manchmal auf null.
Das ist keine Absage an LLMs im Trading, sondern eine Aufforderung zur Disziplin. Es gibt belastbare Anwendungen, gerade dort, wo das Modell strukturierte Information aus Texten extrahiert, die ein Mensch in der Breite nicht verarbeiten könnte. Aber der Nachweis eines echten, leakage-freien Edges ist deutlich anspruchsvoller, als die meisten Demonstrationen suggerieren.
Die praktische Konsequenz: Bevor man einer LLM-Signal-Strategie reales Kapital anvertraut, sollte man mehr Zeit in die Leakage-Prüfung stecken als in das Modell selbst. Ein Backtest, der nach gründlicher Bereinigung immer noch einen kleinen, stabilen Vorteil zeigt, ist mehr wert als zehn glänzende Kurven, die unter der Oberfläche die Zukunft kennen.
Sie haben ein LLM-Signal, das im Backtest verdächtig gut aussieht, und wollen wissen, ob es im Livebetrieb trägt? Unverbindlich anfragen — wir prüfen Ihre Pipeline systematisch auf Modell-, Text- und Daten-Leakage und schätzen ehrlich ab, was nach der Bereinigung von der Performance übrig bleibt.