Wahrscheinlichkeits-Kalibrierung wenn 70 Prozent auch 70 Prozent bedeuten.

Ein Trading-Classifier gibt 0,80 aus und die Versuchung ist groß, das als 80 Prozent Trefferwahrscheinlichkeit zu lesen — und die Positionsgröße entsprechend zu skalieren. Genau hier liegt ein teurer Denkfehler: Die meisten Modelle, von Random Forests über Gradient Boosting bis zu neuronalen Netzen, geben Scores aus, die zwar gut zwischen Gewinnern und Verlierern trennen, deren absolute Höhe aber nicht mit der tatsächlichen Eintrittshäufigkeit übereinstimmt. Ein Modell, das bei jeder „80-Prozent-Prognose“ in Wahrheit nur in 62 Prozent der Fälle richtig liegt, ruiniert jedes wahrscheinlichkeitsbasierte Position-Sizing, jede Kelly-Anwendung und jede Schwellenwert-Entscheidung. Dieser Beitrag erklärt, warum Kalibrierung und Trennschärfe zwei verschiedene Dinge sind, wie Reliability-Diagramme die Lücke sichtbar machen, welche Korrekturverfahren — Platt-Scaling, Isotonic Regression, Beta-Kalibrierung — wann taugen, und wo die Methode an ihre ehrlichen Grenzen stößt, gerade bei verrauschten Finanzdaten und wechselnden Marktregimen.

Warum Trennschärfe und Kalibrierung nicht dasselbe sind.

In der Modellbewertung dominieren Kennzahlen wie AUC, Accuracy oder F1 — und die messen alle dasselbe: wie gut ein Modell Gewinner von Verlierern trennt. Das ist die Trennschärfe (Discrimination). Ein Modell kann hier hervorragend sein und trotzdem völlig falsch kalibriert. Kalibrierung beantwortet eine andere Frage: Wenn das Modell „70 Prozent“ sagt, treten dann in 70 Prozent dieser Fälle tatsächlich Gewinne ein?

Ein Beispiel macht den Unterschied greifbar. Ein Modell vergibt allen profitablen Setups Scores zwischen 0,55 und 0,65 und allen Verlust-Setups zwischen 0,45 und 0,55. Die Trennung ist perfekt, die AUC liegt nahe 1,0 — aber kein einziger Score entspricht der wahren Wahrscheinlichkeit. Wer auf diesen Zahlen ein Sizing aufbaut, das bei 0,90 doppelt so groß einsteigt wie bei 0,60, geht systematisch daneben, weil das Modell nie über 0,65 hinauskommt.

Für das Trading ist Kalibrierung deshalb oft wichtiger als die letzte Stelle hinter dem Komma bei der AUC. Sobald die Modell-Wahrscheinlichkeit in eine Geldgröße übersetzt wird — Positionsgröße, Hedge-Anteil, Schwellenwert für den Einstieg — muss sie die Realität abbilden, nicht nur die Reihenfolge stimmen.

Wie Reliability-Diagramme die Lücke sichtbar machen.

Das Standardwerkzeug zur Diagnose ist das Reliability-Diagramm (auch Kalibrierungskurve). Man sortiert die Vorhersagen in Bins — etwa zehn Eimer von 0–0,1 bis 0,9–1,0 —, berechnet pro Eimer die mittlere vorhergesagte Wahrscheinlichkeit und die tatsächlich beobachtete Trefferquote und trägt beide gegeneinander auf. Liegt die Kurve auf der Diagonalen, ist das Modell kalibriert. Liegt sie darunter, ist das Modell überheblich (sagt zu hohe Wahrscheinlichkeiten); liegt sie darüber, ist es zu zurückhaltend.

Zwei typische Muster treten in der Praxis auf. Neuronale Netze und stark regularisierte Modelle neigen zur Überheblichkeit — sie drücken Scores Richtung 0 und 1. Stark gebaggte Modelle wie Random Forests neigen zur Zurückhaltung und meiden die Extreme. Die folgende Tabelle fasst typische Verzerrungen zusammen:

Ergänzend quantifiziert der Expected Calibration Error (ECE) die mittlere Abweichung über alle Bins zu einer einzigen Zahl. Wichtig: Reliability-Diagramme reagieren empfindlich auf die Bin-Anzahl und auf dünn besetzte Eimer — gerade an den Rändern, wo wenige Beobachtungen liegen, sind die beobachteten Quoten verrauscht und sollten nicht überinterpretiert werden.

Platt-Scaling — schnell, robust, aber mit Formannahme.

Platt-Scaling ist der pragmatische Einstieg. Man legt eine logistische Regression über die rohen Modell-Scores: Aus dem Score wird über zwei Parameter (Steigung und Verschiebung) eine kalibrierte Wahrscheinlichkeit. Das Verfahren ist datensparsam — es schätzt nur zwei Parameter — und damit gerade bei kleinen Kalibrierungsmengen stabil, wie sie im Trading oft vorliegen.

Der Preis dieser Robustheit ist eine Formannahme: Platt-Scaling unterstellt, dass die Fehlkalibrierung einer sigmoiden Kurve folgt. Trifft das ungefähr zu — etwa bei der typischen S-förmigen Überheblichkeit von SVMs oder Boosting-Modellen — funktioniert es sehr gut. Hat die Kalibrierungskurve eine andere, nicht-monotone oder wellige Form, kann Platt-Scaling sie nicht abbilden und glättet die Fehler nur teilweise weg.

Für viele Trading-Anwendungen mit einigen tausend bis zehntausend Kalibrierungsbeobachtungen ist Platt-Scaling der vernünftige Default: wenig Overfitting-Risiko, schnell gerechnet, leicht zu erklären. Es ist kein Allheilmittel, aber selten ein Fehler.

Isotonic Regression — flexibler, aber datenhungrig.

Isotonic Regression macht keine Annahme über die Form der Kalibrierungskurve außer einer: Sie muss monoton steigend sein. Höhere Scores dürfen nie zu niedrigeren kalibrierten Wahrscheinlichkeiten führen. Innerhalb dieser Bedingung passt das Verfahren eine stückweise konstante Funktion an, die jede monotone Verzerrung korrigieren kann — auch solche, die Platt-Scaling nicht erreicht.

Diese Flexibilität hat einen Preis: Isotonic Regression overfittet bei kleinen Datenmengen leicht, weil sie viele Freiheitsgrade hat. Als grobe Faustregel braucht man eher mehrere tausend, besser zehntausend und mehr Kalibrierungspunkte, damit die Treppenfunktion nicht das Rauschen des Kalibrierungssets nachzeichnet. An den Rändern, wo Daten dünn sind, neigt sie zu groben Sprüngen und liefert dort unzuverlässige Werte.

Die praktische Entscheidungsregel lautet daher: Bei kleiner oder mittlerer Kalibrierungsmenge Platt-Scaling, bei großer Menge und erkennbar nicht-sigmoider Verzerrung Isotonic Regression. Wer beides hat, vergleicht den ECE auf einem separaten Validierungsset — und nicht auf dem Set, mit dem kalibriert wurde, sonst täuscht das Ergebnis.

Kalibrierung sauber von Training und Test trennen.

Der häufigste Fehler ist nicht die Wahl des Verfahrens, sondern die Datenhygiene. Kalibriert man auf denselben Daten, mit denen das Modell trainiert wurde, sieht alles perfekt aus — und bricht out-of-sample zusammen. Nötig sind drei getrennte Blöcke: Trainingsdaten für das Modell, ein separater Kalibrierungssatz für die Korrekturfunktion, und ein unangetasteter Testsatz für die ehrliche Bewertung.

Bei Zeitreihen kommt die zeitliche Ordnung hinzu. Kalibrierungs- und Testdaten müssen nach den Trainingsdaten liegen, nicht zufällig durchmischt. Andernfalls leckt Zukunftsinformation in die Kalibrierung, und der gemessene ECE ist zu optimistisch. Bewährt hat sich ein Walk-Forward-Schema: Modell auf Fenster A trainieren, auf dem direkt anschließenden Fenster B kalibrieren, auf Fenster C testen — und das Ganze rollierend wiederholen.

• Nie auf Trainingsdaten kalibrieren — das verschleiert die Fehlkalibrierung.
• Zeitlich getrennte Kalibrierungs- und Testfenster verwenden, kein Random-Shuffle.
• ECE und Reliability-Diagramm immer out-of-sample berichten, nie in-sample.
• Bei Cross-Validation eignet sich verschachteltes (nested) Vorgehen, damit die Kalibrierung nicht heimlich Testinformation sieht.

Was kalibrierte Wahrscheinlichkeiten fürs Position-Sizing bringen.

Der eigentliche Nutzen entsteht erst im Sizing. Wer die Positionsgröße an eine geschätzte Gewinnwahrscheinlichkeit koppelt — über eine fraktionale Kelly-Formel, eine Risikobudgetierung oder eine simple Schwellenwertlogik —, braucht zwingend ehrliche Wahrscheinlichkeiten. Ein überhebliches Modell, das systematisch zu hohe Werte ausgibt, führt zu chronischer Überhebelung: Die real eingegangene Position passt nicht zum tatsächlichen Edge, und die Drawdowns fallen tiefer aus als das Risikomodell vorhersagt.

Kalibrierung repariert die Hebelhöhe nicht durch ein besseres Signal — die Trennschärfe bleibt gleich —, sondern dadurch, dass die Geldgröße zur realen Trefferquote passt. In der Praxis äußert sich das weniger in höherer Rendite als in verlässlicheren Risikokennzahlen: Der erwartete maximale Verlust pro Trade-Klasse stimmt eher mit dem realisierten überein, das Sizing wird ruhiger.

Ein nüchterner Hinweis: Kalibrierung verbessert kein schlechtes Modell. Ein Classifier ohne echten Edge bleibt auch perfekt kalibriert wertlos — er sagt dann eben zuverlässig „50 Prozent“. Kalibrierung ist die Voraussetzung dafür, einen vorhandenen Edge korrekt in Größe zu übersetzen, kein Ersatz für den Edge selbst.

Grenzen — Regime-Wechsel, Drift und kleine Stichproben.

Kalibrierung ist kein Dauerzustand, sondern eine Momentaufnahme. Sie gilt für die Marktbedingungen, unter denen kalibriert wurde. Dreht sich das Regime — von ruhiger zu hektischer Volatilität, von Trend zu Seitwärts —, verschiebt sich auch die Beziehung zwischen Score und realer Trefferquote, und die einst saubere Kalibrierung wird wieder schief. Eine Kalibrierungsfunktion gehört daher regelmäßig überprüft und nachgezogen, nicht einmal angepasst und vergessen.

Zweitens das Stichprobenproblem: Wer Wahrscheinlichkeiten im Bereich 0,9 oder höher braucht, aber kaum Beobachtungen in diesem Bereich hat, kann die Kalibrierung dort schlicht nicht verlässlich schätzen. Seltene, extreme Setups sind genau die Fälle, in denen die Kalibrierung am wackeligsten ist — und oft die, bei denen am meisten Geld auf dem Spiel steht.

Drittens täuscht ein guter ECE über Kalibrierungsfehler hinweg, die sich in einzelnen, wichtigen Bins verstecken. Eine im Mittel gute Kalibrierung kann im entscheidenden Hochwahrscheinlichkeits-Bereich daneben liegen. Die ehrliche Praxis schaut deshalb nicht nur auf die Gesamtkennzahl, sondern gezielt auf die Bins, die fürs Sizing wirklich zählen — und akzeptiert, dass dort manchmal schlicht zu wenig Daten für eine belastbare Aussage vorliegen.

Sie wollen prüfen, ob die Wahrscheinlichkeiten Ihres Trading-Modells für ein wahrscheinlichkeitsbasiertes Position-Sizing tragen? Unverbindlich anfragen — wir schauen gemeinsam auf Reliability-Diagramme, ECE und das passende Kalibrierungsverfahren und schätzen ehrlich ab, was das fürs Sizing bedeutet.