Wenn das LLM falsch klassifiziert Fehlerkosten im Trading verstehen.

Wenn ein LLM Texte für ein Trading-System klassifiziert — ein Filing als positiv oder negativ, eine Meldung als relevant oder Rauschen — wird es Fehler machen. Das ist keine Frage des besseren Modells, sondern eine Tatsache. Die entscheidende Erkenntnis lautet: Nicht jeder Fehler kostet gleich viel. Eine übersehene Gewinnwarnung, auf der man fälschlich long bleibt, ist teurer als ein Fehlalarm, der einen Trade verhindert, den man besser gemacht hätte. Wer beide Fehlertypen gleich behandelt, optimiert auf die falsche Größe. Dieser Beitrag entwickelt das Denken in asymmetrischen Fehlerkosten: Wie man die tatsächlichen Kosten von falsch-positiv und falsch-negativ beziffert, wie man daraus die richtige Konfidenzschwelle ableitet, und warum ein Modell, das in unsicheren Fällen schweigt, oft wertvoller ist als eines, das immer eine Antwort erzwingt. Mit konkreten Beispielen, einer ehrlichen Einordnung der Grenzen von Konfidenzwerten und dem Hinweis, dass die teuerste Fehlerquelle meist nicht das Modell selbst ist.

Warum gleiche Fehlerquoten ungleiche Kosten haben.

Die übliche Kennzahl für Klassifikatoren ist die Trefferquote — wie viel Prozent richtig liegen. Im Trading ist diese Zahl irreführend, weil sie zwei völlig verschiedene Fehlertypen in einen Topf wirft, deren finanzielle Konsequenzen weit auseinanderliegen.

Stellen Sie sich ein Modell vor, das Quartalsmeldungen als „kursrelevant negativ“ oder „unkritisch“ einstuft. Ein falsch-negativer Fehler — das Modell hält eine echte Gewinnwarnung für unkritisch — lässt Sie in einer Position, die fällt. Das kann zweistellige Prozentverluste bedeuten. Ein falsch-positiver Fehler — das Modell warnt grundlos — kostet Sie höchstens die Opportunität eines Trades oder eine unnötige Transaktion.

Diese Asymmetrie ist der Kern. Ein Modell mit 90 Prozent Trefferquote, das aber genau die teuren falsch-negativen Fälle häuft, ist schlechter als ein Modell mit 85 Prozent, das seine Fehler in die billige Richtung verschiebt. Die richtige Zielgröße ist nicht die Fehlerquote, sondern die erwarteten Fehlerkosten.

Die Kostenmatrix konkret beziffern.

Bevor man eine Schwelle setzen kann, muss man die vier Felder der Klassifikation mit echten Geldbeträgen oder zumindest Größenordnungen füllen. Das zwingt zu einer heilsamen Klarheit darüber, was eigentlich auf dem Spiel steht.

Die beiden Fehlerfelder bekommen nun konkrete Kosten. In unserem Beispiel könnte ein falsch-negativer Fall im Schnitt einen Verlust von, sagen wir, mehreren Prozent der Position bedeuten, ein falsch-positiver lediglich einen entgangenen Gewinn im Bereich von Bruchteilen davon plus Transaktionskosten. Schon eine grobe Schätzung dieser Beträge verändert die Optimierung grundlegend.

Wichtig: Diese Beträge sind anwendungsspezifisch. Bei einer Momentum-Strategie, die ohnehin viele Trades macht, wiegt ein einzelner falsch-positiver Fall fast nichts. Bei einem konzentrierten Portfolio mit wenigen großen Positionen kann ein falsch-negativer Fall existenziell sein. Es gibt keine universelle Kostenmatrix — sie muss aus dem konkreten Mandat abgeleitet werden.

Die optimale Schwelle folgt aus den Kosten.

Sobald die Kostenmatrix steht, ist die Konfidenzschwelle keine willkürliche Einstellung mehr, sondern eine Ableitung. Wenn falsch-negative Fehler zehnmal teurer sind als falsch-positive, sollte das Modell schon bei vergleichsweise geringer Konfidenz Alarm schlagen — lieber zu oft warnen als eine echte Gefahr verpassen.

Die Schwelle steuert direkt den Trade-off. Setzt man sie hoch (das Modell warnt nur bei großer Sicherheit), sinken die Fehlalarme, aber mehr echte Gefahren rutschen durch. Setzt man sie niedrig, fängt man fast alle Gefahren, produziert aber viele Fehlalarme. Welcher Punkt richtig ist, bestimmt allein das Kostenverhältnis.

Praktisch heißt das: Man fährt die Schwelle über den historischen Daten durch und sucht den Punkt, der die erwarteten Gesamtkosten minimiert — nicht die Fehlerquote. Das Ergebnis ist oft kontraintuitiv: Die kostenoptimale Schwelle liegt bei asymmetrischen Kosten deutlich abseits der naheliegenden 50 Prozent, manchmal bei 20 oder 30 Prozent Konfidenz für die teure Richtung.

Abstain: die Stärke, nicht zu antworten.

Die meisten Klassifikatoren werden gezwungen, sich für eine Klasse zu entscheiden. Im Trading ist das oft der falsche Zwang. Ein Modell, das in unsicheren Fällen schweigen darf — „ich bin mir nicht sicher genug, hier kein Signal“ — vermeidet genau die Fehler, die aus erzwungenen Entscheidungen bei dünner Evidenz entstehen.

Technisch realisiert man das mit zwei Schwellen statt einer: Über der oberen Schwelle handelt das System, unter der unteren auch (in die Gegenrichtung), und in der unsicheren Zone dazwischen passiert nichts. Diese Abstain-Zone ist kein Versagen, sondern eine bewusste Entscheidung, die teuersten Fehler — die aus Halbwissen — gar nicht erst zuzulassen.

Der Preis ist, dass das System seltener handelt und manche guten Gelegenheiten auslässt. Das ist meist ein guter Tausch: In den unsicheren Fällen ist die Trefferquote ohnehin niedrig, der erwartete Ertrag dünn und das Risiko hoch. Lieber kein Signal als ein schwaches. Die Kunst liegt in der Breite der Abstain-Zone — zu breit, und das System wird untätig; zu schmal, und man handelt wieder auf Rauschen.

Was Konfidenzwerte taugen — und was nicht.

Die ganze Schwellen-Logik steht und fällt mit der Frage, ob die Konfidenzwerte des Modells überhaupt etwas bedeuten. Hier liegt eine verbreitete Falle: LLMs geben oft sehr selbstbewusste Wahrscheinlichkeiten aus, die mit der tatsächlichen Trefferwahrscheinlichkeit wenig zu tun haben. Ein „90 Prozent sicher“ bedeutet keineswegs, dass das Modell in 90 von 100 solchen Fällen recht hat.

Bevor man Konfidenzschwellen setzt, muss man die Werte deshalb kalibrieren: über historische Daten prüfen, ob „70 Prozent“ auch wirklich rund 70 Prozent Trefferquote bedeutet, und gegebenenfalls nachjustieren. Ohne diesen Schritt setzt man Schwellen auf Zahlen, die nichts aussagen — eine Scheingenauigkeit, die gefährlicher ist als ehrliche Unsicherheit.

Bei LLMs kommt erschwerend hinzu, dass eine direkt abgefragte Selbsteinschätzung („wie sicher bist du?“) oft schlechter kalibriert ist als ein aus mehreren Läufen abgeleitetes Konfidenzmaß. Die Übereinstimmung über wiederholte Klassifikationen ist hier meist das ehrlichere Signal als die eine selbstdeklarierte Prozentzahl.

Ein durchgerechnetes Beispiel.

Nehmen wir ein konkretes, vereinfachtes Szenario: Ein Modell überwacht Meldungen zu einem Portfolio. Pro Monat treten etwa fünf echte kursrelevante Negativereignisse auf, jedes würde unbehandelt einen Verlust von grob 8 Prozent der betroffenen Position bedeuten. Ein Fehlalarm kostet dagegen nur die Transaktionskosten und einen kleinen entgangenen Gewinn — sagen wir 0,5 Prozent.

Bei diesem Verhältnis von rund 16 zu 1 ist klar, in welche Richtung man irren sollte. Selbst wenn die niedrige Schwelle zehn Fehlalarme pro echtem Ereignis produziert, kosten diese zusammen weniger als ein einziger durchgerutschter Verlust. Die Rechnung kippt erst, wenn Fehlalarme entweder sehr häufig oder durch Marktwirkung der eigenen Trades teuer werden.

Das Beispiel zeigt die Methode, nicht ein universelles Ergebnis: Man beziffert die Häufigkeiten und die Beträge, multipliziert sie durch und vergleicht die erwarteten Kosten verschiedener Schwellen. Die Zahlen sind grobe Schätzungen — und genau deshalb ist Robustheit wichtiger als Präzision. Eine Schwelle, die nur bei exakt geschätzten Kosten funktioniert, ist fragil. Gut ist eine Einstellung, die über einen plausiblen Bereich von Annahmen vernünftig bleibt.

Die teuerste Fehlerquelle ist selten das Modell.

Bei all der Sorgfalt um Schwellen und Kostenmatrizen lohnt der Blick auf das größere Bild: Die teuersten Fehler in LLM-getriebenen Systemen entstehen oft nicht durch falsche Klassifikation einzelner Texte, sondern durch systematische Fehler — eine Datenquelle, die plötzlich anders formatiert, ein stilles Modell-Update, ein Mapping-Fehler zwischen Klassifikation und gehandeltem Instrument.

Solche systematischen Fehler treffen nicht einen Trade, sondern alle gleichzeitig und in dieselbe Richtung. Eine perfekt kalibrierte Konfidenzschwelle nützt nichts, wenn das Modell konsistent das falsche Unternehmen klassifiziert, weil ein Ticker-Mapping kaputt ist. Diese Fehlerklasse ist gefährlicher als jede statistische Fehlklassifikation, weil sie das Risikomanagement umgeht.

Die Konsequenz: Asymmetrische Fehlerkosten und Schwellen sind notwendig, aber nicht hinreichend. Darüber gehört eine Ebene von Plausibilitäts- und Konsistenzprüfungen, harte Limits und Monitoring, das systematische Drift erkennt. Das beste Klassifikations-Tuning schützt nicht vor einem Pipeline-Fehler, der alle Signale gleichzeitig vergiftet.

Sie nutzen LLM-Klassifikation für Signale und wollen Ihre Fehlerkosten endlich asymmetrisch statt naiv gewichten? Unverbindlich anfragen — wir beziffern gemeinsam Ihre Kostenmatrix, kalibrieren die Konfidenzwerte und legen Schwellen samt Abstain-Zone fest, die zu Ihrem tatsächlichen Risiko passen.