LLMs für Finanz-Tasks evaluieren bevor Sie ihm Kapital anvertrauen.

Wer ein Sprachmodell in einen Finanz-Workflow einbaut — sei es zum Zusammenfassen von Filings, zum Extrahieren von Kennzahlen oder zum Bewerten von Nachrichten — steht früher oder später vor der Frage: Welches Modell ist das richtige, und woran erkenne ich, dass es gut genug ist? Die naheliegende Antwort, ein Blick auf öffentliche Benchmark-Ranglisten, führt fast immer in die Irre. Diese Benchmarks messen Aufgaben, die mit Ihrer wenig zu tun haben, und die Spitzenwerte sind oft optimiert, nicht repräsentativ. Was wirklich zählt, ist die Leistung auf Ihrer Aufgabe, mit Ihren Daten, gemessen an Kriterien, die für Ihre Entscheidung relevant sind. Dieser Beitrag zeigt, wie man ein eigenes Golden-Set aufbaut, Halluzinationsrate und Konsistenz misst und aus diesen Zahlen eine belastbare Modellwahl ableitet — bevor das Modell in einen Prozess kommt, an dem Kapital hängt. Es geht nicht um akademische Sauberkeit, sondern um die Vermeidung teurer Fehlentscheidungen, die in der Demo nie auffallen.

Warum öffentliche Benchmarks Ihre Frage nicht beantworten.

Öffentliche Benchmarks wie MMLU, GSM8K oder spezialisierte Finanz-Suites sind nützlich, um die grobe Leistungsfähigkeit eines Modells einzuordnen. Für die konkrete Entscheidung, ob ein Modell Ihre Quartalsberichte korrekt zusammenfasst, sind sie fast wertlos. Der Grund ist simpel: Ein Benchmark misst eine generische Aufgabe auf einem öffentlichen Datensatz. Ihre Aufgabe ist spezifisch, Ihre Daten sind anders strukturiert, Ihre Fehlertoleranz ist eine andere.

Hinzu kommt das Problem der Kontamination. Viele öffentliche Test-Datensätze sind ganz oder teilweise in den Trainingsdaten der Modelle gelandet. Ein Modell, das einen Benchmark scheinbar souverän löst, hat die Antworten womöglich schlicht memoriert. Auf einer wirklich neuen Aufgabe sieht das Bild dann deutlich nüchterner aus.

Die ehrliche Konsequenz: Benchmark-Ranglisten taugen für die Vorauswahl von drei bis fünf Kandidaten. Die Entscheidung treffen Sie auf einem eigenen, geschlossenen Datensatz, den kein Modell vorher gesehen hat.

Das Golden-Set ist die eigentliche Arbeit.

Ein Golden-Set ist eine Sammlung von Aufgabenbeispielen mit händisch verifizierten, korrekten Lösungen. Es ist der Maßstab, gegen den alle Modelle antreten. Der Aufwand, ein gutes Golden-Set zu bauen, wird regelmäßig unterschätzt — und ist trotzdem die mit Abstand wichtigste Investition im gesamten Prozess.

Für eine typische Finanz-Extraktionsaufgabe — etwa „Hole Umsatz, EBIT-Marge und Guidance-Aussage aus diesem Bericht“ — sind 50 bis 200 sorgfältig kuratierte Beispiele realistisch. Weniger als 50, und einzelne Ausreißer verzerren die Statistik; mehr als ein paar Hundert kostet in der manuellen Verifikation oft mehr, als der Erkenntnisgewinn rechtfertigt. Entscheidend ist nicht die Menge, sondern die Abdeckung: Die Beispiele müssen die schwierigen Fälle enthalten, nicht nur die einfachen.

Konkret heißt das: Berichte mit ungewöhnlicher Formatierung, mit Sondereffekten, mit mehrdeutiger Sprache, mit Tabellen, die quer zur Logik des Modells stehen. Wer sein Golden-Set nur aus glatten Standardfällen baut, misst eine Leistung, die in der Praxis nicht hält.

Halluzinationen messen, nicht hoffen.

Die gefährlichste Eigenschaft von Sprachmodellen im Finanzkontext ist nicht, dass sie Fehler machen — das tun alle Systeme. Gefährlich ist, dass sie Fehler mit voller Überzeugung präsentieren. Ein Modell, das eine nie genannte Zahl erfindet und sie mit drei Nachkommastellen ausgibt, ist schlimmer als eines, das ehrlich „nicht im Dokument gefunden“ meldet.

Halluzinationsrate misst man, indem man jede Modellausgabe gegen die Quelle prüft: Steht die behauptete Information tatsächlich im Dokument, und ist sie korrekt wiedergegeben? Das lässt sich teilweise automatisieren — etwa durch Rückverlinkung jeder Aussage auf eine Textstelle — aber die finale Verifikation bleibt menschliche Arbeit, zumindest bei der Modellauswahl.

Realistische Bandbreiten: Für saubere Extraktionsaufgaben aus strukturierten Filings liegen gute Modelle bei Halluzinationsraten im niedrigen einstelligen Prozentbereich. Bei freier Interpretation, Bewertung oder Schlussfolgerung steigt das schnell auf 10 bis 20 Prozent oder mehr. Eine Rate, die für ein Dashboard akzeptabel ist, kann für eine Order-Auslösung indiskutabel sein — die Schwelle hängt am nachgelagerten Prozess.

Konsistenz ist eine eigene Disziplin.

Sprachmodelle sind nicht deterministisch. Dieselbe Frage, zweimal gestellt, kann zwei unterschiedliche Antworten liefern — manchmal nur in der Formulierung, manchmal in der Substanz. Für einen Finanz-Workflow, der reproduzierbar sein muss, ist das ein ernstes Problem.

Konsistenz misst man durch Wiederholung: Dieselbe Aufgabe fünf- oder zehnmal mit identischem Prompt, dann die Streuung der Ergebnisse betrachten. Bei reinen Extraktionsaufgaben sollte ein gutes Modell nahezu identische Antworten liefern; weicht es ab, ist entweder der Prompt zu offen oder das Modell für die Aufgabe ungeeignet. Bei Bewertungsaufgaben ist eine gewisse Streuung normal — wichtig ist, dass die Schwankung in einem Korridor bleibt, mit dem der nachgelagerte Prozess umgehen kann.

Ein praktischer Hebel: Die Temperatur des Modells auf null oder einen sehr niedrigen Wert setzen, um die Zufälligkeit zu reduzieren. Das erhöht die Reproduzierbarkeit, kann aber bei manchen Aufgaben die Qualität leicht senken. Auch das gehört in den Test.

Welche Metriken Sie tatsächlich brauchen.

Nicht jede Metrik passt zu jeder Aufgabe. Es lohnt sich, die Messgrößen vor dem ersten Test festzulegen — sonst optimiert man im Nachhinein auf das, was zufällig gut aussieht.

Ein häufiger Fehler ist, eine einzige Gesamtnote zu bilden. Aufschlussreicher ist es, die Fehler nach Typ aufzuschlüsseln: Wo liegt das Modell knapp daneben, wo erfindet es, wo verweigert es zu Unrecht? Diese Struktur sagt mehr über die Eignung als jeder aggregierte Score.

LLM-as-a-Judge — nützlich, aber mit Vorsicht.

Bei Aufgaben ohne eindeutige richtige Antwort — etwa der Qualität einer Zusammenfassung — ist die manuelle Bewertung jeder Ausgabe teuer. Ein verbreiteter Ausweg ist, ein zweites, starkes Modell als Bewerter einzusetzen: Es vergleicht die Ausgabe gegen die Referenz und vergibt eine Note. Das skaliert und ist oft brauchbar.

Aber es hat bekannte Schwächen. Bewertende Modelle bevorzugen tendenziell längere Antworten, Antworten in ihrem eigenen Stil und Antworten, die selbstbewusst klingen — unabhängig von der tatsächlichen Korrektheit. Wer LLM-as-a-Judge einsetzt, sollte die Bewertungen stichprobenartig gegen menschliches Urteil kalibrieren, um diese systematischen Verzerrungen zu kennen.

Als Faustregel: LLM-as-a-Judge eignet sich für die Vorab-Filterung großer Mengen und für relative Vergleiche (Modell A vs. B). Für die finale, kapitalrelevante Freigabe bleibt menschliche Prüfung auf einer Stichprobe unverzichtbar.

Vom Test zur Entscheidung — und zum laufenden Monitoring.

Am Ende der Evaluation steht eine Tabelle: Modelle in den Zeilen, Metriken in den Spalten, dazu Kosten pro Anfrage und Latenz. Die Entscheidung ist selten „das beste Modell“, sondern „das beste Modell, das die Mindestanforderung erfüllt und im Budget liegt“. Ein Modell, das fünf Prozent genauer, aber achtmal teurer ist, lohnt sich nur, wenn diese fünf Prozent wirklich Geld bewegen.

Wichtig: Die Evaluation ist kein einmaliges Ereignis. Modellanbieter aktualisieren ihre Modelle, manchmal ohne Versionswechsel; ein Modell, das gestern gut war, kann sich verschieben. Wer ein LLM produktiv einsetzt, sollte das Golden-Set regelmäßig erneut durchlaufen lassen — monatlich oder bei jedem gemeldeten Modell-Update — und Abweichungen alarmieren.

Der Aufwand für eine saubere Erst-Evaluation liegt erfahrungsgemäß bei zwei bis sechs Personenwochen, je nach Komplexität der Aufgabe und Aufwand für das Golden-Set. Das klingt viel — gemessen am Schaden einer unbemerkten Halluzination in einem kapitalrelevanten Prozess ist es günstig.

Sie wollen ein Sprachmodell in einen Trading- oder Research-Workflow einbauen und brauchen Gewissheit, dass es Ihrer konkreten Aufgabe gewachsen ist? Unverbindlich anfragen — wir bauen gemeinsam ein Golden-Set, definieren die richtigen Metriken und machen Ihre Modellwahl belastbar statt bauchgesteuert.