Low-Latency-Inferenz für ML-Modelle wenn das Modell schneller sein muss als der Markt.

Ein Machine-Learning-Modell, das im Backtest brillante Signale liefert, ist im Live-Betrieb wertlos, wenn es zu lange zum Rechnen braucht. Für eine langsame, positionsorientierte Strategie spielt es keine Rolle, ob die Inferenz 5 oder 50 Millisekunden dauert. Für eine Strategie, die kurzlebige Ineffizienzen ausnutzt, kann genau diese Differenz über profitabel oder unprofitabel entscheiden — bis ein langsames Modell sein Signal berechnet hat, ist die Gelegenheit verschwunden. Latenz-Optimierung von ML-Inferenz ist deshalb eine eigene Disziplin zwischen Data Science und Systemtechnik. Sie reicht vom Export des Modells in ein schnelleres Format über Quantisierung und Feature-Caching bis hin zu Architektur-Entscheidungen, die Modellkomplexität gegen Geschwindigkeit abwägen. Dieser Beitrag ordnet die wichtigsten Hebel ein, zeigt realistische Größenordnungen für die erreichbaren Beschleunigungen und ihre Genauigkeitskosten — und macht vor allem ehrlich, wann sich der ganze Aufwand lohnt und wann er an der eigentlichen Engstelle vorbeigeht.

Wann Latenz wirklich zählt — und wann nicht.

Bevor man eine einzige Millisekunde optimiert, lohnt die ehrliche Frage, ob Latenz überhaupt das limitierende Element der Strategie ist. Die Antwort hängt vollständig vom Zeithorizont ab. Eine Strategie, die Positionen über Stunden oder Tage hält, ist gegen Inferenzzeiten von einigen zehn Millisekunden völlig unempfindlich — hier ist jede Optimierungsarbeit verschenkt.

Latenz wird erst dann relevant, wenn die Haltedauer in den Bereich der Reaktionszeit anderer Marktteilnehmer rückt. Bei sehr kurzfristigen, ausführungssensitiven Strategien konkurriert man um dieselbe Gelegenheit wie andere automatisierte Systeme, und dann zählt jede Mikrosekunde im gesamten Pfad von der Marktdaten-Ankunft bis zur Order.

Wichtig ist dabei: Die Modell-Inferenz ist oft nicht einmal der größte Latenz-Posten. Netzwerk-Latenz zur Börse, das Order-Gateway, die Feature-Berechnung aus den Rohdaten — all das kann die Modell-Inferenz in den Schatten stellen. Wer die Inferenz optimiert, ohne vorher den gesamten Pfad zu messen, optimiert möglicherweise das falsche Glied der Kette. Profiling vor Optimierung ist hier keine Floskel, sondern die wichtigste Regel.

Das Modell in ein schnelleres Format bringen.

Der erste und oft wirksamste Hebel ist der Wechsel vom Trainings-Framework zu einer schlanken Inferenz-Laufzeit. Modelle werden in flexiblen, aber für die reine Vorhersage überfrachteten Bibliotheken trainiert. Für den Produktivbetrieb exportiert man sie in ein optimiertes Format wie ONNX, das nur noch die für die Inferenz nötigen Operationen enthält und von einer schlanken Laufzeit ausgeführt wird.

Allein dieser Schritt bringt für viele Modelle eine spürbare Beschleunigung gegenüber dem Aufruf im ursprünglichen Trainings-Framework, ohne dass die Vorhersagen sich ändern — es ist dasselbe Modell, nur effizienter ausgeführt. Für klassische Gradient-Boosting-Modelle gibt es zudem spezialisierte Compiler, die den Baum-Ensemble-Code in hochoptimierten, verzweigungsarmen Maschinencode übersetzen.

Der Vorteil dieses Hebels: Er kostet keine Genauigkeit. Man bekommt Geschwindigkeit geschenkt, weil man nur den Ausführungs-Overhead entfernt, nicht das Modell selbst antastet. Deshalb sollte der Format-Export immer der erste Schritt sein, bevor man zu Methoden greift, die Genauigkeit gegen Tempo tauschen.

Quantisierung — Tempo gegen ein bisschen Genauigkeit.

Quantisierung reduziert die numerische Präzision der Modellgewichte — typischerweise von 32-Bit-Gleitkomma auf 16-Bit oder 8-Bit-Ganzzahl. Kleinere Zahlen bedeuten weniger Speicherbewegung und schnellere Rechenoperationen, was vor allem bei neuronalen Netzen die Inferenz beschleunigt und den Speicherbedarf senkt.

Anders als der Format-Export ist Quantisierung aber kein kostenloses Mittagessen. Die reduzierte Präzision verändert die Modell-Ausgaben geringfügig. Bei vielen Aufgaben ist dieser Genauigkeitsverlust vernachlässigbar — bei Trading-Modellen, deren Edge ohnehin dünn ist, muss man genauer hinschauen. Eine kleine Verschiebung in den Vorhersage-Wahrscheinlichkeiten kann das Position-Sizing spürbar verändern.

Die ehrliche Vorgehensweise: Man quantisiert, misst dann aber nicht nur die Latenz, sondern auch, wie sich die Vorhersagen und die daraus resultierenden Handelsentscheidungen gegenüber dem unquantisierten Modell verändern. Bleibt die Strategie-Performance im Rahmen, ist der Geschwindigkeitsgewinn ein guter Deal. Verschiebt sich die Edge merklich, war die Präzision teil des Signals — dann ist Quantisierung hier der falsche Hebel.

Feature-Berechnung als heimliche Engstelle.

Häufig liegt der größte Zeitfresser gar nicht im Modell, sondern davor: in der Berechnung der Features aus den eingehenden Marktdaten. Wenn jedes Signal erfordert, dass Dutzende Indikatoren über lange Rückblickfenster neu berechnet werden, dominiert dieser Schritt die Gesamtlatenz — und kein noch so schnelles Modell rettet das.

Der entscheidende Hebel hier ist inkrementelle Berechnung statt Neuberechnung. Viele Features lassen sich bei jedem neuen Datenpunkt aktualisieren, statt sie komplett neu über das ganze Fenster zu rechnen — ein gleitender Durchschnitt etwa braucht nur den ältesten Wert abzuziehen und den neuesten zu addieren. Das verwandelt eine Berechnung, deren Aufwand mit der Fensterlänge wächst, in eine mit konstantem Aufwand pro Schritt.

Ergänzend hilft Feature-Caching: Zwischenergebnisse, die sich zwischen aufeinanderfolgenden Vorhersagen nicht ändern, werden einmal berechnet und wiederverwendet. Diese Optimierungen sind weniger glamourös als Quantisierung, aber oft wirksamer — und sie kosten keine Genauigkeit, weil sie nur denselben Wert effizienter berechnen.

Architektur-Entscheidungen mit Latenz im Blick.

Die radikalste Form der Latenz-Optimierung ist, schon bei der Modellwahl auf Geschwindigkeit zu achten. Nicht jedes Genauigkeitsprozent rechtfertigt sich, wenn es die Inferenz so verlangsamt, dass die Gelegenheit verpasst wird. Ein einfacheres, schnelleres Modell, das rechtzeitig handelt, schlägt ein komplexeres, das zu spät kommt.

Konkret heißt das oft: ein kompaktes Gradient-Boosting-Modell oder ein flaches neuronales Netz statt eines tiefen, breiten Netzes; weniger Features statt mehr; ein bewusst begrenztes Rückblickfenster. Jede dieser Entscheidungen tauscht potenziell etwas Genauigkeit gegen Geschwindigkeit — und in latenzkritischen Strategien ist dieser Tausch oft profitabel, weil die nicht ausgeführte Gelegenheit teurer ist als die etwas schwächere Vorhersage.

Eine elegante Zwischenlösung ist das Kaskadenprinzip: Ein sehr schnelles, einfaches Modell filtert die überwiegende Mehrheit der Situationen vor, und nur wenn es eine potenziell interessante Lage signalisiert, wird das langsamere, genauere Modell überhaupt aktiviert. So zahlt man die hohe Inferenzzeit nur dann, wenn es sich lohnt, und hält die durchschnittliche Latenz niedrig.

Die Kosten der Optimierung ehrlich gegenrechnen.

Jede dieser Optimierungen kostet Entwicklungszeit, erhöht die Komplexität des Systems und schafft neue Fehlerquellen. Ein quantisiertes, in ONNX exportiertes Modell mit inkrementeller Feature-Berechnung ist deutlich anspruchsvoller zu warten und zu testen als ein einfacher Aufruf im Trainings-Framework. Diese Komplexität ist eine reale, laufende Last.

Die vernünftige Reihenfolge ergibt sich aus dieser Tabelle von selbst: zuerst die kostenlosen Hebel — Format-Export und inkrementelle Features —, die Geschwindigkeit ohne Genauigkeitsverlust bringen. Erst wenn das nicht reicht, die Hebel mit Genauigkeitskosten, und auch die nur, nachdem man ihren Effekt auf die tatsächliche Strategie-Performance gemessen hat.

Wann der Aufwand sich schlicht nicht lohnt.

Die wichtigste Erkenntnis am Ende ist eine Mahnung zur Zurückhaltung. Low-Latency-Optimierung ist faszinierend und technisch anspruchsvoll — und genau deshalb verführt sie dazu, Aufwand in ein Problem zu stecken, das gar keines ist. Für den überwiegenden Teil systematischer Strategien, die nicht im Mikrosekunden-Wettbewerb stehen, ist die Inferenzzeit eines vernünftig exportierten Modells längst schnell genug.

Bevor man optimiert, sollte man drei Fragen beantworten: Ist Latenz nachweislich die Engstelle der Strategie? Ist die Modell-Inferenz wirklich der dominierende Latenz-Posten, oder sind es Netzwerk und Order-Pfad? Und rechtfertigt der erwartete Zusatzertrag die zusätzliche Systemkomplexität auf Dauer? Lautet eine dieser Antworten Nein, ist die ehrlichste Optimierung, es zu lassen.

Wo Latenz dagegen tatsächlich zählt, ist die Disziplin entscheidend: messen, den größten Posten zuerst angehen, kostenlose Hebel vor teuren, und jede Genauigkeitskosten gegen die reale Strategie-Performance prüfen. So wird aus Latenz-Optimierung kein Selbstzweck, sondern ein gezieltes Werkzeug für genau die Strategien, die es brauchen.

Sie sind unsicher, ob Latenz Ihre ML-Strategie wirklich bremst oder ob der Engpass woanders liegt? Unverbindlich anfragen — wir profilen gemeinsam den gesamten Pfad von den Marktdaten bis zur Order und optimieren gezielt dort, wo es Ihrer Strategie tatsächlich etwas bringt.