Model-Routing: das richtige Modell pro Aufgabe.

Sobald ein Unternehmen mehrere KI-Modelle parallel im Einsatz hat — und das werden zunehmend viele —, stellt sich eine simple, aber folgenreiche Frage: Welche Aufgabe geht an welches Modell? In den ersten Wochen entscheidet das meist der Entwickler nach Gefühl: „Das ist eine schwere Aufgabe, da nehmen wir das große Modell.“ Das funktioniert eine Zeit lang. Sobald jedoch hunderttausende Anfragen pro Monat anfallen, summieren sich Fehleinschätzungen zu sechsstelligen Kostensteigerungen — und umgekehrt, einseitige Sparsamkeit zu schlechter Qualität an wichtigen Stellen. Model-Routing macht aus diesem Bauchgefühl ein System. Es ist keine Forschungstechnologie, sondern eine pragmatische Disziplin, die mit einigen Wochen Aufbauarbeit produktiv wird. Dieser Artikel beschreibt, wie ein gutes Routing aussieht, welche Strategien funktionieren und wie sich die Investition messbar rechnet.

Was Model-Routing konkret leistet.

Model-Routing ist eine Komponente in einer KI-Architektur, die entscheidet, an welches Modell eine Anfrage gerichtet wird. Das klingt banal, ist aber konzeptionell anspruchsvoll: Die Routing-Entscheidung muss schnell sein (idealerweise unter 50 Millisekunden), zuverlässig (kein Modell sollte ausfallen, ohne dass Alternativen greifen) und sinnvoll (das billigste Modell, das die Aufgabe verlässlich löst — nicht das billigste überhaupt).

Die Logik kann von einfach bis ausgefeilt reichen. Im einfachsten Fall sind es feste Regeln: Anfragen vom Typ A gehen an Modell X, Typ B an Modell Y. Im komplexeren Fall analysiert ein Klassifikator-Modell die Anfrage und ordnet sie einer Modellklasse zu. In der ausgefeiltesten Variante lernt das System aus historischen Daten, welches Modell für welche Anfragetypen die beste Kosten-Qualitäts-Balance bietet.

Für die meisten mittelständischen Anwendungen reicht die erste oder zweite Stufe. Das gute Geheimnis: Schon ein simples regelbasiertes Routing senkt die Kosten typischerweise um 30 bis 60 Prozent gegenüber „alles an das teuerste Modell“ — ohne messbaren Qualitätsverlust. Wer komplizierter wird, holt vielleicht weitere 10 Prozent heraus, aber zu deutlich höheren Komplexitätskosten.

Drei einfache Routing-Strategien.

In Beratungsprojekten zeigen sich drei Strategien, die produktiv funktionieren — auch ohne ausgefeilte ML-Pipeline.

1. Aufgabentyp-Routing. Anfragen werden nach Aufgabentyp klassifiziert: Code-Generierung, Vertragsprüfung, Übersetzung, Klassifikation, Mathematik, kreatives Schreiben. Jeder Aufgabentyp hat ein bevorzugtes Modell. Die Klassifikation kann durch den aufrufenden Programmteil erfolgen — wenn die Vertriebs-Software ihren Knopf „Mail formulieren“ drückt, wird automatisch das richtige Modell aufgerufen. Diese Strategie ist die einfachste und reicht für viele Anwendungen.

2. Schwierigkeitsbasiertes Routing. Eine Anfrage wird zunächst an ein günstiges Modell geschickt. Liefert dieses ein zufriedenstellendes Ergebnis (gemessen an Confidence-Scores oder Ähnlichkeitsvergleichen mit Referenzantworten), wird es verwendet. Liefert es nichts oder Schwaches, wird an ein größeres Modell eskaliert. Diese „Cascade“-Strategie ist besonders effektiv bei Anfragetypen mit großer Schwierigkeitsvarianz.

3. Volumen-Routing. Hochvolumige, einfache Anfragen (Klassifikationen, Routine-Extraktion) gehen an günstige Modelle oder lokale Open-Source-Modelle. Niedrigvolumige, komplexe Anfragen gehen an die Premium-Modelle. Diese Strategie maximiert den Kostenhebel und ist besonders dann sinnvoll, wenn ein Großteil der Anfragen formal ähnlich ist.

Wann welches Modell — eine konkrete Zuordnung.

Eine praxistaugliche Erstzuordnung für typische Anwendungsfälle in mittelständischen Unternehmen:

Diese Tabelle ist ein Ausgangspunkt. Sie sollte für jedes Unternehmen kalibriert werden — auf Basis der eigenen Anfragetypen und Qualitätserwartungen. Eine quartalsweise Re-Evaluation hält die Zuordnung aktuell, weil sich Modellqualität und Preisniveau in dieser Frequenz spürbar verschieben.

Die Wirtschaftsrechnung am konkreten Beispiel.

Ein Beispiel verdeutlicht den Hebel. Ein Unternehmen mit 200 Mitarbeitenden hat fünf produktive KI-Anwendungen mit insgesamt etwa 5 Millionen Anfragen pro Monat. Aufteilung der Anfragetypen: 60 Prozent einfache Klassifikation und Extraktion, 30 Prozent Standard-Texterstellung, 10 Prozent komplexe Aufgaben.

Ohne Routing — alle Anfragen an das Top-Modell: 5 Mio. × (im Schnitt 1.500 Tokens pro Anfrage) × 30 Euro pro Mio. Tokens = circa 225.000 Euro pro Monat.

Mit pragmatischem Routing: 3 Mio. einfache Anfragen × 1.000 Tokens × 0,5 Euro/Mio. = 1.500 Euro. 1,5 Mio. Standard-Anfragen × 1.500 Tokens × 6 Euro/Mio. = 13.500 Euro. 500.000 komplexe Anfragen × 3.000 Tokens × 30 Euro/Mio. = 45.000 Euro. Gesamt: circa 60.000 Euro pro Monat.

Die Ersparnis: 165.000 Euro pro Monat oder etwa 2 Millionen Euro pro Jahr. Das sind selbst mit groben Rundungen Größenordnungen, die einen Architekturaufwand von wenigen Wochen vielfach amortisieren. Die ehrliche Einordnung: So extreme Volumina sind im klassischen Mittelstand selten. Aber auch bei kleineren Volumina (etwa 500.000 Anfragen pro Monat) liegt die jährliche Ersparnis im sechsstelligen Bereich. Wer die Rechnung in der eigenen Situation einmal sauber macht, hat eine erstaunlich klare Investitionsentscheidung.

Wann Routing nicht sinnvoll ist.

Nicht jedes Unternehmen braucht ein ausgefeiltes Model-Routing. Drei Konstellationen, in denen der Aufwand sich nicht rechnet:

Erstens: Sehr niedrige Volumina. Wer monatlich nur einige tausend KI-Anfragen produziert, spart absolut kleine Summen, auch wenn die Prozentersparnis groß ist. Der Architekturaufwand für ordentliches Routing — typischerweise 30.000 bis 80.000 Euro Initialinvestition plus laufende Pflege — rechnet sich erst ab einem gewissen Volumen.

Zweitens: Homogene Anfragetypen. Wenn alle KI-Anfragen ähnlich gelagert sind (etwa nur Code-Generierung in einem Entwicklerteam), ist Routing wenig hilfreich. Hier reicht die einmalige Auswahl des passenden Modells.

Drittens: Frühphase einer KI-Initiative. Wenn ein Unternehmen seine erste oder zweite produktive KI-Anwendung baut, ist Routing eine vorzeitige Optimierung. Zunächst sollte die Anwendung funktionieren und produktiv im Einsatz sein. Routing wird relevant, sobald mehrere Anwendungen parallel laufen und die Kostenkurve sichtbar wird.

Qualität messen — die Voraussetzung für sinnvolles Routing.

Routing ohne Qualitätsmessung ist Glücksspiel. Niemand kann seriös routen, ohne zu wissen, wie gut die verschiedenen Modelle bei den eigenen Aufgaben performen. Eine kleine Evaluations-Pipeline ist daher die Vorarbeit.

Praxistauglicher Aufbau: 50 bis 200 repräsentative Beispielanfragen, manuell mit „guten“ Antworten kategorisiert. Diese Anfragen werden regelmäßig (quartalsweise oder bei Modellwechsel) durch alle in Frage kommenden Modelle gejagt. Die Antworten werden bewertet — entweder manuell (für kleine Sets) oder durch ein „Judge-Modell“ (ein Sprachmodell, das vergleichend bewertet).

Das Ergebnis ist eine Matrix: Welches Modell ist heute bei welcher Anfrageart wie gut? Und zu welchen Kosten? Aus dieser Matrix wird die Routing-Logik abgeleitet — empirisch, nicht aus dem Bauch. Diese Evaluations-Disziplin ist die wichtigste Vorinvestition. Wer sie auslässt, baut blind. Wer sie pflegt, hat eine Datenbasis, die jeder Sales-Pitch eines Modellanbieters überflügelt.

Grenzen, die bleiben.

Drei Realitäten, die auch ein gutes Model-Routing nicht auflöst.

Erstens: Komplexitätskosten. Routing fügt der Architektur eine zusätzliche Komponente hinzu. Diese Komponente muss überwacht, gewartet, getestet, dokumentiert werden. Wer Routing einführt, ohne diese Folgekosten einzukalkulieren, schafft eine schwer wartbare Architektur.

Zweitens: Latenz-Effekte. Eine Cascade-Strategie (erst günstig, dann eskalierend) verlangsamt einzelne Anfragen, weil das System gelegentlich zwei Aufrufe braucht statt einem. Für nicht zeitkritische Anwendungen ist das egal. Für Echtzeit-Anwendungen (Chat, Sprachassistent) kann es zum Problem werden.

Drittens: Konsistenz. Verschiedene Modelle haben unterschiedliche Stilistik, unterschiedliche Tonalität, unterschiedliche „Persönlichkeit“. Wenn ein Nutzer mal das eine, mal das andere Modell sieht, kann die wahrgenommene Qualität schwanken. Für interne Nutzer ist das selten relevant. Bei externer Kundenkommunikation kann es Konsistenzprobleme verursachen — etwa wenn ein Chatbot mal förmlicher, mal lockerer antwortet. Das verlangt zusätzliche Prompt-Disziplin.

Was Sie konkret tun sollten.

Drei Schritte für den Einstieg in Model-Routing:

1. Ist-Aufnahme. Welche KI-Anfragen produziert Ihr Unternehmen heute, in welchen Volumina, mit welchen Kosten? Schon diese Inventur ist oft erhellend — und sie ist die Voraussetzung für jede Wirtschaftsrechnung.
2. Aufgabentyp-Routing als erste Stufe. Bevor Sie in komplexe Routing-Logik investieren: Strukturieren Sie Ihre Anwendungen so, dass schon beim Aufruf klar ist, welcher Aufgabentyp vorliegt — und welches Modell dazu passt. Diese einfache Maßnahme erschließt 60 bis 80 Prozent des Potenzials.
3. Evaluation institutionalisieren. Bauen Sie eine kleine Evaluations-Pipeline auf, die alle drei Monate die Modelllandschaft mit den eigenen Aufgaben prüft. Diese Disziplin schützt vor veralteten Routing-Entscheidungen.

Model-Routing ist eine der wenigen KI-Architektur-Entscheidungen, die sich messbar rechnen und gleichzeitig die Qualität verbessern. Im Kontext einer breiteren LLM-Auswahl im Unternehmen ist Routing nicht das einzige Thema, aber eines der lohnendsten. Wer es früh aufsetzt — nicht zwingend früh in der KI-Reise, aber rechtzeitig vor dem ersten signifikanten Kostensignal —, baut eine Architektur, die mit dem KI-Einsatz mitwächst statt zu kollabieren.

Sie wollen Ihre KI-Kosten senken, ohne Qualität einzubüßen? Unverbindlich anfragen — wir analysieren Ihr KI-Anfrageprofil und zeigen die konkreten Routing-Hebel für Ihre Architektur.