Fine-Tuning vs. RAG: wann was?

Wer im Mittelstand eine KI-Anwendung baut, die unternehmensspezifisches Wissen einsetzt, landet früher oder später bei einer der zentralen Architekturfragen: Soll das Sprachmodell mit Fine-Tuning angepasst werden, oder reicht ein RAG-System? Die Antwort wird oft vorschnell zugunsten von Fine-Tuning gegeben — weil es technisch beeindruckend klingt, weil Berater es manchmal vorschlagen, weil „eigenes Modell“ nach Souveränität klingt. In der Mehrzahl der mittelständischen Anwendungsfälle ist diese Antwort falsch. Für die meisten Aufgaben ist RAG die deutlich bessere Wahl: günstiger, flexibler, leichter zu warten. Fine-Tuning hat seine Berechtigung, aber in einem schmalen Korridor, der oft nicht da liegt, wo Unternehmen ihn vermuten. Dieser Artikel räumt mit dem Halbwissen auf, gibt eine konkrete Entscheidungsmatrix und zeigt, was die beiden Wege wirklich kosten — heute, in der Wartung, in fünf Jahren.

Was Fine-Tuning und RAG eigentlich tun.

Die beiden Begriffe werden oft als Alternativen verwendet, lösen aber unterschiedliche Probleme. Es lohnt, das sauber zu trennen.

Fine-Tuning verändert das Sprachmodell selbst. Ein bestehendes Basismodell (etwa GPT-4 oder Mistral) wird mit eigenen Trainingsbeispielen weitertrainiert. Das Modell „lernt“ damit Eigenschaften: einen spezifischen Stil, ein bestimmtes Antwortformat, ein bestimmtes Tonalitätsprofil, eine bestimmte fachliche Ausrichtung. Was Fine-Tuning nicht kann: dem Modell aktuelle Fakten beibringen. Trainingsdaten von gestern können das Modell heute schon nicht mehr aktuell halten.

RAG (Retrieval Augmented Generation) verändert das Modell nicht. Stattdessen wird das Modell vor jeder Antwort mit den passenden Informationen gefüttert. Eine Datenbank — typischerweise ein Vektorspeicher — enthält die unternehmensspezifischen Dokumente. Bei einer Anfrage wird die passende Information gesucht und in den Prompt gegeben. Das Modell antwortet dann auf Basis dieser Information.

Die Implikation: Fine-Tuning ist für Verhalten (Stil, Format, Tonalität, Reasoning-Muster). RAG ist für Wissen (Fakten, Inhalte, aktuelle Informationen, eigene Dokumente). Wer diese Trennung versteht, sieht oft, dass die richtige Antwort nicht „entweder-oder“ ist, sondern „beides — aber für unterschiedliche Aspekte“.

Warum RAG meistens die richtige Wahl ist.

In Beratungsprojekten zeigt sich regelmäßig: 80 bis 90 Prozent der mittelständischen KI-Anwendungen, die unternehmensspezifisches Wissen brauchen, sind mit RAG besser bedient. Fünf Gründe sprechen dafür.

Erstens: Aktualität. Unternehmensdokumente ändern sich. Ein Vertrag wird angepasst, ein Produkt wird neu, eine Service-Anleitung wird überarbeitet. Bei RAG wird das Dokument einfach im Index aktualisiert — und die KI hat die neue Information sofort. Bei Fine-Tuning müsste das Modell neu trainiert werden, was Wochen und einen mittleren fünfstelligen Betrag kostet.

Zweitens: Nachvollziehbarkeit. RAG-Antworten können mit Quellenangaben versehen werden — das Modell sagt, welches Dokument es zitiert hat. Bei Fine-Tuning ist diese Transparenz technisch nicht herstellbar. Für regulierte Branchen und für interne Akzeptanz ist die Quellenangabe oft Bedingung, nicht Komfort.

Drittens: Kosten. Eine RAG-Lösung beginnt bei etwa 60.000 Euro Initialinvestition. Ein Fine-Tuning startet meist bei 100.000 Euro und kann je nach Tiefe 300.000 Euro übersteigen — wobei die jährlichen Re-Trainingkosten dazu kommen.

Viertens: Flexibilität. RAG funktioniert mit jedem Sprachmodell. Wechselt der Anbieter, wechselt der Index nicht. Fine-Tuning bindet an einen Anbieter und ein bestimmtes Basismodell.

Fünftens: Halluzinationen. RAG reduziert Halluzinationen, weil das Modell konkrete Quellen vorgesetzt bekommt. Fine-Tuning kann Halluzinationen sogar verstärken, weil das Modell mit falschem Selbstbewusstsein antwortet.

Wann Fine-Tuning sich wirklich rechnet.

Es gibt klare Konstellationen, in denen Fine-Tuning der bessere Weg ist. Drei davon sind im Mittelstand relevant.

Erstens: Sehr spezifischer Stil oder Tonalität, der zuverlässig erzeugt werden muss. Wenn ein Versicherungsunternehmen tausende juristische Schreiben generiert und jedes muss exakt einer bestimmten Formularsprache entsprechen — dann wird ein Fine-Tuning verlässlicher als Prompting. Aber: Auch hier reicht oft ein gut konstruiertes Prompt-Template, kombiniert mit RAG auf Musterschreiben.

Zweitens: Hohes Volumen bei einfachen Aufgaben. Wenn Millionen ähnlicher Anfragen pro Monat bearbeitet werden — Klassifikation, Extraktion, einfache Generierung — kann ein fine-getuntes Small-Model günstiger laufen als das ständige Aufrufen eines großen API-Modells. Die Token-Kosten skalieren linear mit dem Volumen, Fine-Tuning ist eine Investition, die sich bei sehr hohen Volumina amortisiert.

Drittens: Sehr spezialisierte Fachdomäne, in der allgemeine Modelle nicht ausreichen. Etwa hochspezialisierte Medizin, Patentrecht, technische Diagnostik. Hier kann Fine-Tuning auf branchenspezifische Daten die Qualität messbar heben — wenn die Trainingsdaten in ausreichender Qualität verfügbar sind, was die zentrale Voraussetzung ist.

Was alle drei Konstellationen verbindet: Sie sind im klassischen Mittelstand selten. Wenn Ihnen jemand Fine-Tuning vorschlägt, ohne dass eine dieser Konstellationen vorliegt, ist die Empfehlung kritisch zu hinterfragen.

Die unterschätzte dritte Option: Prompt Engineering.

In der Diskussion „Fine-Tuning vs. RAG“ wird oft die einfachste Option vergessen: gut konstruiertes Prompt Engineering. Ein professionell gestaltetes Prompt mit klaren Anweisungen, Beispielen (Few-Shot-Learning) und Kontext kann erstaunlich viel leisten — ohne jegliche Modelländerung und ohne Datenbankaufbau.

Praktisches Beispiel: Eine Aufgabe, die intuitiv nach Fine-Tuning verlangt — „Das Modell soll Kundenanfragen genau in unserem firmenspezifischen Stil beantworten“ —, lässt sich oft mit einem 2.000-Token-Systemprompt lösen, der den Stil mit fünf Beispielen demonstriert. Die laufenden Kosten sind höher als bei einem fine-getunten Modell (weil der Prompt jedes Mal mitgeschickt wird), aber die Initialinvestition ist null und die Flexibilität ist maximal.

In der Praxis heißt das: Bevor Fine-Tuning oder RAG diskutiert wird, sollte die Frage gestellt werden: Was wäre mit reinem Prompt Engineering erreichbar? Diese Vorab-Prüfung erspart in vielen Projekten unnötige Investitionen. Sie ist auch ein guter Lackmustest für die Seriösität eines Beraters: Wer direkt Fine-Tuning vorschlägt, ohne Prompt Engineering geprüft zu haben, springt einen Schritt zu weit.

Die Wirtschaftsrechnung — drei Szenarien.

Eine konkrete Rechnung an einem Beispiel: Ein Maschinenbauer mit 250 Mitarbeitenden will einen internen KI-Assistenten, der Service-Mitarbeitenden bei Diagnose und Lösungssuche hilft. Drei Optionen werden geprüft.

Die Kosten sind nur die halbe Wahrheit — die Qualität entscheidet. Im Beispiel: Prompt Engineering reicht für Basis-Anfragen, scheitert aber bei spezifischen Produktfragen (das Modell „kennt“ die Produkte nicht). RAG löst dieses Problem zuverlässig, ist die mit Abstand wirtschaftlichste Wahl bei diesem Anwendungstyp. Fine-Tuning bringt in diesem Beispiel keinen messbaren Qualitätsvorteil gegenüber RAG, kostet aber das 2,5-fache. Das ist kein Sonderfall — diese Konstellation ist in mittelständischen Anwendungen häufig die typische.

Die Kombination — beides nutzen.

Es gibt anspruchsvolle Konstellationen, in denen die Kombination aus Fine-Tuning und RAG sinnvoll ist. Konkret: Ein fine-getuntes Modell für Stil und Tonalität, ein RAG-System für die aktuellen Fakten. Das Modell beantwortet Anfragen in der gewünschten Form und auf Basis der korrekten Inhalte.

Beispiel: Ein Versicherungsunternehmen mit hohem Volumen an Standard-Antwortschreiben. Das Sprachmodell wird auf den firmeninternen Schreibstil fine-getunt (damit jedes Schreiben rechtssicher und konsistent klingt). Gleichzeitig nutzt es RAG auf den aktuellen Vertragsdaten und Service-Vorgängen (damit der Inhalt aktuell ist).

Diese Kombination ist anspruchsvoll und teuer. Sie rechnet sich bei Volumina ab etwa einer Million spezialisierter Anfragen pro Jahr. Darunter ist sie schwer zu rechtfertigen. Für die Mehrheit mittelständischer Unternehmen bleibt sie eine theoretische Option — relevant zu kennen, selten umzusetzen.

Was im Markt oft falsch verkauft wird.

Im Markt wird Fine-Tuning häufig als Standardlösung verkauft, weil es teurer ist und mehr Beratertage einbringt als RAG. Wer als Geschäftsführer aufmerksam ist, erkennt drei rote Flaggen.

Rote Flagge 1: Eine Empfehlung zu Fine-Tuning, ohne dass RAG ernsthaft geprüft wurde. Wenn die Argumentation lautet „Ihr Anwendungsfall braucht ein eigenes trainiertes Modell“ — fragen Sie nach: Warum nicht RAG? Welche konkreten Eigenschaften des Use Cases verlangen Verhaltens-Anpassung statt Wissens-Anpassung?

Rote Flagge 2: Versprechen von „intelligenterem“ Modell nach Fine-Tuning. Fine-Tuning macht Modelle nicht generell intelligenter. Es justiert sie auf bestimmte Aufgaben — kann sie sogar auf anderen Aufgaben schlechter machen (sogenannte „catastrophic forgetting“).

Rote Flagge 3: Verschweigen der Folgekosten. Fine-Tuning ist nicht „einmal gemacht, fertig“. Trainingsdaten müssen gepflegt, Modelle regelmäßig nachtrainiert, Performance dauerhaft überwacht werden. Wer Fine-Tuning ohne diese laufende Disziplin vorschlägt, plant die Investition falsch.

Eine seriöse Empfehlung beginnt mit der Frage: „Was ist die einfachste Lösung, die das Problem löst?“ — und steigt nur in der Komplexität, wenn die einfacheren Stufen nicht ausreichen.

Was Sie konkret prüfen sollten.

Drei Schritte, bevor Sie sich zwischen Fine-Tuning und RAG entscheiden:

1. Aufgabe klassifizieren. Geht es um Wissen (Fakten, Inhalte, Dokumente)? Dann ist RAG die Standardlösung. Geht es um Verhalten (Stil, Format, spezifische Reasoning-Muster)? Dann ist Prompt Engineering der erste Versuch, Fine-Tuning die Eskalation.
2. Prompt-Engineering-Test machen. Bevor Sie investieren: Versuchen Sie, das gewünschte Verhalten mit einem gut konstruierten Prompt zu erreichen. Diese Vorab-Prüfung dauert wenige Tage — und beantwortet die Frage oft schon.
3. Fine-Tuning-Bedingungen prüfen. Falls Fine-Tuning wirklich in Frage kommt: Sind genug qualitativ saubere Trainingsdaten vorhanden (typischerweise mindestens 500 bis 1.000 Beispiele)? Ist das Volumen hoch genug, dass sich die Investition lohnt? Ist die laufende Wartung organisierbar?

In der überwältigenden Mehrheit der Fälle wird die ehrliche Antwort lauten: RAG, gegebenenfalls mit gutem Prompt Engineering. Wer einen soliden RAG-Aufbau auf den eigenen Firmendokumenten hat, deckt 80 Prozent der Anwendungsfälle ab. Fine-Tuning bleibt für die wenigen Spezialfälle, in denen es wirklich passt — und in denen das Unternehmen die nötige Datenbasis und Wartungskapazität mitbringt.

Sie wollen für einen konkreten KI-Anwendungsfall die richtige Architekturentscheidung treffen? Unverbindlich anfragen — wir prüfen gemeinsam, welche der drei Optionen — Prompting, RAG, Fine-Tuning — wirklich zu Ihrem Use Case passt.