Self-hosted LLMs für mehr Datenschutz.

Viele Unternehmen würden KI gern intensiver nutzen, schrecken aber davor zurück, sensible Daten an einen Cloud-Dienst zu schicken. Patientendaten, Personalakten, Geschäfts- geheimnisse, Mandanteninformationen — manches will man schlicht nicht aus dem Haus geben. Hier kommen selbst betriebene, lokale Sprachmodelle ins Spiel. Sie laufen auf eigener Hardware, die Daten verlassen das Unternehmen nicht. Dieser Beitrag zeigt ehrlich, was das bringt, was es kostet und wann es sich wirklich lohnt.

Der Kern: Daten verlassen das Haus nicht.

Beim Einsatz eines Cloud-Modells über eine API werden die Eingaben — also der Prompt samt der darin enthaltenen Daten — an die Server des Anbieters übertragen und dort verarbeitet. Bei seriösen Anbietern ist das durch Verträge und technische Maßnahmen abgesichert, aber die Daten verlassen physisch das Unternehmen.

Ein selbst gehostetes Modell dreht dieses Bild um. Das Modell wird auf eigener Hardware betrieben — im eigenen Rechenzentrum, auf einem Server im Haus oder in einer privaten Cloud-Umgebung, die unter eigener Kontrolle steht. Die Daten bleiben innerhalb der eigenen Infrastruktur. Für stark regulierte Branchen oder besonders sensible Datenkategorien ist das oft das entscheidende Argument: Was nie übertragen wird, kann unterwegs auch nicht abgegriffen werden.

Wofür Open-Source-Modelle taugen.

Möglich wird der Selbstbetrieb durch eine ganze Reihe frei verfügbarer, offener Sprachmodelle. Es gibt etablierte Modellfamilien, die quelloffen oder mit offenen Gewichten bereitgestellt werden und sich lokal betreiben lassen. Sie decken eine breite Spanne ab — von kleinen, sparsamen Modellen, die auf bescheidener Hardware laufen, bis zu großen Modellen, die leistungsstarke Grafikkarten verlangen.

Ehrlich bleiben muss man bei der Leistungsfähigkeit. Die größten und stärksten Modelle sind in der Regel die kommerziellen Cloud-Angebote. Offene Modelle haben in vielen Aufgaben stark aufgeholt und sind für viele Unternehmensaufgaben mehr als ausreichend — aber für die anspruchsvollsten Aufgaben kann eine Qualitätslücke bestehen. Die richtige Frage lautet deshalb nicht „Ist das lokale Modell so gut wie das beste Cloud-Modell?“, sondern „Ist es gut genug für meinen konkreten Anwendungsfall?“. Für Aufgaben wie Zusammenfassen, Extrahieren, Klassifizieren oder das Beantworten von Fragen über eigene Dokumente lautet die Antwort erstaunlich oft: ja.

Was Selbstbetrieb wirklich kostet.

Lokale Modelle sind nicht „kostenlos“, auch wenn die Software frei ist. Die Kosten verschieben sich nur — weg von der Pro-Anfrage-Abrechnung der Cloud, hin zu Anschaffung und Betrieb. Die folgende Gegenüberstellung macht die unterschiedliche Logik deutlich:

Der oft unterschätzte Posten ist die rechte Spalte unten: der Wartungsaufwand. Ein lokal betriebenes Modell will gepflegt, aktualisiert und überwacht werden. Diese Personalkosten gehören in jede ehrliche Rechnung. Bei niedrigem Anfragevolumen ist die Cloud oft günstiger; bei hohem, gleichmäßigem Volumen kann sich Selbstbetrieb rechnen — aber der Datenschutz, nicht der Preis, ist meist der eigentliche Grund.

Hardware: der praktische Engpass.

Sprachmodelle brauchen Rechenleistung, vor allem Grafikspeicher. Grob gilt: Je größer das Modell, desto mehr Speicher und Rechenkraft sind nötig. Kleine Modelle laufen schon auf gut ausgestatteten Arbeitsplatzrechnern oder einer einzelnen Grafikkarte. Mittelgroße Modelle verlangen leistungsfähige Server-Grafikkarten. Die größten offenen Modelle benötigen mehrere starke Grafikkarten und damit eine spürbare Investition.

Eine Technik mildert das Problem: Quantisierung. Dabei werden die Modellgewichte in einer kompakteren Form gespeichert, was den Speicherbedarf deutlich senkt — auf Kosten eines meist geringen Qualitätsverlusts. Für viele praktische Anwendungen ist diese Abwägung sehr attraktiv, weil sie ein brauchbares Modell auf bezahlbarer Hardware ermöglicht. Die konkrete Hardwarewahl hängt stark vom gewählten Modell und vom Anfragevolumen ab und sollte für den Einzelfall durchgerechnet werden.

Werkzeuge, die den Einstieg erleichtern.

Der Betrieb lokaler Modelle ist heute deutlich einfacher als noch vor wenigen Jahren. Eine Reihe von Werkzeugen kümmert sich um das Herunterladen, Laden und Bereitstellen der Modelle und stellt eine Schnittstelle bereit, die der gewohnten API ähnelt. Das senkt die Hürde erheblich: Eine Anwendung lässt sich oft mit geringem Aufwand zwischen Cloud und lokalem Modell umstellen, weil die Schnittstellen vergleichbar sind.

Ein vereinfachtes Beispiel zeigt, wie wenig sich im Anwendungscode ändert. Viele lokale Server bieten eine zur verbreiteten Chat-Schnittstelle kompatible API an, sodass nur die Adresse umgestellt werden muss:

import requests

# Lokaler Modell-Server im eigenen Netz,
# erreichbar nur intern - keine Daten
# verlassen das Haus.
ANTWORT = requests.post(
    "http://llm-server.intern:8000/v1/chat/completions",
    json={
        "model": "lokales-modell",
        "messages": [
            {"role": "system",
             "content": "Du fasst interne "
                        "Dokumente sachlich "
                        "zusammen."},
            {"role": "user",
             "content": "Fasse das folgende "
                        "Protokoll zusammen: ..."}
        ],
        "temperature": 0.2
    }
)

print(ANTWORT.json()["choices"][0]
      ["message"]["content"])

Der entscheidende Punkt steht im Kommentar: Die Server-Adresse zeigt auf einen Rechner im eigenen Netz. Die zu verarbeitenden Inhalte verlassen dieses Netz nicht. Genau das ist der Datenschutz-Vorteil, um den es geht — technisch ist die Anbindung erfreulich unspektakulär.

Wann sich Self-hosting wirklich lohnt.

Selbstbetrieb ist kein Selbstzweck. Er bringt echten Mehraufwand mit sich und sollte einem klaren Grund folgen. Aus der Praxis lassen sich die Konstellationen benennen, in denen er sich anbietet:

• Besonders sensible Daten: Gesundheitsdaten, Mandanten- oder Personaldaten, Geschäftsgeheimnisse — Inhalte, die das Haus aus rechtlichen oder Vertrauensgründen nicht verlassen sollen.
• Regulatorische oder vertragliche Vorgaben: Wenn Aufsicht, Kunden oder Branche eine lokale Verarbeitung verlangen oder nahelegen.
• Hohes, gleichmäßiges Volumen: Wenn so viele Anfragen anfallen, dass sich die Hardware-Investition gegenüber laufenden API-Kosten rechnet.
• Volle Kontrolle über das Modell: Wenn man unabhängig von Anbieter-Entscheidungen sein will — etwa wenn ein Cloud-Anbieter ein Modell abkündigt oder ändert.

Umgekehrt ist die Cloud meist die bessere Wahl, wenn die Daten unkritisch sind, das Volumen schwankt oder klein ist, kein Betriebs-Know-how vorhanden ist und die höchste Modellqualität zählt. Viele Unternehmen fahren am Ende zweigleisig: unkritische Aufgaben in der Cloud, sensible Aufgaben lokal. Diese Aufteilung verbindet Pragmatismus mit Datenschutz.

Datenschutz ist mehr als der Speicherort.

Ein wichtiger Hinweis zum Schluss, damit kein falscher Eindruck entsteht: Ein lokal betriebenes Modell löst nicht automatisch alle Datenschutzfragen. Auch im eigenen Haus gelten die Grundsätze der Datenverarbeitung — Zweckbindung, Datenminimierung, Zugriffsrechte, Löschkonzepte. Wer personenbezogene Daten verarbeitet, muss das sauber begründen und absichern, egal ob in der Cloud oder lokal.

Der lokale Betrieb beseitigt das Risiko der Datenübertragung an Dritte und vereinfacht damit einen wichtigen Teil der Bewertung. Er entbindet aber nicht von einer ordentlichen Datenschutz-Betrachtung des Gesamtsystems. Wie diese im Einzelfall aussieht, hängt von Ihrer konkreten Anwendung ab und gehört mit Datenschutz-Verantwortlichen geklärt. Dieser Beitrag ist eine technische Einordnung und keine Rechtsberatung.

Was ich aus der Praxis mitgebe.

• Der Grund ist Datenschutz, nicht der Preis. Self-hosting lohnt sich primär, wenn Daten das Haus nicht verlassen dürfen — selten allein aus Kostengründen.
• Gut genug schlägt theoretisch am besten. Offene Modelle reichen für viele Unternehmensaufgaben völlig aus; die Frage ist der konkrete Bedarf, nicht der Spitzenwert.
• Den Wartungsaufwand einplanen. Ein lokales Modell will betrieben werden. Diese Personalkosten gehören in jede ehrliche Entscheidung.
• Zweigleisig denken. Unkritisches in die Cloud, Sensibles lokal — diese Aufteilung ist für viele die beste Lösung.

Sie wollen KI nutzen, ohne sensible Daten aus dem Haus zu geben? Unverbindlich anfragen — wir prüfen, welche Aufgaben lokal sinnvoll sind, welche Hardware nötig ist und wo die Cloud die bessere Wahl bleibt.