KI auf Edge-Devices: lokal, schnell, datenschutzfreundlich.

Die meisten KI-Diskussionen im Mittelstand drehen sich um Cloud-Modelle: ChatGPT, Claude, ein Microsoft-Copilot-Abo. Das ist verständlich, weil die Cloud-Modelle die mit Abstand beste Qualität liefern. In bestimmten Anwendungsfällen führt aber kein Weg an lokaler KI vorbei — sei es weil die Latenz im Millisekundenbereich liegen muss, weil die Daten das Werk nicht verlassen dürfen, oder weil eine Internet-Verbindung schlicht nicht zuverlässig vorhanden ist. Genau hier kommt Edge-KI ins Spiel: kleinere, spezialisierte Modelle, die direkt auf einem Gerät vor Ort laufen — auf einer Industriekamera, einem Steuerungsrechner, einem Servicetechniker-Tablet oder einem Edge-Gateway in der Fabrikhalle. Dieser Artikel zeigt, wann Edge-KI heute schon eine ernsthafte Option ist, welche Hardware sich rechnet und wo die Grenzen liegen.

Worum es bei Edge-KI eigentlich geht.

Edge-KI bedeutet, dass die KI-Inferenz nicht in einem Rechenzentrum stattfindet, sondern auf einem Gerät vor Ort — am „Rand“ des Netzwerks. Das Gerät kann eine Industriekamera mit eingebautem KI-Chip sein, ein robuster Industrie-PC in einer Schaltschrankzeile, ein Mini-Server an einem Standort ohne stabile Internetanbindung oder ein Tablet beim Servicetechniker.

Drei Treiber motivieren diese Architektur. Erstens: Latenz. Wer in der Produktion mit 50 Millisekunden Reaktionszeit arbeitet, kann nicht warten, bis ein Bild über das Internet in ein US-Rechenzentrum geschickt, dort analysiert und das Ergebnis zurückgesendet wird. Zweitens: Datenschutz und Vertraulichkeit. Bestimmte Daten — etwa Kamerabilder aus einer Werkshalle mit sichtbarer Mitarbeitern oder Produktionsverfahren — sollen das Werksgelände aus guten Gründen nicht verlassen. Drittens: Verfügbarkeit. Eine Maschinenanlage soll auch dann funktionieren, wenn die Internet-Anbindung gestört ist oder das Außengerüst des Servicetechnikers in der Tiefgarage steht.

Die Architektur ist nicht neu — Industrie-Automation arbeitet seit Jahrzehnten mit lokalen Steuerungen. Neu ist, dass die Qualität lokal lauffähiger KI-Modelle in den letzten zwei Jahren stark gestiegen ist. Was 2022 noch ein Cloud-Modell erforderte, läuft 2026 in ähnlicher Qualität auf einem Edge-Gerät für unter 2.000 Euro.

Typische Anwendungsfälle im Mittelstand.

In Beratungsprojekten zeigen sich vier Felder, in denen Edge-KI heute schon konkreten Mehrwert bringt:

• Visuelle Qualitätskontrolle in der Produktion. Eine Kamera über dem Band erkennt fehlerhafte Teile oder Verpackungen in Echtzeit. Die Bilder bleiben im Werk. Reaktionszeit unter 100 Millisekunden, Cloud-Anbindung optional.
• Predictive Maintenance an Maschinen. Sensordaten — Vibration, Temperatur, Stromaufnahme — werden lokal von einem KI-Modell ausgewertet, um Anomalien zu erkennen. Nur Zusammenfassungen oder Alarme gehen in die Cloud, nicht die rohen Messdaten.
• Servicetechniker mit lokalem LLM. Ein Tablet mit einem lokal gehosteten Sprachmodell beantwortet Fragen zur Anlage, schlägt Diagnoseschritte vor, sucht in der Wartungsdokumentation. Funktioniert auch im Kellergeschoss eines Kunden ohne Mobilfunk.
• Stationäre Spracherkennung in lauten Umgebungen. In Lagerhallen oder Werkstätten erkennt ein Edge-Gerät Sprachbefehle und übersetzt sie in Aktionen — ohne Internet-Anbindung und ohne Datenschutz-Risiko.

Was sich dagegen nicht eignet: alles, was ein hochwertiges generatives Sprachmodell mit Kontextfenster über 100.000 Token erfordert, alles mit häufig wechselnden, sehr großen Wissensbasen, alles, was massiv Rechenleistung braucht und nur sporadisch genutzt wird. Hier ist Cloud die bessere Wahl.

Hardware-Optionen und Größenordnungen.

Edge-KI-Hardware reicht heute von 200-Euro-Boards bis zu 30.000-Euro-Industrierechnern. Eine grobe Übersicht für mittelständische Projekte:

Für ein produktives Setup kommen meist 30 bis 60 Prozent Aufwand für Integration, Gehäuse, Verkabelung, Software-Lizenzen und Inbetriebnahme oben drauf. Eine Kamera-Lösung für die Qualitätskontrolle landet damit realistisch bei 8.000 bis 25.000 Euro pro Position, ein lokaler LLM-Server für 50 Mitarbeitende bei 25.000 bis 60.000 Euro Einrichtung.

Was sich in den nächsten zwei Jahren ändern wird: Spezialisierte KI-Beschleuniger sinken weiter im Preis, und Modelle werden effizienter. Ein Edge-Setup, das heute 30.000 Euro kostet, wird 2028 wahrscheinlich für 15.000 Euro möglich sein — bei besserer Qualität.

Welche Modelle laufen lokal — und in welcher Qualität.

Die spannendste Entwicklung der letzten zwei Jahre ist die Verfügbarkeit hochwertiger Open-Source-Modelle, die lokal laufen. Für Sprache: Llama-Modelle in den Größen 8B, 70B, 405B, Mistral-Modelle, Qwen-Modelle. Für Vision: spezialisierte Modelle wie YOLO für Objekterkennung, EfficientDet, oder multimodale Modelle wie LLaVA.

Die ehrliche Bewertung der Qualität: Ein 8-Milliarden-Parameter-Modell auf einem Edge-Gateway erreicht heute etwa das Niveau von GPT-3.5 aus dem Jahr 2023 — was für viele Anwendungsfälle ausreicht. Ein 70-Milliarden-Parameter-Modell auf einem Edge-Server erreicht ungefähr GPT-4-Niveau aus dem Jahr 2023. Für komplexe Aufgaben — anspruchsvolles Reasoning, lange Kontexte, knifflige Programmierung — liegen die aktuellen Cloud-Modelle (Stand 2026) immer noch ein bis zwei Klassen vorne.

Für die meisten Mittelstands-Anwendungsfälle ist das aber irrelevant: Wer eine Wartungsanleitung auf Tschechisch zusammenfasst, einen Sprachbefehl an einer Maschine versteht oder ein fehlerhaftes Teil auf einem Förderband erkennt, braucht keine Spitzenleistung — er braucht Zuverlässigkeit, Geschwindigkeit und Datenschutz. Genau das liefert Edge-KI.

Was Edge-KI nicht leistet.

Drei Grenzen sollten Geschäftsführer nüchtern einkalkulieren.

Modell-Updates sind aufwändiger. Wer ein Cloud-Modell verwendet, bekommt Verbesserungen automatisch. Wer auf einem Edge-Gerät ein lokal gehostetes Modell betreibt, muss Updates aktiv ausrollen — über Hunderte oder Tausende Geräte hinweg. Das ist machbar, aber ein Betriebskosten-Posten, der oft unterschätzt wird.

Spitzenqualität bleibt in der Cloud. Die führenden Cloud-Modelle haben weiterhin einen Vorsprung von zwei bis drei Jahren gegenüber lokal lauffähigen Modellen. Wer komplexe Aufgaben automatisieren will — etwa anspruchsvolle Textanalyse, mehrstufige Argumentation oder kreatives Schreiben —, kommt mit Edge-KI nicht auf das gleiche Niveau wie mit einem Frontier-Modell aus der Cloud.

Skalierung ist hardware-gebunden. Wenn morgen plötzlich doppelt so viele Mitarbeitende das lokale LLM nutzen, kommt das Edge-Gerät an seine Grenzen — anders als ein Cloud-Service, der elastisch hochskaliert. Wer Edge-KI einsetzt, muss Kapazitäten planen wie bei klassischen Servern: mit Reserven und mit einem Plan B für Lastspitzen.

Diese Grenzen sind kein Argument gegen Edge-KI, sondern für eine bewusste Architektur-Entscheidung. Hybride Setups, in denen ein Teil lokal läuft und ein Teil in die Cloud ausgelagert wird, sind in der Praxis oft die richtige Antwort.

Datenschutz und der EU AI Act.

Edge-KI wird oft als Datenschutz-Wundermittel verkauft, und in vielen Fällen ist sie das tatsächlich. Daten, die ein Gerät nicht verlassen, können auch nicht in einen US-Server gelangen oder in einem Trainingsdatensatz landen. Für die DSGVO ist das ein starker Vorteil — vor allem bei Kamerabildern, Spracheingaben und sensorischen Daten in Bereichen, in denen Mitarbeitende oder Kunden sichtbar oder hörbar sind.

Aber der EU AI Act stellt zusätzliche Anforderungen, die unabhängig vom Verarbeitungsort gelten. Wer ein KI-System in einem als Hochrisiko-Bereich eingestuften Anwendungsfall einsetzt — etwa biometrische Erkennung am Eingang oder KI-Entscheidungen in der Personalauswahl —, muss Risikobewertung, Dokumentation, menschliche Aufsicht und Logging sicherstellen. Auch dann, wenn das Modell lokal läuft.

In der Praxis sind die meisten Mittelstands-Edge-Anwendungen aber unkritisch nach AI Act: Qualitätskontrolle an einer Maschine, Wartungsdiagnose, Sprachsteuerung. Hier gilt die DSGVO im Standardumfang. Das macht Edge-KI gerade für Unternehmen attraktiv, die ihre Daten aus Prinzip nicht in US-Clouds geben wollen — sei es aus Compliance-Gründen oder weil deutsche Großkunden das vertraglich fordern.

Wirtschaftlichkeit und Betriebskosten.

Die Wirtschaftlichkeit von Edge-KI rechnet sich anders als die einer Cloud-Lösung. Cloud-KI ist ein laufender Kostenposten — pro Anfrage, pro Nutzer, pro Monat. Edge-KI ist eine Investition in Hardware plus laufende Wartung.

Eine grobe Faustregel: Wenn Sie mehr als 50.000 KI-Anfragen pro Monat haben oder ein Setup für mehr als 30 Nutzer betreiben wollen, kann Edge-KI ab dem zweiten oder dritten Jahr günstiger sein als Cloud-KI. Bei niedrigerem Volumen lohnt sich die Investition meist nicht — außer Datenschutz oder Offline-Fähigkeit sind harte Anforderungen.

Ein Beispiel: Ein Edge-Server für 50 Mitarbeitende mit lokalem LLM kostet einmalig 40.000 bis 50.000 Euro plus 8.000 bis 15.000 Euro jährliche Wartung. Eine vergleichbare Cloud-Lösung kostet ungefähr 1.500 bis 3.500 Euro pro Monat. Die Amortisation liegt damit bei 18 bis 30 Monaten — eine Größenordnung, mit der sich rechnen lässt, wenn die Anforderungen es erfordern.

Wer eine pragmatische Bestandsaufnahme zu möglichen KI-Anwendungsfällen sucht, findet erste Orientierung in unserem Überblick zu KI-Tools für den Mittelstand. Edge-KI gehört dort meist nicht in die erste Welle — aber sie sollte in der Architekturentscheidung von Anfang an mitgedacht werden, sonst werden später teure Migrationen nötig.

Was Sie als Entscheider jetzt prüfen sollten.

Drei nüchterne Fragen helfen, das Thema Edge-KI für Ihr Unternehmen einzuordnen:

1. Gibt es Anwendungsfälle mit harten Latenz-, Offline- oder Datenschutz-Anforderungen? Wenn ja, ist Edge-KI ein ernsthafter Kandidat. Wenn nein, ist Cloud meistens die einfachere und günstigere Antwort.
2. Welche Hardware ist bereits im Einsatz? Wer bereits Industrie-PCs oder Steuerungsrechner in der Produktion hat, kann Edge-KI oft mit überschaubaren Aufrüstungen ergänzen. Wer komplett neu aufbauen muss, sollte die Investition ehrlich kalkulieren.
3. Wer betreibt die Edge-Infrastruktur? Die laufende Verantwortung — Updates, Monitoring, Hardware-Tausch — sollte klar verortet sein. Intern oder über einen Dienstleister. Ohne diese Klärung wird der Edge-Park über die Jahre zum Pflegefall.

Edge-KI ist kein Selbstzweck. Sie ist eine Architektur-Entscheidung, die in bestimmten Anwendungsfällen klar überlegen ist und in vielen anderen unnötig komplex. Wer das nüchtern einordnet, kommt zu guten Entscheidungen — und vermeidet sowohl die übertriebene Cloud-Skepsis als auch den blinden Edge-Hype.

Sie wollen prüfen, ob Edge-KI in Ihrem Unternehmen sinnvoll ist? Unverbindlich anfragen — wir schauen gemeinsam auf konkrete Anwendungsfälle, Hardware-Optionen und die richtige Architektur zwischen lokal und Cloud.