KI Center of Excellence im Mittelstand.

In den großen Konzernen hat sich für KI eine bestimmte Organisationsform durchgesetzt: das Center of Excellence. Eine zentrale Einheit mit Spezialisten, eigenem Budget, klaren Mandaten und der Aufgabe, KI im ganzen Konzern zu orchestrieren. Diese Form wandert in den deutschen Mittelstand, oft auf Empfehlung von Beratungen oder als Nachahmung dessen, was Branchenführer tun. Die Frage ist, ob ein Center of Excellence im Mittelstand wirklich passt — und wenn ja, in welcher Form. Pauschal die Konzernstruktur kopieren funktioniert nicht. Mittelständische Unternehmen haben weder die Ressourcen noch die organisatorische Komplexität, die einen vollwertigen CoE rechtfertigen würden. Trotzdem gibt es Konstellationen, in denen eine zentrale KI-Einheit erheblich Wirkung entfaltet — und andere, in denen sie das Programm eher behindert. Dieser Artikel beschreibt, wann der Aufbau lohnt, wie er gelingt und welche Fallen häufig auftreten.

Was ein CoE eigentlich ist.

Ein Center of Excellence ist mehr als ein Team. Es ist eine organisatorische Einheit mit einer eigenen Identität, einem klaren Mandat und einer dauerhaften Verantwortung. Im KI-Kontext umfasst ein CoE typischerweise drei bis acht Personen, die für die strategische Steuerung, die Methodenentwicklung, die Standardisierung und oft auch für die Umsetzung von KI-Themen im Unternehmen verantwortlich sind.

Im Konzern entsteht ein CoE meist aus zwei Motiven. Erstens: Bündelung knapper Spezialkompetenz, weil sich Spezialisten in mehreren Geschäftseinheiten parallel nicht finanzieren lassen. Zweitens: Vereinheitlichung von Standards, weil sonst jede Einheit eigene Tools und Modelle einkauft, was teuer und compliance-technisch problematisch wird. Beide Motive gelten auch im Mittelstand — aber in deutlich kleinerem Maßstab.

Wichtig ist, was ein CoE nicht ist. Es ist keine Stabsstelle, die nur strategische Papiere schreibt. Es ist auch kein verlängerter Beratungsarm, der den Fachbereichen ihre Probleme abnimmt. Ein gutes CoE ist eine Mischung aus Architekturteam, Steuerungsstelle und Plattformanbieter — ergänzt durch eine Beratungskomponente für die Fachbereiche. Es liefert sowohl Strategie als auch operative Substanz. Wer das verwechselt, baut entweder eine ineffektive Hülle oder eine überlastete Stelle, die in zwölf Projekten gleichzeitig arbeitet.

Wann sich ein CoE im Mittelstand lohnt.

Die ehrliche Antwort: Bei den meisten Mittelständlern unter 200 Millionen Euro Jahresumsatz lohnt sich kein vollwertiges CoE. Die Organisation ist zu klein, die Anwendungsfälle sind nicht zahlreich genug, das Budget für eine eigenständige Einheit ist nicht da. In dieser Größenordnung ist eine schlankere Struktur wirksamer — entweder eine zentrale KI-Verantwortliche mit kleinem Team innerhalb der IT, oder ein hybrides Modell mit externen Partnern.

Ab etwa 300 Millionen Euro Jahresumsatz und 500 Mitarbeitenden ändert sich das Bild. Hier wird ein CoE realistisch, wenn drei Bedingungen erfüllt sind. Erstens: Es gibt mindestens fünfzehn bis zwanzig laufende oder geplante KI-Anwendungsfälle. Zweitens: Die Geschäftsbereiche sind so unterschiedlich, dass eine zentrale Vereinheitlichung Mehrwert bringt — sei es technisch (gleiche Modelle, gleiche Architektur) oder regulatorisch (gleiche Governance). Drittens: Die strategische Ausrichtung des Unternehmens sieht KI als langfristiges Differenzierungsthema, nicht nur als Effizienzhebel.

In Familienunternehmen mit klarem Bekenntnis zu Digitalisierung und KI lohnt sich der CoE-Aufbau manchmal auch früher — wenn die Geschäftsführung dauerhaft Energie investiert. In klassischen Mittelständlern ohne diese strategische Klarheit ist ein CoE meist eine Überstruktur. Dort verbrennt es Geld, ohne sichtbar zu liefern.

Drei Bauformen — und welche zum Mittelstand passt.

CoE-Strukturen lassen sich grob in drei Varianten unterteilen, die sich in der Aufgabenverteilung unterscheiden. Jede hat ihre Berechtigung — aber sie passen zu unterschiedlichen Unternehmensgrößen und Strategien.

Die zentralistische Variante ist im Mittelstand selten tragfähig. Sie macht das CoE zum Nadelöhr, an dem sich alle Projekte stauen. Sie funktioniert in kleinen Unternehmen mit nur ein bis zwei laufenden Themen, ist aber kein Skalierungsmodell.

Die föderative Variante setzt voraus, dass die Fachbereiche eigene technische Kompetenz haben. Im deutschen Mittelstand ist das selten der Fall — die Fachbereiche verstehen Prozesse, aber nicht KI-Implementierung. Diese Variante passt eher zu Unternehmen mit dezentralen Tochtergesellschaften, die jeweils eigene IT-Abteilungen haben.

Die hybride Variante ist die im Mittelstand häufigste tragfähige Form. Das CoE baut die Plattform — also die gemeinsame technische Grundlage —, setzt Standards für Datenschutz, Modellauswahl und Governance, und unterstützt die Fachbereiche bei der konkreten Umsetzung ihrer Anwendungsfälle. Die Fachbereiche bleiben Eigentümer ihrer Themen, aber sie bauen nicht alles selbst.

Wer im CoE arbeitet.

Ein typisches mittelständisches KI-CoE hat zwischen drei und acht Personen, je nach Unternehmensgröße. Die Rollen unterscheiden sich, aber die Funktionen sind weitgehend ähnlich. Eine Leitungsfunktion mit strategischer Verantwortung. Eine oder zwei Personen für technische Architektur — also die Entscheidung, welche Modelle, welche Plattformen, welche Datenstruktur. Eine bis drei Personen für Implementierung, also das tatsächliche Bauen von Anwendungsfällen. Eine Person für Compliance, Datenschutz, AI Act. Bei größeren CoEs zusätzlich eine Person für Schulung und Change.

Wichtig ist die Mischung der Profile. Ein CoE, das nur aus technisch starken Köpfen besteht, baut elegante Lösungen, die nicht angenommen werden. Ein CoE, das nur aus Kommunikatoren und Strategen besteht, schreibt Konzepte, die nie produktiv werden. Eine gesunde Mischung umfasst typischerweise sechzig Prozent technische und vierzig Prozent prozess- und beratungsorientierte Profile.

Eine besondere Herausforderung ist die Besetzung der Leitungsrolle. Sie braucht jemanden, der technisch fundiert ist, gleichzeitig aber strategisch denkt, mit der Geschäftsführung auf Augenhöhe kommuniziert und Fachbereichsleiter überzeugen kann. Diese Profile sind im Markt rar. In der Beratungspraxis sehen wir, dass viele Unternehmen die Leitung intern besetzen — mit erfahrenen IT-Leitern, die KI-Affinität haben und sich gezielt in das Thema einarbeiten. Das funktioniert oft besser als die teure Anwerbung eines KI-Direktors aus einem Konzern.

Was ein gutes CoE in seinen ersten zwölf Monaten leistet.

Ein neues CoE hat eine kritische erste Phase, in der es seine Daseinsberechtigung etablieren muss. Wer in den ersten zwölf Monaten nur Strategiepapiere schreibt, ohne sichtbare Substanz zu liefern, verliert die Unterstützung der Geschäftsführung und der Fachbereiche. Drei Lieferungen sind in dieser Phase entscheidend.

Erstens: Eine technische Referenzarchitektur. Welche Modelle werden im Unternehmen eingesetzt? Welche Datenflüsse sind vorgesehen? Wie integriert sich KI in bestehende ERP- und CRM-Systeme? Diese Architektur muss nicht perfekt sein, aber sie muss als Orientierung für neue Projekte taugen. Wer die nicht hat, baut weiter Insellösungen.

Zweitens: Erste produktive Anwendungsfälle. Zwei bis vier Anwendungsfälle, die vom CoE mit den Fachbereichen gemeinsam in Produktion gebracht wurden. Diese Anwendungsfälle dürfen klein sein — aber sie müssen messbaren Nutzen zeigen. Sie sind die Visitenkarte des CoE in der Organisation.

Drittens: Ein dokumentierter Governance-Rahmen. Wer entscheidet, dass ein neuer Anwendungsfall startet? Wer prüft Datenschutz und AI-Act-Konformität? Wie wird der Erfolg gemessen? Diese Prozesse müssen schlank sein — aber sie müssen existieren und in Schriftform vorliegen. Wer das nicht hat, ist nach 18 Monaten in einem Sumpf nicht dokumentierter Ad-hoc-Entscheidungen.

Wie ein CoE nicht zum Elfenbeinturm wird.

Der häufigste Vorwurf gegen Center of Excellence — auch im Mittelstand — ist Abkopplung. Das CoE entwickelt eigene Sprache, eigene Methoden, eigene Prioritäten, die mit den realen Bedürfnissen der Fachbereiche immer weniger zu tun haben. Nach zwei Jahren spricht das CoE über „Foundation Models“ und „Retrieval-Augmented Generation“, während die Fachbereiche darauf warten, dass endlich der versprochene Rechnungserfassungs-Workflow läuft.

Drei Mechanismen halten ein CoE bodenständig. Erstens: Eine harte Quote auf Auslieferung. Mindestens fünfzig Prozent der CoE-Kapazität fließen in produktive Anwendungsfälle, nicht in Plattformaufbau, Strategie oder Beratung. Wer diese Quote nicht hält, hat ein Strategieproblem.

Zweitens: Regelmäßige Rotation. Mitarbeitende aus dem CoE arbeiten phasenweise direkt in den Fachbereichen mit — und umgekehrt kommen Fachbereichsmenschen für drei bis sechs Monate ins CoE. Diese Rotation schützt vor Abschottung und stärkt das gegenseitige Verständnis.

Drittens: Transparente Erfolgsmessung. Das CoE veröffentlicht halbjährlich eine ehrliche Bilanz: Welche Anwendungsfälle sind produktiv? Welche sind gescheitert? Welches Budget wurde wofür verwendet? Welche KPIs wurden erreicht? Diese Transparenz tut weh, weil sie auch Misserfolge sichtbar macht. Aber sie ist der einzige Weg, langfristig Vertrauen zu erhalten. Ein CoE, das seine eigenen Misserfolge versteckt, verliert nach drei Jahren die Glaubwürdigkeit.

Alternativen für kleinere Unternehmen.

Wer für ein vollwertiges CoE zu klein ist, hat andere Optionen. Eine zentrale KI-Verantwortliche innerhalb der IT, mit ein bis zwei Mitarbeitenden und einem klaren Mandat, leistet in mittelständischen Unternehmen oft genauso viel wie ein dreifach so großes CoE. Der Unterschied ist nicht die Substanz, sondern die organisatorische Verankerung.

Eine weitere Option ist die externe CoE-Funktion — ein dauerhafter Beratungspartner, der die strategische und architektonische Verantwortung übernimmt, während eine interne Person die Koordination und Anbindung an die Fachbereiche leistet. Diese Konstellation funktioniert für Mittelständler zwischen 100 und 300 Millionen Euro Jahresumsatz oft besser als ein selbstaufgebautes CoE.

Wichtig ist die ehrliche Selbsteinschätzung. Wer keine fünfzehn bis zwanzig Anwendungsfälle im Backlog hat, hat keinen Bedarf für ein CoE — egal wie attraktiv die Bezeichnung klingt. Wer einen CoE aufbaut, um den Beratern auf dem Branchenkongress imponieren zu können, baut eine teure Symbolstruktur. Die wirksame Frage lautet immer: Welches Problem soll der CoE konkret lösen — und ist dieses Problem groß genug, um die Struktur zu rechtfertigen?

Wann der Aufbau scheitert — und was Sie tun können.

Drei Muster führen besonders zuverlässig zum Scheitern eines CoE. Wer sie kennt, kann gegensteuern.

Erstes Muster: Aufbau ohne Mandat. Das CoE wird gegründet, aber die Geschäftsführung gibt ihm nicht das nötige Mandat. Es darf priorisieren, aber nicht entscheiden. Es darf empfehlen, aber nicht durchsetzen. Bereichsleiter ignorieren das CoE höflich und kaufen weiter ihre eigenen Tools. Nach 18 Monaten ist das CoE entkernt. Gegenmittel: Vor dem Aufbau klare Befugnisse mit der Geschäftsführung vereinbaren — schriftlich. Welche Entscheidungen muss das CoE treffen? Welche Verbindlichkeit haben seine Standards?

Zweites Muster: Personenabhängigkeit. Das CoE ist faktisch eine Person — der CoE-Leiter — und das Wissen liegt in seinem Kopf. Wenn er wechselt, was nach 24 bis 36 Monaten oft passiert, beginnt vieles von vorn. Gegenmittel: Vom ersten Tag an Dokumentation, Redundanz und Stellvertretung systematisch aufbauen. Der CoE-Leiter soll Wissen verteilen, nicht horten.

Drittes Muster: Falsche KPIs. Das CoE wird auf Output gemessen — Anzahl Projekte, Anzahl Anwendungsfälle, Anzahl Schulungen. Es liefert die Zahlen, aber die Wirkung bleibt aus. Gegenmittel: Outcome-orientierte KPIs vereinbaren — eingesparte Arbeitszeit, qualitative Verbesserungen, gewonnene Kunden. Diese Messung ist schwieriger, aber sie zeigt den wirklichen Wert. Wer das im ersten Jahr klärt, schützt das CoE vor jahrelangem Aktionismus ohne sichtbares Ergebnis.

Sie überlegen, ob ein KI Center of Excellence für Ihr Unternehmen das richtige Modell ist? Unverbindlich anfragen — wir gehen gemeinsam Ihre Unternehmensgröße, Anwendungsfälle und strategische Ausrichtung durch — und benennen, welche Organisationsform realistisch trägt.