7. Juni 2026·7 Min. Lesezeit

Die KI-Richtlinie fürs Unternehmen: Was wirklich reingehört

Sieben Bausteine, zwei Seiten, eine Ampel für Datenklassen. Was eine interne KI-Richtlinie regeln muss, was man sich sparen kann und wie die KI-Kompetenzpflicht nach Artikel 4 dazu passt.

Compliance Strategie Mittelstand

Warum braucht ein Unternehmen überhaupt eine schriftliche KI-Richtlinie?

Laut ifo Institut nutzen 54,5 Prozent der Unternehmen in Deutschland künstliche Intelligenz, nach 40,9 Prozent im Vorjahr. Bei kleinen Unternehmen sind es 51,2 Prozent, bei mittleren 47,2 Prozent. Ohne schriftliche Regel entscheidet damit in gut jedem zweiten Betrieb jeder Mitarbeiter selbst, welche Daten er in welches Werkzeug tippt.

Die Zahlen des ifo Instituts stammen aus einer Umfrage vom Mai 2026 und zeigen einen Sprung von rund 14 Prozentpunkten innerhalb eines Jahres. Große Unternehmen liegen mit 67,2 Prozent vorn, aber der Abstand schrumpft. In der Praxis heißt das: KI ist längst im Haus, meistens bevor jemand darüber entschieden hat. Sie kommt über private Accounts, über Browser-Erweiterungen und über Funktionen, die Softwareanbieter still in bestehende Produkte einbauen.

Genau hier setzt eine Richtlinie an, und zwar nicht als Verbotskatalog. Wer den Einsatz pauschal untersagt, bekommt keine Kontrolle, sondern nur unsichtbare Nutzung, wie der Artikel zu Schatten-KI im Unternehmen im Detail zeigt. Eine gute Richtlinie beantwortet stattdessen die Frage, die Mitarbeiter tatsächlich haben: Darf ich das hier reinkopieren, ja oder nein?

Dass die Unsicherheit real ist, belegt die Erhebung des Statistischen Bundesamts für 2025. Unter den Unternehmen, die keine KI einsetzen, nennen 72 Prozent fehlendes Wissen als Hemmnis, 62 Prozent unklare Rechtsfolgen und 60 Prozent Datenschutzbedenken. Eine Richtlinie räumt genau diese drei Punkte aus, wenn sie konkret genug formuliert ist. Zwei gelesene Seiten schlagen dabei jedes 30-seitige Dokument, das im Intranet verstaubt und im Zweifel niemandem eine Antwort gibt.

Welche Bausteine gehören in die Richtlinie?

Sieben Bausteine reichen für ein KMU aus: Geltungsbereich, Datenklassen mit Ampel-Logik, freigegebene Werkzeuge, Kennzeichnung von KI-erzeugten Inhalten, menschliche Kontrolle bei Entscheidungen, Meldeweg bei Fehlern sowie Schulung und Nachweis. Auf zwei Seiten formuliert deckt das den Alltag ab, ohne dass eine Rechtsabteilung nötig wäre.

Baustein	Was geregelt wird
Geltungsbereich	Für wen gilt die Richtlinie: Festangestellte, Werkstudenten, Freelancer, externe Dienstleister. Und für welche Systeme, inklusive privater Accounts auf Firmengeräten.
Datenklassen	Drei Stufen nach Ampel-Logik. Welche Daten dürfen in eine externe Cloud, welche nur auf lokale Systeme, welche in gar kein KI-System.
Freigegebene Werkzeuge	Eine namentliche Positivliste der erlaubten Dienste inklusive Versionsstand. Alles, was nicht auf der Liste steht, braucht eine Freigabe.
Kennzeichnung	Wann KI-erzeugte Inhalte intern oder gegenüber Kunden kenntlich gemacht werden müssen. Insbesondere bei Texten, Bildern und Bewerberkommunikation.
Menschliche Kontrolle	Welche Entscheidungen nie allein auf einem KI-Ergebnis beruhen dürfen. Personalauswahl, Kündigungen, Kreditvergabe, medizinische oder rechtliche Einschätzungen.
Meldeweg	An wen sich Mitarbeiter wenden, wenn versehentlich sensible Daten in ein Werkzeug geraten sind. Mit der ausdrücklichen Zusage, dass eine Meldung keine Sanktion auslöst.
Schulung und Nachweis	Wer wann geschult wird, mit welchem Inhalt, und wo die Teilnahme dokumentiert ist.

Die Ampel ist das Herzstück, weil sie die einzige Regel enthält, die im Alltag wirklich abgefragt wird. Rot sind Daten, die in kein KI-System gehören: Gesundheitsdaten, Personalakten, Mandanten- und Patienteninformationen sowie alles, was unter eine berufliche Schweigepflicht fällt. Bei Berufsgeheimnisträgern nach Paragraf 203 StGB ist die Weitergabe an Dritte nicht nur ein Datenschutzthema, sondern strafbewehrt. Gelb sind Daten, die intern bleiben müssen und deshalb nur auf lokal betriebenen Modellen verarbeitet werden dürfen: Angebote, Kalkulationen, interne E-Mails, Vertragsentwürfe. Grün ist alles ohne Personenbezug und ohne Geschäftsgeheimnis, etwa allgemeine Recherche, Formulierungshilfen oder öffentlich verfügbare Informationen.

Diese Klassifizierung muss nicht perfekt sein, sie muss entscheidbar sein. Ein Satz pro Stufe mit drei bis fünf typischen Beispielen aus dem eigenen Geschäft ist mehr wert als eine vollständige Taxonomie. Wer die Einordnung sauber vorbereiten will, findet die datenschutzrechtliche Grundlage im Artikel zur DSGVO-konformen KI-Nutzung.

Sparen kann man sich fast alles andere. Eine Definition von maschinellem Lernen, ein Abriss zur Geschichte der KI, eine Aufzählung sämtlicher Risikoklassen der KI-Verordnung, ein Glossar mit 40 Einträgen: Das steht in vielen Mustervorlagen und wird von niemandem gelesen. Ebenso überflüssig ist eine Liste verbotener Anbieter, die schon beim nächsten Produktrelease veraltet ist. Eine Positivliste mit einem Freigabeprozess bleibt aktuell, eine Negativliste nie.

Was verlangt die KI-Kompetenzpflicht nach Artikel 4 wirklich?

Artikel 4 der EU-KI-Verordnung verpflichtet Anbieter und Betreiber seit dem 2. Februar 2025, "nach besten Kräften" für ein ausreichendes Maß an KI-Kompetenz beim eigenen Personal zu sorgen. Es gibt keine Ausnahme für kleine Unternehmen, aber auch kein vorgeschriebenes Zertifikat, keine Mindeststundenzahl und kein Pflichtformat.

Viele deutsche Ratgeber stellen die Vorschrift als harte Nachweispflicht mit externer Zertifizierung dar. Das gibt der Wortlaut nicht her. Die Norm verlangt Maßnahmen, die dem technischen Vorwissen, der Erfahrung und dem konkreten Einsatzkontext der betroffenen Personen angemessen sind. Ein Handwerksbetrieb, in dem drei Personen ein Sprachmodell für Angebotstexte nutzen, schuldet etwas anderes als ein Softwarehaus, das ein eigenes Modell in ein Produkt einbaut.

Das FAQ der EU-Kommission zur KI-Kompetenz ist an diesem Punkt ungewöhnlich deutlich. Ein Zertifikat sei nicht erforderlich, Organisationen könnten interne Aufzeichnungen über Schulungen und andere Maßnahmen führen. Ein Standardformat gebe es nicht, weil es bei KI-Kompetenz keine Lösung von der Stange geben könne. Zuständig für die Durchsetzung sind die nationalen Marktüberwachungsbehörden, deren Befugnisse ab dem 2. August 2026 greifen. Die Pflicht selbst gilt aber bereits seit Februar 2025.

In Bewegung ist die Sache trotzdem. Der Digital Omnibus on AI sieht vor, Artikel 4 abzuschwächen und die Erfolgspflicht der Unternehmen in eine reine Bemühens- und Förderpflicht zu überführen, bei der Mitgliedstaaten und Kommission stärker in die Verantwortung genommen werden. Rat, Parlament und Kommission haben sich am 7. Mai 2026 vorläufig geeinigt. Final ist das nicht: Die Einigung muss noch formell von Parlament und Rat bestätigt werden, und der endgültige Wortlaut steht noch aus. Für die Planung heißt das schlicht, dass die Anforderungen eher sinken als steigen dürften. Ein Unternehmen, das seine Leute jetzt schult, arbeitet in keinem Szenario umsonst. Wie sich KI-Verordnung und Datenschutzrecht insgesamt überlagern, ordnet der Artikel zu EU AI Act und DSGVO ein.

Was reicht als Nachweis, und wie fängt man an?

Als Nachweis genügen drei Dinge: die dokumentierten Schulungsinhalte, eine Teilnehmerliste mit Datum und Unterschrift sowie eine kurze Lernkontrolle, die zeigt, dass der Inhalt angekommen ist. Eine Inhouse-Schulung von 60 bis 90 Minuten erfüllt das. Externe Anbieter sind zulässig, aber nirgends vorgeschrieben.

Die Lernkontrolle ist der Teil, den die meisten weglassen, und der günstigste Teil von allen. Zehn Fragen zur eigenen Ampel-Logik, direkt nach der Schulung beantwortet, belegen den Lernerfolg besser als jede Teilnahmebestätigung. Wenn dabei auffällt, dass die Hälfte der Belegschaft eine Datenklasse falsch einordnet, ist die Richtlinie an dieser Stelle zu unscharf formuliert, und man erfährt es vor dem Schadensfall statt danach.

Für den Einstieg muss niemand bei null anfangen. Die IHK Schwaben stellt eine Muster-KI-Richtlinie kostenfrei bereit, die Gesellschaft für Datenschutz und Datensicherheit bietet eine betriebliche Musterrichtlinie an, und der Umsetzungsleitfaden zur KI-Verordnung von Bitkom ordnet die Pflichten entlang der Risikoklassen. Alle drei sind Orientierungshilfen und kein fertiges Dokument: Die Datenklassen und die Werkzeugliste kann nur das Unternehmen selbst füllen, weil nur dort bekannt ist, welche Daten wirklich anfallen.

Praktisch funktioniert folgende Reihenfolge. Zuerst eine Woche lang erfassen, welche KI-Werkzeuge tatsächlich im Einsatz sind, ohne Konsequenzen für die Nennung. Dann die Ampel mit echten Beispielen aus dem eigenen Geschäft befüllen. Danach die sieben Bausteine auf zwei Seiten schreiben, in derselben Sprache, in der sonst intern kommuniziert wird. Zum Schluss die Schulung terminieren und die Richtlinie dort verteilen, wo Mitarbeiter ohnehin nachsehen. Wenn du an einer Stelle länger als eine Stunde diskutierst, ist die Regel zu fein und gehört vereinfacht.

Fazit

Eine ausführliche Richtlinie hat ihre Berechtigung. Wer Hochrisiko-Systeme betreibt, mit besonderen Datenkategorien arbeitet oder in einer regulierten Branche unterwegs ist, kommt um Detailtiefe und juristische Prüfung nicht herum. Für diese Fälle ist ein knappes Papier zu wenig.

Für die große Mehrheit der kleinen und mittleren Unternehmen gilt das Gegenteil. Dort scheitert Compliance nicht an fehlender Tiefe, sondern daran, dass niemand weiß, was gilt. Die entscheidende Kennzahl ist nicht der Umfang des Dokuments, sondern der Anteil der Belegschaft, der die Ampel-Logik im Kopf hat und im Zweifel richtig entscheidet.

Der Zeitpunkt spricht dafür, es jetzt zu erledigen. Die Kompetenzpflicht gilt seit Februar 2025, die Marktüberwachungsbehörden werden ab dem 2. August 2026 zuständig, und die Schulung samt Dokumentation ist in wenigen Wochen aufgesetzt. Was danach kommt, sind Ergänzungen. Was jetzt fehlt, ist ein Risiko, das mit jedem neuen Werkzeug im Haus wächst.

Dieser Artikel dient der allgemeinen Information und stellt keine Rechtsberatung dar. Für die konkrete Ausgestaltung einer KI-Richtlinie und die Bewertung des eigenen Compliance-Bedarfs sollte fachkundiger Rat eingeholt werden.

Quellen

Du möchtest KI in deinem Unternehmen einsetzen, ohne Cloud und ohne Abo? Schreib uns oder erfahre mehr über Ara OS.