Lokale KI einführen: Schritt für Schritt

Lokale KI führst du in fünf Schritten ein: eine Aufgabe wählen, mit Beispieldaten prüfen, ob ein lokales Modell sie löst, Server und Modell festlegen, Regeln und Rechte schreiben und dann den Betrieb mit Sicherung und Updates klären. Lokal heißt dabei, dass das Sprachmodell auf einem Server im Büro rechnet statt bei einem Cloud-Anbieter. Wie lange das dauert, hängt vom Betrieb und von der Aufgabe ab; eine Zahl dazu nennen wir bewusst nicht.

Welche Aufgabe eignet sich für den Anfang?

Eine, die regelmäßig anfällt, klar abgegrenzt ist und deren Ergebnis ein Mensch schnell prüfen kann. Typisch sind Post oder Anfragen einordnen, einen Entwurf aus einer Notiz vorbereiten oder Angaben aus Dokumenten in eine Übersicht übernehmen. Weniger geeignet sind Aufgaben, bei denen ein Fehler teuer wird und niemand das Ergebnis liest.

Hilfreich ist die Gegenfrage: Was würde eine neue Kollegin am ersten Tag erledigen, wenn man ihr ein gutes Beispiel zeigt? Genau so eine Aufgabe passt für den Anfang.

Wie prüfst du, ob ein lokales Modell reicht?

Mit Beispieldaten, bevor echte Daten im Spiel sind. Die größten Cloud-Modelle sind stärker als die offenen Modelle, die auf einen Server im Büro passen. Ob der Abstand für deine Aufgabe zählt, zeigt nur ein Versuch: zehn bis zwanzig typische Fälle, ohne Namen und ohne Personenbezug, und ein Mensch, der die Ergebnisse bewertet.

Für einen ersten Versuch reicht ein Rechner mit einem Werkzeug wie Ollama. Ollama schreibt selbst: „Ollama runs locally. We don't see your prompts or data when you run locally." Ollama bietet inzwischen aber auch Modelle in der Cloud an; für einen lokalen Versuch muss also ein lokal laufendes Modell gewählt sein.

Welche Hardware braucht ein Server für lokale KI?

Entscheidend ist der Speicher: Das Modell muss vollständig hineinpassen. NVIDIA gibt für den DGX Spark bis zu 128 GB Unified Memory an und schreibt, dass sich damit Modelle mit bis zu 200 Milliarden Parametern ausführen lassen. Das Gerät misst laut NVIDIA 150 mal 150 mal 50,5 Millimeter.

Wie schnell es für mehrere Personen antwortet, folgt daraus nicht. Ein Server rechnet eine Anfrage nach der anderen; wer später fragt, wartet. Gemessen haben wir das bisher am NVIDIA Jetson AGX Orin mit dem Standardmodell von Arasul: Bei zwölf Personen mit üblicher Nutzung kam die fertige Antwort typisch nach 16 Sekunden, in 95 von 100 Fällen nach weniger als 35 Sekunden; fragen alle zwölf zugleich, wartet die letzte rund drei Minuten. Was der Server kostet und ab wann er sich gegen die Cloud rechnet, steht in der Kostenrechnung.

Was verlangen KI-Verordnung und DSGVO?

Zwei Pflichten betreffen fast jeden Betrieb. Die erste ist die KI-Kompetenz nach Art. 4 der KI-Verordnung (EU) 2024/1689. Sie gilt seit dem 2. Februar 2025 und ist seit dem 27. Juli 2026 neu gefasst. In der aktuellen Fassung heißt es, Anbieter und Betreiber von KI-Systemen „ergreifen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen", die mit dem Betrieb und der Nutzung befasst sind; die Pflicht verpflichtet nicht dazu, „für irgendeine Person ein bestimmtes Niveau an KI-Kompetenz zu garantieren". Praktisch heißt das: Wer mit der KI arbeitet, wird eingewiesen, und das wird festgehalten.

Die zweite ist die Datenschutz-Folgenabschätzung nach Art. 35 DSGVO. Sie ist nötig, wenn eine Verarbeitung, „insbesondere bei Verwendung neuer Technologien", voraussichtlich ein hohes Risiko für die Rechte und Freiheiten von Personen hat; ausdrücklich genannt ist die umfangreiche Verarbeitung besonderer Kategorien wie Gesundheitsdaten. Ob sie für deinen Fall nötig ist, klärt dein Datenschutzbeauftragter. Für Kanzleien und Praxen kommt die Schweigepflicht dazu; was dabei gilt, steht im Beitrag zur ChatGPT-Alternative für Kanzlei und Praxis.

Lokal zu rechnen nimmt diese Pflichten nicht weg. Es kann aber eine Frage erledigen, die bei Cloud-Diensten viel Aufwand macht: Für das Modell selbst gibt es keinen Auftragsverarbeiter und kein Drittland.

Wer darf was sehen, und was geht raus?

Lege fest, wer sich anmeldet, wer welche App sieht und wer freigibt, bevor eine KI etwas abschickt. Schreib auf, welche Daten in welches System dürfen; eine kurze KI-Richtlinie reicht dafür.

Bei lokaler KI heißt das vor allem: Du bestimmst, was rausgeht. Bei Arasul erreicht eine App das Internet nur über den Ausgang, zu Zielen, die eingetragen sind, und der Admin sieht, was genutzt und was abgewiesen wurde. Was ein KI-Werkzeug wie Claude Code beim Bauen einer App zu lesen bekommt, legst du über die Rechte am Firmenordner fest; zum Bauen reichen Beispieldaten ohne Personenbezug. Ein Versprechen, dass nie etwas das Haus verlässt, wäre bei jedem Werkzeug, das in der Cloud arbeitet, falsch.

Wer betreibt den Server danach?

Ein Server im Büro braucht, was jeder Server braucht: Sicherung, Updates und jemanden, der weiß, wie man zurückkommt. Bei Arasul läuft die Sicherung jede Nacht verschlüsselt auf eine angesteckte SSD, und ein Update spielt der Admin mit einem Knopf ein, mit Sicherung vorher und Weg zurück. Neue Fassungen gibt es mit der freiwilligen Wartung.

Wer das nicht selbst machen will, holt sich einen Dienstleister. Für Kanzleien und Praxen gilt: Wer aus der Ferne Zugriff hat, wirkt an der Berufstätigkeit mit und muss zur Verschwiegenheit verpflichtet werden.

Checkliste

• Eine Aufgabe gewählt, die regelmäßig anfällt und deren Ergebnis ein Mensch prüft
• Mit Beispieldaten geprüft, ob ein lokales Modell sie gut genug löst
• Server nach Speicher gewählt, Wartezeit bei mehreren Nutzern bedacht
• Einweisung nach Art. 4 KI-Verordnung festgehalten, Datenschutz-Folgenabschätzung geprüft
• Rollen, Freigaben und Regeln für Daten aufgeschrieben, festgelegt, was rausgeht
• Sicherung, Updates und Zuständigkeit für den Betrieb geklärt

Dieser Artikel dient der allgemeinen Information und ist keine Rechtsberatung.

Quellen

Alle Seiten abgerufen am 30.10.2026.

1. Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung vom 27.07.2026, Art. 4 und Art. 113
2. DSGVO, Art. 35
3. Ollama: FAQ
4. NVIDIA: DGX Spark, Spezifikation
5. § 203 StGB