Edge AI erklärt: Wie lokale KI-Hardware funktioniert

Was ist Edge AI und warum gehört KI nicht immer in die Cloud?

Edge AI bedeutet, dass künstliche Intelligenz direkt auf lokaler Hardware im Unternehmen läuft, statt in der Cloud. Ein KI-Modell wird einmal trainiert und dann auf kompakte Geräte wie NVIDIA Jetson übertragen, wo es Daten vor Ort verarbeitet -- ohne Internetverbindung und ohne dass Daten das Gebäude verlassen.

Wenn die meisten Menschen an künstliche Intelligenz denken, denken sie an ChatGPT, Google Gemini oder Claude. Dienste, die auf riesigen Rechenzentren laufen, Hunderte Megawatt Strom verbrauchen und Daten über den halben Globus schicken. Das ist die eine Hälfte der Geschichte.

Die andere Hälfte spielt sich auf kompakter Hardware ab, die auf einen Schreibtisch passt, weniger Strom verbraucht als ein Wasserkocher und Daten verarbeitet, ohne dass sie das Gebäude verlassen. Diese andere Hälfte heißt Edge AI. Sie verändert gerade die Art, wie Unternehmen KI einsetzen.

Edge AI bedeutet, dass künstliche Intelligenz direkt dort läuft, wo die Daten entstehen: am „Rand" (Edge) des Netzwerks. Statt Daten an ein Rechenzentrum zu schicken und auf eine Antwort zu warten, verarbeitet ein lokales Gerät die Anfrage selbst. Das Grundprinzip ist einfach: Ein KI-Modell wird einmal trainiert (das passiert weiterhin auf großen Servern) und dann auf lokale Hardware übertragen. Dort führt es sogenannte Inferenz durch, es wendet das Gelernte auf neue Daten an.

Für die allermeisten Unternehmensanwendungen brauchst du kein Training. Du brauchst Inferenz: Texte zusammenfassen, Dokumente analysieren, E-Mails beantworten, Daten extrahieren. Und die läuft längst auf Hardware, die in ein Bücherregal passt.

Dass das kein Nischentrend ist, zeigen die Marktdaten deutlich. Von knapp einer Milliarde auf über drei Milliarden Dollar in sechs Jahren: Das ist eine Verschiebung, keine Randerscheinung. Und die Gründe dafür sind handfest: Datenschutz, Kosteneffizienz bei hohem Volumen und regulatorische Anforderungen treiben immer mehr Unternehmen in Richtung lokaler Verarbeitung.

Was das technisch möglich macht, ist die Open-Source-Revolution der letzten zwei Jahre. Modelle wie Llama 3 von Meta, Mistral aus Frankreich, Qwen 2.5 von Alibaba und Googles Gemma 2 erreichen für typische Business-Aufgaben 90 bis 95 Prozent der Qualität kommerzieller Cloud-Dienste. Sie sind kostenlos, frei verfügbar und können lokal betrieben werden.

Die Zahl hinter dem Namen (8B, 70B) steht für die Anzahl der Parameter in Milliarden. Mehr Parameter bedeuten in der Regel bessere Qualität, aber auch höhere Hardware-Anforderungen. Und genau hier wird es spannend.

Welche Hardware und Modelle braucht man für Edge AI?

Fuer Edge AI braucht man spezialisierte Hardware wie die NVIDIA Jetson-Serie sowie quantisierte Open-Source-Modelle. Durch Quantisierung wird der Speicherbedarf eines Modells um den Faktor 4 gesenkt, bei minimalem Qualitaetsverlust -- so passen selbst 70-Milliarden-Parameter-Modelle auf kompakte Geraete mit 32 bis 64 GB Arbeitsspeicher.

Ein 70-Milliarden-Parameter-Modell braucht in voller Präzision über 140 GB Arbeitsspeicher. Das ist selbst für leistungsstarke Hardware zu viel. Die Lösung heißt Quantisierung: eine Technik, die die Präzision der Gewichte reduziert, zum Beispiel von 16 Bit auf 4 Bit, und damit den Speicherbedarf um den Faktor 4 senkt, bei minimalem Qualitätsverlust.

In der Praxis funktioniert das erstaunlich gut. Ein quantisiertes 70B-Modell mit Q4-Kompression passt in 35 GB Speicher und liefert dabei 96 Prozent der Qualität des vollen Modells. Für Aufgaben wie Textzusammenfassung, Datenextraktion oder E-Mail-Entwürfe ist der Unterschied kaum messbar. Erst bei sehr aggressiver Kompression (Q3 und darunter) werden die Qualitätseinbußen spürbar.

Edge AI braucht spezialisierte Hardware. Normale Büro-PCs haben weder die GPU-Leistung noch ausreichend schnellen Arbeitsspeicher. Die führende Plattform kommt von NVIDIA: die Jetson-Serie. Seit Anfang 2025 gibt es den Jetson Orin Nano Super mit 67 TOPS Rechenleistung für nur 249 Dollar, ein deutlicher Sprung gegenüber dem Vorgänger (40 TOPS).

Zum Vergleich: Eine NVIDIA H100, wie sie in Cloud-Rechenzentren steht, verbraucht 700 Watt, eine einzige Karte. Ein Jetson AGX Thor leistet für typische Inferenz-Aufgaben Vergleichbares bei einem Bruchteil des Stromverbrauchs.

Der wichtigste Faktor ist dabei nicht die reine Rechenleistung, sondern der Arbeitsspeicher (VRAM). Das gesamte Modell muss in den Speicher geladen werden, bevor es antworten kann. Als Faustregel: 8 GB reichen für kleine Modelle (7 bis 8B, quantisiert) und einzelne Aufgaben. 32 bis 64 GB ermöglichen mittlere bis große Modelle (30 bis 70B, quantisiert) im Unternehmenseinsatz. 128 GB erlauben mehrere große Modelle gleichzeitig oder sehr große Modelle in hoher Qualität.

Was sind die Vor- und Nachteile von Edge AI gegenüber Cloud AI?

Edge AI bietet volle Datenkontrolle, DSGVO-Konformität und planbare Fixkosten, ist aber durch den lokalen Speicher in der Modellgröße begrenzt. Cloud AI skaliert nahezu unbegrenzt und ist bei geringem Volumen günstiger, erfordert jedoch Datenübermittlung an Dritte und verursacht laufende, nutzungsabhängige Kosten. In der Praxis setzen die meisten Unternehmen auf einen Hybrid-Ansatz, der beide Stärken kombiniert.

Weder Edge AI noch Cloud AI ist pauschal besser. Beide Ansätze haben klare Stärken und Grenzen, und die richtige Wahl hängt vom konkreten Anwendungsfall ab.

Beim Thema Kosten wird es besonders interessant. Cloud-KI-Preise liegen je nach Anbieter zwischen 0,15 und 15 US-Dollar pro Million Tokens. Für ein Unternehmen, das KI für Dokumentenverarbeitung, E-Mail-Entwürfe und interne Recherche nutzt, kommen schnell 5 bis 15 Millionen Tokens pro Monat zusammen. Bei geringem Volumen ist Cloud günstiger: Die Hardware-Investition lohnt sich schlicht nicht. Ab etwa 10 Millionen Tokens pro Monat dreht sich das Verhältnis: Die fixen Kosten der lokalen Hardware bleiben konstant, während Cloud-Kosten linear steigen.

Für ein Unternehmen mit 10 bis 50 Mitarbeitern, das KI aktiv nutzt, liegt der Break-even typischerweise bei 1 bis 6 Monaten nach Anschaffung. Ab dann läuft die lokale Hardware im Vorteil, und der Abstand wächst mit jedem Monat.

Nicht eingepreist ist dabei der Wert von Datenschutz-Konformität: kein DPIA-Aufwand für Cloud-Dienste, kein Risiko bei einem möglichen Schrems-III-Urteil, keine Abhängigkeit von US-Anbietern. Das lässt sich schwer in Euro beziffern, ist aber für viele Unternehmen der eigentliche Entscheidungsfaktor.

Edge AI ist besonders sinnvoll, wenn Datenschutz kritisch ist: Kanzleien, Arztpraxen, Steuerberater, Finanzdienstleister. Oder wenn vorhersehbare Workloads vorliegen: Rechnungsverarbeitung, Angebotskalkulationen, Dokumentenanalyse. Auch wenn Unabhängigkeit gewünscht ist (kein Vendor Lock-in, keine plötzlichen Preiserhöhungen), spricht vieles für lokal.

Weniger sinnvoll ist Edge AI bei gelegentlicher Nutzung, wenn maximale Modellgröße nötig ist (die größten Modelle laufen nicht auf Edge-Hardware), bei stark schwankendem Bedarf oder wenn tagesaktuelles Weltwissen entscheidend ist.

In der Praxis setzen die meisten Unternehmen auf eine Kombination: 78 Prozent der Unternehmen, die Edge AI evaluieren, planen einen Hybrid-Ansatz. Sensible Daten lokal verarbeiten, unkritische Aufgaben in der Cloud. Das ist kein Entweder-oder. Ein Steuerberater kann Mandantenakten lokal analysieren lassen und gleichzeitig einen Cloud-Dienst für allgemeine Recherchefragen nutzen.

Fazit

Gartner prognostiziert, dass bis 2026 über 80 Prozent der Unternehmen generative KI-Modelle in Edge-Umgebungen einsetzen werden, gegenüber weniger als 1 Prozent in 2023. Die Gründe sind klar: Datenschutz, Kosten, Unabhängigkeit. Und die technischen Hürden sinken mit jedem Quartal.

Edge AI ersetzt die Cloud nicht. Aber sie gibt Unternehmen eine Wahl. Und für alle, die mit sensiblen Daten arbeiten, regulatorische Anforderungen erfüllen müssen oder die Kontrolle über ihre KI-Infrastruktur behalten wollen, ist diese Wahl längst keine Zukunftsmusik mehr.

Die Technologie ist da. Die Modelle sind da. Die Hardware ist da. Die Frage ist nicht mehr ob, sondern wie schnell du sie nutzt.

Quellen

1. Statista: Edge AI Markt Deutschland (2024-2030)
2. NVIDIA Jetson Plattform
3. Meta Llama 3
4. Mistral AI
5. Qwen 2.5 (Alibaba)
6. Google Gemma 2
7. GPTQ Quantization Paper (arXiv)
8. IDC: Edge AI Market Report
9. Gartner: What is Edge AI?