KI-Hardware für Unternehmen: Welche Box für wie viele Mitarbeiter?

Warum sagen TOPS so wenig über die tatsächliche Geschwindigkeit?

TOPS messen theoretische Rechenleistung, nicht die Geschwindigkeit beim Erzeugen von Text. NVIDIA bewirbt den DGX Spark mit 1.000 TOPS, ein Mini-PC mit AMD Ryzen AI Max+ 395 bringt rund 50 TOPS in seiner NPU mit. Beim selben Sprachmodell liegt der Spark trotzdem nur rund 13 Prozent vorn.

Die Zahl, mit der Hersteller werben, ist fast immer eine Rechenleistung: Tera Operations Per Second, also Billionen Rechenoperationen je Sekunde. Sie klingt aussagekräftig, weil sie groß ist und sich leicht vergleichen lässt. Für die Frage, wie schnell ein Mitarbeiter eine Antwort auf dem Bildschirm sieht, ist sie in vielen Fällen jedoch die falsche Kennzahl. Der Grund liegt darin, dass ein Sprachmodell zwei sehr unterschiedliche Arbeitsphasen durchläuft, und nur eine davon ist wirklich rechenlastig.

Ein direkter Vergleich macht das deutlich. Die Messungen von Hardware Corner zeigen für das offene Modell gpt-oss-120b, dass der DGX Spark 38,55 Token pro Sekunde erzeugt, ein Strix-Halo-System 34,13. Das sind rund 13 Prozent Unterschied, obwohl die beworbene Rechenleistung um den Faktor zwanzig auseinanderliegt. Beim Verarbeiten der Eingabe dreht sich das Bild komplett: Dort schafft der Spark 1.723 Token pro Sekunde gegenüber 340, also gut das Fünffache.

Der Mechanismus dahinter ist unspektakulär, sobald man ihn einmal gesehen hat. Beim Lesen des Prompts arbeitet die Hardware an allen Token gleichzeitig, sie kann die Rechenwerke also voll auslasten. Hier zählt Rechenleistung, und hier spielt der Spark seine Tensor-Kerne aus. Beim Schreiben der Antwort entsteht dagegen ein Token nach dem anderen, und für jedes einzelne Token muss das gesamte aktive Modell einmal komplett durch den Speicher gelesen werden, bei sehr wenig Rechenarbeit pro gelesenem Byte. In dieser Phase wartet der Prozessor auf den Speicher, nicht umgekehrt.

Daraus folgt eine praktische Konsequenz für die Auswahl. Wer vor allem chattet, kurze E-Mails entwerfen lässt oder Textbausteine erzeugt, merkt zwischen den beiden Geräten kaum einen Unterschied. Wer dagegen lange Dokumente, Vertragsakten oder ganze Wissensdatenbanken in den Kontext gibt, spürt den Faktor fünf bei jedem einzelnen Durchgang. Welches Modell dabei überhaupt sinnvoll ist, hängt stark vom Anwendungsfall ab, ein Überblick dazu steht im Vergleich offener Sprachmodelle für eigene Hardware.

Wie lässt sich die Geschwindigkeit vorab selbst ausrechnen?

Für das Erzeugen von Text gilt eine einfache Faustformel: maximale Token pro Sekunde entspricht ungefähr der Speicherbandbreite in GB/s geteilt durch die aktive Modellgröße in GB. In der Praxis erreichen Systeme 60 bis 80 Prozent dieses theoretischen Werts, weil Kernel, Treiber und Kontextverwaltung Reibung erzeugen.

Der Rechenweg ist damit für jeden nachvollziehbar, der zwei Zahlen kennt. Ein Modell mit 70 Milliarden Parametern belegt in 4 Bit quantisiert rund 40 GB. Ein Strix-Halo-System mit den von AMD angegebenen 256 GB/s käme rechnerisch auf 6,4 Token pro Sekunde, gemessen werden rund 4,5. Ein Mac Studio mit M3 Ultra und 819 GB/s läge theoretisch bei etwa 20, real werden 16 bis 22 berichtet. Die Formel trifft also nicht auf die Kommastelle, aber sie trifft die Größenordnung, und mehr braucht eine Kaufentscheidung selten.

Die letzte Zeile zeigt die Grenze der Formel. Eine RTX 5090 hat nach Angaben von NVIDIA 1.792 GB/s und wäre damit rechnerisch das schnellste Gerät der Tabelle. Sie besitzt aber nur 32 GB Speicher, und ein 40-GB-Modell passt schlicht nicht hinein. Sobald ein Modell nicht mehr vollständig in den schnellen Speicher passt, bricht die Geschwindigkeit um ein bis zwei Größenordnungen ein, weil Teile über die deutlich langsamere PCIe-Anbindung nachgeladen werden müssen. Kapazität schlägt Bandbreite, sobald die Kapazität nicht reicht.

Ebenfalls wichtig ist der Zusatz "aktiv" in der Formel. Moderne Mixture-of-Experts-Modelle laden zwar das gesamte Modell in den Speicher, rechnen pro Token aber nur mit einem Bruchteil der Parameter. Genau deshalb läuft ein 120-Milliarden-Modell wie gpt-oss-120b auf beiden Testgeräten mit über 30 Token pro Sekunde, während ein dichtes 70-Milliarden-Modell dort nur rund 5 schafft. Für die Auslegung heißt das: Der Speicher muss für das ganze Modell reichen, die Geschwindigkeit richtet sich nach dem aktiven Teil. Die grundsätzliche Einordnung, warum lokale Verarbeitung überhaupt eine eigene Kategorie ist, steht in der Einführung zu Edge AI.

Welche Box passt zu wie vielen Mitarbeitern?

Die Zuordnung folgt weniger der Mitarbeiterzahl auf dem Papier als der Zahl gleichzeitiger Anfragen. Als grobe Orientierung gilt: Ein Strix-Halo-Mini-PC trägt 1 bis 3 aktive Nutzer, ein DGX Spark 3 bis 10, eine Workstation mit Profi-GPU 10 bis 30. Darüber beginnt der Serverbereich.

Erfahrungsgemäß nutzt nur ein Bruchteil eines Teams die KI gleichzeitig. In einem Büro mit zehn Personen laufen selbst in Spitzenzeiten selten mehr als zwei oder drei Anfragen parallel, weil zwischen Frage und nächster Frage gelesen, geprüft und gearbeitet wird. Wer die Hardware nach Kopfzahl statt nach Gleichzeitigkeit dimensioniert, kauft regelmäßig eine Klasse zu groß. Umgekehrt gilt: Sobald automatisierte Workflows im Hintergrund laufen, etwa nächtliche Dokumentenverarbeitung, steigt die Dauerlast unabhängig von der Teamgröße deutlich an.

Die Preisspannen sind ausdrücklich Schätzungen. Belegt sind zwei Punkte darin: Liliputing listete im März 2026 neun Mini-PCs mit Ryzen AI Max+ 395 und 128 GB zwischen 2.399 USD für ein Bosgame M5 und 3.810 USD für ein MINIX ER939-AI. Und ComputerBase berichtete am 27. Februar 2026, dass NVIDIA den Preis der DGX Spark Founders Edition von 3.999 auf 4.699 USD beziehungsweise von 4.180 auf 4.800 Euro angehoben hat, ausdrücklich begründet mit gestiegenen Speicher- und Storage-Kosten. Die beiden übrigen Zeilen bewegen sich in einem Bereich, der stark von Konfiguration und Händler abhängt.

Der DGX Spark ist die Klasse, in der die meisten mittelständischen Anfragen landen. NVIDIA nennt in der offiziellen Dokumentation 128 GB LPDDR5x als einheitlichen Speicher für Prozessor und Grafikeinheit, 273 GB/s Bandbreite, bis zu 4 TB NVMe-Speicher und ein externes 240-Watt-Netzteil. Einheitlicher Speicher bedeutet, dass ein Modell nicht in einen separaten Grafikspeicher kopiert werden muss, was genau der Grund ist, warum 128 GB in dieser Bauform überhaupt nutzbar sind. Eine Konsumenten-Grafikkarte müsste dafür in vierstelliger Stückzahl Speicher mitbringen, den es in dieser Form nicht gibt.

Zwischen Einstieg und Standard liegt weniger Leistungsunterschied, als die Preise vermuten lassen. Beide Klassen bewegen sich bei der Bandbreite im gleichen Fenster, und beim reinen Erzeugen von Text trennt sie der oben genannte einstellige Prozentbereich. Der Aufpreis kauft im Wesentlichen drei Dinge: das deutlich schnellere Verarbeiten langer Eingaben, eine ausgereifte Software-Umgebung, in der Modelle ohne Bastelei laufen, und die Netzwerkanbindung, über die sich zwei Geräte zu einem Verbund koppeln lassen. Für ein Team, das ausschließlich kurze Anfragen stellt, ist der Einstieg die wirtschaftlichere Wahl. Sobald Dokumente ins Spiel kommen, dreht sich das Bild.

Bei der Oberklasse lohnt eine nüchterne Einordnung. NVIDIA gibt für die DGX Station rund 748 GB kohärenten Speicher, 7,1 TB/s Bandbreite und eine Leistungsaufnahme von bis zu 1,6 kW an. Das ist etwa das Sechsundzwanzigfache der Bandbreite eines DGX Spark, und entsprechend liegt der Preis in einer anderen Welt. Für ein Unternehmen mit unter 50 Mitarbeitern ist dieser Sprung fast nie zu rechtfertigen, zumal ein 1,6-kW-Gerät Anforderungen an Stromkreis und Kühlung stellt, die ein normales Büro nicht ohne Weiteres erfüllt. Wer in diese Größenordnung wächst, findet im Beitrag zum KI-Entwicklungsserver die passendere Architekturfrage.

Was kosten Strom und Betrieb im Jahr?

Der laufende Stromverbrauch ist bei kompakten KI-Boxen gegenüber der Anschaffung vernachlässigbar. ServeTheHome maß beim DGX Spark 60 bis 90 Watt bei typischer Inferenz und 40 bis 45 Watt im Leerlauf. Bei zwölf Betriebsstunden am Tag und 0,30 Euro je Kilowattstunde landet man bei rund 50 bis 90 Euro im Jahr.

Diese Zahl überrascht viele, weil KI-Hardware im öffentlichen Bild eng mit Rechenzentren und deren Energiehunger verknüpft ist. Der Unterschied liegt in der Bauform: Ein System, das auf einheitlichen Arbeitsspeicher statt auf dedizierte Hochleistungs-Grafikkarten setzt, arbeitet in einem völlig anderen Leistungsfenster. Zum Vergleich zieht allein die Grafikkarte einer Workstation mit RTX 5090 nach Herstellerangaben 575 Watt, also grob das Sechs- bis Neunfache, und dazu kommen Prozessor, Netzteilverluste und Kühlung.

Praktisch bedeutet das auch, dass die Aufstellung im Büro selten ein Problem ist. Ein Gerät mit 60 bis 90 Watt unter Last erzeugt weniger Abwärme als ein durchschnittlicher Arbeitsplatzrechner unter Volllast und kommt mit einer normalen Steckdose aus. Ein Serverschrank, ein eigener Stromkreis oder eine gesonderte Klimatisierung sind in dieser Klasse nicht nötig, was einen erheblichen Teil der sonst üblichen Nebenkosten einer lokalen Lösung entfallen lässt. Erst in der Oberklasse mit bis zu 1,6 kW ändert sich diese Rechnung grundlegend.

Für die Gesamtkostenrechnung heißt das, dass der Strom nicht die relevante Stellschraube ist. Bei einer Anschaffung im Bereich von 4.800 Euro und einer Abschreibung über drei Jahre entfallen rund 1.600 Euro im Jahr auf die Hardware und 50 bis 90 Euro auf den Strom, also unter sechs Prozent. Entscheidender sind Einrichtungsaufwand, Modellpflege und die Frage, ob die Hardware tatsächlich ausgelastet wird. Eine detaillierte Gegenüberstellung mit Abonnementkosten steht im Beitrag zu den KI-Kosten im Mittelstand.

Lohnt es sich, mit dem Kauf zu warten?

Vermutlich nicht. Der Speichermarkt ist 2026 der Engpass, und er entspannt sich absehbar nicht: Rechenzentren verbrauchen nach einer von Tom's Hardware zitierten Prognose rund 70 Prozent aller in diesem Jahr produzierten Speicherchips. Preise für Endgeräte folgen dieser Knappheit nach oben, nicht nach unten.

Die üblichen Erfahrungswerte aus der IT-Beschaffung greifen hier nicht. Normalerweise gilt, dass Warten belohnt wird, weil neue Generationen mehr Leistung zum gleichen Preis bringen. In der aktuellen Lage steht dem ein Rohstoffeffekt entgegen, der die Produktseite überlagert. Speicher ist bei lokaler KI-Hardware nicht eine Komponente unter vielen, sondern der bestimmende Kostenblock, weil 128 GB schneller Arbeitsspeicher den Großteil der Stückliste ausmachen.

Zwei Beobachtungen aus den vergangenen Monaten belegen das konkret. NVIDIA hat den Preis des DGX Spark laut ComputerBase im Februar 2026 um 620 Euro angehoben, also um rund 15 Prozent, und nannte dafür ausdrücklich die Speicher- und Storage-Kosten als Grund. Preiserhöhungen mitten im Produktlebenszyklus sind in diesem Segment ungewöhnlich. Noch deutlicher ist der Fall Apple: Nach Berichten von Tom's Hardware und 9to5Mac hat Apple im März 2026 die 512-GB-Option für den Mac Studio mit M3 Ultra gestrichen und Anfang Mai auch die 256-GB-Variante, sodass aktuell nur noch 96 GB bestellbar sind.

Für Unternehmen ist der zweite Fall der lehrreichere. Der Mac Studio war mit 819 GB/s über Monate die attraktivste Option für alle, die große Modelle mit hoher Bandbreite lokal betreiben wollten. Diese Option ist nicht teurer geworden, sie ist in der interessanten Ausbaustufe schlicht verschwunden. Wer eine Konfiguration im Blick hat, sollte deshalb nicht nur mit steigenden Preisen rechnen, sondern damit, dass sie gar nicht mehr angeboten wird. Ob lokale Hardware im konkreten Fall überhaupt der richtige Weg ist, klärt der ausführliche Vergleich zwischen lokaler KI und Cloud-Diensten.

Fazit

TOPS sind nicht wertlos. Für das Verarbeiten langer Eingaben, also für Dokumentenanalyse, umfangreiche Kontexte und agentische Abläufe mit vielen Durchgängen, ist Rechenleistung genau die richtige Kennzahl, und der Faktor fünf zwischen DGX Spark und Strix Halo ist im Alltag deutlich spürbar. Wer die Hardware überwiegend so einsetzt, trifft mit der Rechenleistung als Auswahlkriterium keine falsche Entscheidung.

Für den häufigeren Fall, das Erzeugen von Text bei überschaubarem Kontext, entscheidet aber die Speicherbandbreite geteilt durch die aktive Modellgröße. Diese Rechnung lässt sich vor jedem Angebot in dreißig Sekunden selbst anstellen, und sie schützt zuverlässig davor, für eine Kennzahl zu bezahlen, die im eigenen Anwendungsfall keine Rolle spielt. Wichtiger als beide Werte ist ohnehin die Kapazität, denn ein Modell, das nicht in den Speicher passt, ist auf der schnellsten Hardware langsam.

Beim Zeitpunkt spricht 2026 wenig für Geduld. Solange Rechenzentren den Großteil der Speicherproduktion binden, sind sinkende Preise unwahrscheinlich, und das Verschwinden großer Speicherkonfigurationen zeigt, dass nicht nur der Preis das Risiko ist. Wer den Bedarf sauber ermittelt hat, sollte die Beschaffung eher vorziehen als aufschieben.

Quellen

1. NVIDIA: DGX Spark Hardware Specifications
2. AMD: Ryzen AI Max+ 395 Produktseite
3. Hardware Corner: First NVIDIA DGX Spark LLM Benchmarks
4. ServeTheHome: NVIDIA DGX Spark Review
5. Tom's Hardware: NVIDIA DGX Spark Review, Performance
6. ComputerBase: Preis der DGX Spark Founders Edition steigt um 620 Euro
7. Liliputing: Ryzen AI Max+ 395 Mini-PCs mit 128 GB
8. Tom's Hardware: Apple streicht die 512-GB-Option beim Mac Studio
9. 9to5Mac: Mac Studio M3 Ultra verliert die letzte RAM-Aufrüstoption
10. Tom's Hardware: Rechenzentren verbrauchen 70 Prozent der 2026 produzierten Speicherchips