On-Premise KI, auf deinem eigenen Server

Welche Hardware brauche ich für einen KI-Server?

Für die meisten kleinen und mittleren Unternehmen ist ein kompakter Server wie der DGX Spark die passende Klasse: 128 GB einheitlicher Speicher und 273 GB/s Speicherbandbreite. Der Speicher entscheidet, welche Modelle überhaupt laufen. Die Bandbreite entscheidet, wie schnell sie antworten. Als Faustformel gilt: maximale Token pro Sekunde entspricht ungefähr der Speicherbandbreite in GB/s geteilt durch die aktive Modellgröße in GB, in der Praxis erreichen Server 60 bis 80 Prozent dieses Werts. Wichtig ist vor allem, dass das Modell komplett in den Speicher passt, sonst bricht die Geschwindigkeit drastisch ein. Mehr Personen heißt bei einem Server vor allem längere Wartezeit, weil er eine Anfrage nach der anderen rechnet.

Wie du die Geschwindigkeit vorab selbst ausrechnest, steht im Beitrag zur KI-Hardware-Auswahl für Unternehmen. Was der DGX Spark für den Einsatz im Betrieb bietet, zeigt die Seite zum DGX Spark für Unternehmen.

Wie richte ich einen KI-Server ein?

Einfacher, als viele erwarten. Mit Arasul läuft die Einrichtung über Setup-Skripte: Du schließt den Server an Strom und Netzwerk an, die Skripte machen ihn startklar, danach arbeitest du im Browser weiter. Dort legst du an, wer sich anmelden darf, und gibst jeder Person einzeln die Apps frei. Alles andere bleibt für sie unsichtbar. Die Apps selbst baust du mit dem offenen Ara-Kit an deinem Arbeitsplatz und rollst sie mit einem Befehl auf den Server. Verifiziert läuft Arasul heute auf dem NVIDIA Jetson AGX Orin, einen DGX Spark richten wir nach deiner Bestellung ein. Wer die Einrichtung nicht selbst machen will, holt sich einen Partner, sofern in seiner Region einer im Verzeichnis eingetragen ist, oder schreibt uns. Der setzt den Server auf, bindet ihn ins Firmennetzwerk ein und weist das Team ein.

Danach wächst der Server mit deinen Aufgaben: Du baust Apps für Rechnungen, Posteingang oder Angebote und gibst sie für dein Team frei. Woraus so eine App besteht und wie sie auf den Server kommt, zeigt die Seite zu den Apps.

Ab wann rechnet sich lokale KI gegenüber der Cloud?

Der Break-even ist der Punkt, an dem die einmalige Investition günstiger geworden ist als die aufsummierten Cloud-Kosten bis dahin. Die Rechenlogik ist einfach: Du teilst die einmaligen Kosten aus eingerichtetem Server und Lizenz, zusammen 12.400 Euro, durch das, was du dir jeden Monat sparst. Das sind die Cloud-Kosten abzüglich Strom und, wenn du sie nimmst, der Wartung. Je mehr Mitarbeiter KI nutzen, desto schneller ist der Punkt erreicht. Bei zehn Nutzern liegt er mit Wartung bei rund 68 Monaten, ohne Wartung bei rund 36 Monaten. Bei dreißig Nutzern liegt er bei rund 14 Monaten mit und rund 12 Monaten ohne Wartung. Gerechnet ist mit 37 Euro Cloud-KI je Nutzer und Monat und 20 Euro Strom im Monat. Das sind Richtwerte und keine Garantie. Das Geld allein ist selten der Grund. Meist ist es, dass die KI nicht bei einem Dritten rechnen soll.

Den Preisvergleich mit einem Break-even-Rechner für deine eigenen Zahlen findest du im Beitrag zu den KI-Kosten für den Mittelstand.

KI-Server kaufen oder mieten, was ist besser?

Mieten heißt in der Praxis fast immer Cloud, also ein laufendes Abo, bei dem du pro Nutzer und pro Token zahlst und deine Daten an den Anbieter gehen. Das ist bequem und flexibel, du kannst sofort skalieren und musst nichts anschaffen. Der Nachteil: Die Kosten hören nie auf, und du hast keinen Einfluss auf Preiserhöhungen. Kaufen heißt, die Hardware und die Lizenz gehören dir und die Modelle rechnen im eigenen Netzwerk. Nach dem Break-even sparst du jeden weiteren Monat, bei kleinen Teams kommt er allerdings spät. Der Nachteil: höhere Anfangskosten und du bist an die Leistung der gekauften Hardware gebunden. Als Faustregel: Wer KI dauerhaft und mit sensiblen Daten einsetzt, fährt mit Kaufen sicherer und bei großen Teams auch günstiger. Wer nur gelegentlich testet oder maximale Modellleistung braucht, ist mit Mieten flexibler bedient.

Welche laufenden Kosten fallen bei lokaler KI an?

Planbare Kosten statt eines Abos je Nutzer. Strom kostet in unserer Rechnung rund 20 Euro im Monat, also 240 Euro im Jahr. Gerechnet ist mit dem oberen Messwert bei Inferenz rund um die Uhr, damit die Zahl eher zu hoch als zu niedrig steht. Dazu kommt die freiwillige Wartung für Updates und Sicherheit mit 2.000 Euro netto je Jahr, ab dem ersten Jahr und mit drei Monaten zum Laufzeitende kündbar. Ohne Wartung bleibt die Lizenz gültig, nur Updates gibt es dann nicht mehr. Was entfällt: Gebühren pro Nutzer und Monat, Token-Abrechnungen und jährliche Preisanpassungen des Anbieters. Bei der Cloud ist genau das umgekehrt: Dort läuft für jeden Nutzer ein Abo, jede Automatisierung kostet Gebühren pro Token, und die Daten wandern zum Anbieter.