Welches offene Sprachmodell läuft wirklich auf eigener Hardware?

Warum die Schlagzeilen in die Irre führen

Die stärksten offenen Modelle des Jahres 2026 lassen sich auf typischer Unternehmenshardware nicht betreiben. Kimi K2 kommt auf eine Billion Parameter und braucht selbst in extrem aggressiver 1-Bit-Quantisierung über 300 GB Speicher, wie das Quantisierungsteam von Unsloth dokumentiert. Auf einer Box mit 128 GB läuft das nicht.

Diese Lücke zwischen Ankündigung und Praxis ist der Kern des Problems. Wenn ein Labor ein neues offenes Modell veröffentlicht, wandert die Parameterzahl in die Überschrift, und die Meldung klingt so, als stünde damit ein Spitzenmodell für den Eigenbetrieb bereit. Offene Gewichte bedeuten aber nur, dass die Datei heruntergeladen werden darf. Ob sie in den Speicher passt, ist eine völlig andere Frage, und sie wird in den Ankündigungen selten beantwortet.

Für Unternehmen, die lokale KI gegen Cloud-Dienste abwägen, ist das eine teure Fehlerquelle. Wer Hardware nach der Parameterzahl des Wunschmodells auswählt, landet entweder bei einer Anschaffung, die das Modell trotzdem nicht trägt, oder bei einem System, das zwar formal passt, aber so langsam antwortet, dass es niemand benutzt. Dieser Artikel sortiert, welche Modelle im April 2026 tatsächlich verfügbar sind, wie viel Speicher sie brauchen, wie schnell sie auf realer Hardware antworten und wie weit sie von den kommerziellen Spitzenmodellen entfernt sind.

Welche offenen Modelle stehen im April 2026 zur Verfügung?

Das offene Feld hat sich 2026 stark verdichtet. Verfügbar sind unter anderem Kimi K2 mit einer Billion Parameter, Mistral Large 3 mit 675 Milliarden, die Qwen3.5- und Qwen3.6-Reihen von 0,8 bis 397 Milliarden, gpt-oss in zwei Größen sowie Gemma 4 von Google. Fast alles davon steht unter Apache 2.0.

Auffällig ist, wie breit die Größenspanne inzwischen ist. Moonshot AI hat Kimi K2 im Juli 2025 mit einer Billion Gesamtparametern und 32 Milliarden aktiven Parametern unter einer modifizierten MIT-Lizenz veröffentlicht, im November 2025 folgte Kimi K2 Thinking mit 256K Kontextfenster, im Januar 2026 die multimodale Version Kimi K2.5. OpenAI hat im August 2025 mit gpt-oss-120b und gpt-oss-20b erstmals seit Jahren wieder offene Gewichte unter Apache 2.0 herausgegeben. Mistral zog im Dezember 2025 mit Mistral Large 3 nach, dazu die kleineren Mistral-3-Varianten in 14B, 8B und 3B.

Die größte Bewegung kommt aus dem Qwen-Umfeld. Alibaba hat im Februar 2026 zuerst Qwen3.5-397B-A17B veröffentlicht, kurz darauf die mittleren Größen Qwen3.5-122B-A10B, -35B-A3B und -27B, im März dann die kleinen Varianten von 9B bis 0,8B. Im April folgten Qwen3.6-35B-A3B und Qwen3.6-27B. Google hat Anfang April 2026 Gemma 4 in fünf Varianten von E2B bis 31B nachgelegt, ebenfalls unter Apache 2.0.

Der Buchstabensalat in den Namen ist dabei die wichtigste Information überhaupt. Ein Kürzel wie A10B bedeutet, dass von 122 Milliarden Parametern pro Token nur 10 Milliarden aktiv werden. Solche Modelle heißen Mixture of Experts, kurz MoE, und sie verhalten sich auf lokaler Hardware grundlegend anders als klassische Modelle, bei denen jeder Parameter bei jedem Token mitrechnet. Warum das den Ausschlag gibt, zeigt sich erst beim Speicher und bei der Geschwindigkeit.

Wie viel Speicher braucht ein Modell wirklich?

Als Faustformel gilt: Speicherbedarf in GB entspricht der Parameterzahl in Milliarden multipliziert mit einem Faktor, der von der Quantisierung abhängt. Bei FP16 liegt dieser Faktor bei 2,0, bei Q8 bei 1,05, bei Q4_K_M und MXFP4 bei 0,55 bis 0,60. Der aktive Anteil eines MoE-Modells spielt dabei keine Rolle, im Speicher liegen immer alle Gewichte.

Die rechte Spalte erklärt, warum Kimi K2 auf keiner Box im Serverschrank läuft. Selbst bei IQ2_XXS, einer Quantisierung, die an der Grenze zur Unbrauchbarkeit arbeitet, bleiben über 300 GB. Auch die 1-Bit-Varianten von Unsloth kommen nach Angaben des Teams nicht unter diese Marke. Ein System mit 128 GB vereinheitlichtem Speicher ist davon um den Faktor zweieinhalb entfernt, und es gibt keinen Trick, der diese Lücke schließt. Dasselbe gilt abgeschwächt für Mistral Large 3 mit 675 Milliarden Parametern und für Qwen3.5-397B.

Umgekehrt zeigt die Tabelle auch, was funktioniert. gpt-oss-120b liegt in seinem nativen MXFP4-Format bei rund 59 GB und passt damit mit Reserve auf ein 128-GB-System. Qwen3.5-122B-A10B landet in Q4 in derselben Größenordnung. Modelle um 30 Milliarden Parameter brauchen in Q4 etwa 17 bis 20 GB und laufen selbst auf deutlich kleineren Geräten. Wer die Hardware-Grundlagen von Edge AI einmal durchdacht hat, kann aus jeder Modellankündigung binnen Sekunden ableiten, ob sie für das eigene System überhaupt relevant ist.

Zum verfügbaren Speicher kommt in der Praxis noch der Kontext dazu. Ein großes Kontextfenster belegt zusätzlichen Platz für den sogenannten KV-Cache, und dieser Bedarf wächst mit der Länge der Konversation. Als Planungsgröße sollten Unternehmen deshalb nie den vollen Speicher verplanen, sondern mindestens 15 bis 20 Prozent Reserve einkalkulieren, sonst bricht der Betrieb genau dann ab, wenn ein Nutzer ein langes Dokument einwirft.

Warum ist ein 122-Milliarden-Modell schneller als ein 70-Milliarden-Modell?

Weil bei einem MoE-Modell pro Token nur ein Bruchteil der Gewichte gelesen wird. Auf einem AMD Strix Halo mit 128 GB erreicht gpt-oss-120b laut den Benchmark-Ergebnissen im Level1Techs-Forum 55,6 Token pro Sekunde, während ein klassisch gebautes 70-Milliarden-Modell in Q4 auf derselben Maschine nur 4,5 Token pro Sekunde schafft.

Der Grund liegt in der Speicherbandbreite, nicht in der Rechenleistung. Bei jedem einzelnen Token muss die Hardware die benötigten Gewichte aus dem Speicher holen. Ein klassisches, sogenanntes dichtes Modell mit 70 Milliarden Parametern zieht dabei alle Gewichte durch den Bus, in Q4 also rund 40 GB pro Token. Bei einem System mit rund 256 GB pro Sekunde Bandbreite ergibt das rechnerisch etwa sechs Token pro Sekunde als theoretische Obergrenze, und die Messung von 4,5 liegt genau dort. Ein MoE-Modell mit 10 Milliarden aktiven Parametern liest pro Token nur einen Bruchteil und ist deshalb um ein Vielfaches schneller, obwohl es insgesamt fast doppelt so groß ist.

Die Werte für gpt-oss-120b auf dem DGX Spark stammen aus den Messreihen in der llama.cpp-Diskussion auf GitHub, die übrigen aus dem Level1Techs-Benchmarkthread. Beide Systeme liegen hardwareseitig eng beieinander: Der DGX Spark bietet 128 GB bei 273 GB pro Sekunde Bandbreite, der Strix Halo 128 GB bei rund 256 GB pro Sekunde. Dass die Ergebnisse trotzdem streuen, hängt an Treiberständen, Kontextlänge und Backend, weshalb solche Zahlen immer als Größenordnung und nicht als Bestwert zu lesen sind.

Praktisch bedeutet das eine klare Grenze. Alles unter etwa 10 Token pro Sekunde fühlt sich in einem interaktiven Chat zäh an, weil ein Mitarbeiter dem Text beim Entstehen zusieht. Ab 30 bis 50 Token pro Sekunde entsteht der Eindruck von flüssigem Schreiben. Das dichte 70-Milliarden-Modell fällt also nicht knapp durch, es ist für interaktive Arbeit schlicht ungeeignet. Wer die Kostenseite lokaler KI durchrechnet, sollte diesen Punkt zuerst klären, denn eine Anschaffung, die im Alltag niemand benutzt, hat keinen Return, egal wie günstig die Betriebskosten aussehen.

Wie viel Qualität kostet die Quantisierung?

Deutlich weniger, als der Begriff vermuten lässt. Eine peer-reviewed Untersuchung von Neural Magic und Red Hat mit über 500.000 Einzelevaluationen zeigt, dass INT4-Quantisierung bei Llama-3.1 gegenüber der vollen BF16-Version 98,72 Prozent der Genauigkeit beim 8-Milliarden-Modell, 99,53 Prozent beim 70-Milliarden-Modell und 99,98 Prozent beim 405-Milliarden-Modell erhält.

Der interessante Befund darin ist der Trend: Je größer das Modell, desto verlustfreier lässt es sich quantisieren. Das ist der Grund, warum sich der Umweg über ein großes, stark komprimiertes Modell fast immer mehr lohnt als ein kleines Modell in voller Präzision. Ein 122-Milliarden-Modell in Q4 verliert weniger von seiner Substanz als ein 8-Milliarden-Modell in derselben Kompression, und es startet von einem ungleich höheren Niveau.

Eine Arbeit vom Januar 2026 hat die einzelnen Stufen an Llama-3.1-8B durchgemessen und kommt zu ähnlichen Ergebnissen. Von 69,47 Prozent bei FP16 geht es auf 69,41 bei Q8_0, 69,23 bei Q6_K, 69,15 bei Q4_K_M und 68,78 bei Q3_K_L. Zwischen voller Präzision und Q4_K_M liegen also rund 0,3 Prozentpunkte, bei etwa 70 Prozent Speicherersparnis. In der Praxis ist dieser Unterschied für Aufgaben wie Dokumentenextraktion, Zusammenfassung oder Entwurfstexte nicht wahrnehmbar.

Die Empfehlung lässt sich daraus knapp ableiten. Q4_K_M oder MXFP4 ist für den produktiven Betrieb der sinnvolle Standard, Q6_K lohnt sich nur, wenn der Speicher ohnehin frei ist. Unterhalb von Q3 wird es heikel, und die Zwei-Bit-Formate sind eher Machbarkeitsdemonstrationen als Arbeitswerkzeuge. Wenn du zwischen einem größeren Modell in Q4 und einem kleineren in Q8 schwankst, nimm im Zweifel das größere.

Wie groß ist der Abstand zu den kommerziellen Modellen?

Er ist kleiner geworden, aber er ist da. Nach der Modellkarte von Moonshot AI, also Herstellerangabe, erreicht Kimi K2 Thinking bei SWE-bench Verified 71,3 Prozent gegenüber 74,9 bei GPT-5 High und 77,2 bei Claude 4.5. Bei MMLU-Pro stehen 84,6 gegen 87,1 und 87,5. Bei agentischer Websuche liegt das offene Modell mit 60,2 gegen 54,9 und 24,1 vorn.

Diese Zahlen stammen vom Hersteller selbst und sind entsprechend zu lesen. Eine unabhängige Gegenprobe liefert das US-amerikanische NIST über sein CAISI-Programm, das Kimi K2 Thinking im Dezember 2025 gegen GPT-5 geprüft hat. Dort fällt der Abstand deutlich größer aus: Bei Cybench erreicht das offene Modell 40,0 Prozent gegenüber 73,5 Prozent, bei SWE-Bench 56,2 gegenüber 63,0. Wer nur die Herstellertabelle liest, unterschätzt den Rückstand also systematisch.

Für die Praxis in einem Unternehmen ist beides allerdings nur bedingt relevant, denn Kimi K2 Thinking lässt sich lokal ohnehin nicht betreiben. Die Modelle, die tatsächlich in Frage kommen, liegen eine Klasse darunter, und ihr Abstand zur kommerziellen Spitze ist größer als der von K2. Der entscheidende Punkt ist deshalb nicht, ob ein offenes Modell die Benchmarkliste anführt, sondern ob es die konkrete Aufgabe zuverlässig löst. Bei strukturierter Extraktion, Klassifikation, Zusammenfassung und Standardkorrespondenz ist das bei den mittleren MoE-Modellen der Fall. Bei mehrstufigem Programmieren, juristischer Argumentation oder freier kreativer Arbeit bleibt der Unterschied spürbar.

Wer das für den eigenen Betrieb bewerten will, kommt um einen Test mit echten Aufgaben nicht herum. Zwanzig repräsentative Fälle aus dem Tagesgeschäft, einmal durch zwei oder drei Kandidatenmodelle geschickt, sagen mehr aus als jede Benchmarktabelle. Für diese Vergleiche eignet sich ein dedizierter Entwicklungsserver, auf dem sich Modelle austauschen lassen, ohne den produktiven Betrieb anzufassen. Die Fachbegriffe rund um Quantisierung, MoE und Kontextfenster sind im Glossar erklärt.

Fazit

Die offenen Modelle haben 2026 einen Stand erreicht, der noch vor einem Jahr unrealistisch wirkte, und die Lizenzlage ist so freundlich wie nie: Der Großteil der relevanten Veröffentlichungen steht unter Apache 2.0 und darf kommerziell eingesetzt werden. Dass die Spitzenmodelle dieser Welle für lokale Hardware unerreichbar sind, ändert daran wenig, es verschiebt nur die Auswahl.

Worauf es ankommt, ist die Architektur, nicht die Parameterzahl. Ein MoE-Modell mit 10 Milliarden aktiven Parametern liefert auf einer 128-GB-Maschine ein Vielfaches der Geschwindigkeit eines klassisch gebauten 70-Milliarden-Modells, und Quantisierung auf Q4 kostet nach den vorliegenden Messungen weniger als einen Prozentpunkt Genauigkeit. Wer nach der Zahl auf dem Datenblatt einkauft, kauft am Bedarf vorbei.

Der Markt bewegt sich dabei schneller als jeder Beschaffungszyklus. Zwischen Qwen3.5 und Qwen3.6 lagen zwei Monate. Genau deshalb sollte die Hardwareentscheidung nicht an einem einzelnen Modell hängen, sondern am Speicher und an der Bandbreite, die auch das nächste Modell noch tragen. Wer heute eine Klasse einplant, die 60 bis 70 GB Gewichte flüssig bedient, ist für die kommenden Veröffentlichungen gerüstet.

Quellen

1. Kimi K2 Thinking, Modellkarte auf Hugging Face
2. OpenAI: Introducing gpt-oss
3. Mistral AI: Mistral 3
4. Qwen: Modellreihen auf GitHub
5. Google: Gemma 4
6. llama.cpp: Benchmark-Diskussion zum NVIDIA DGX Spark
7. Level1Techs: Strix Halo LLM Benchmark Results
8. Neural Magic und Red Hat: "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization
9. arXiv 2601.14277: Quantisierungsstufen im Vergleich (Januar 2026)
10. NIST / CAISI: Evaluation of Kimi K2 Thinking