Qwen 3.6: 35B vs 27B Vergleich - Benchmark-Ergebnisse

Endlich habe ich alle Qwen 3.6 Modell-Testergebnisse zusammengefasst, die ich in den letzten Tagen gesammelt habe. Ich habe zwei Modelle im Detail verglichen: das Qwen3.6-35B-A3B (MoE, hybrid attention/delta) und das Qwen3.6-27B (dense, hybrid attention/delta). Beide habe ich mit turbo3 KV Cache-Kompression auf einer RTX 4090 als llama.cpp Server betrieben.

Wenn ich kurz zusammenfassen müsste: das 35B-A3B ist 3-4x schneller in allem, aber das 27B liefert bessere Qualität. Dies ist der klassische MoE vs. Dense Tradeoff, nur mit Zahlen untermauert.

Architektur - was ist der Unterschied?#

Beide Modelle stammen aus derselben Qwen3.6-Familie, beide verwenden eine hybrid Mamba/Attention-Architektur, aber ihre Ansätze sind völlig unterschiedlich:

35B-A3B:

• 35B Gesamtparameter, aber nur 3B aktiv pro Token
• 40 Schichten: 10 × (3× Gated DeltaNet → MoE) + 1 × (Gated Attention → MoE) pro Block
• Nur 10 Full-Attention-Schichten (GQA, 16Q/2KV, 256-dimensional)
• 30 Gated DeltaNet-Schichten (rekurrent, kein KV Cache)
• MoE Routing: 8+1 Shared Expert aus 256 Experts
• Native Kontextlänge: 262.144 Token

27B Dense:

• 27B Gesamtparameter, 27B aktiv pro Token (jeder Parameter wird aktiviert)
• 64 Schichten: 16 × (3× Gated DeltaNet → FFN) + 1 × (Gated Attention → FFN) pro Block
• Nur 16 Full-Attention-Schichten (GQA, 24Q/4KV, 256-dimensional)
• 48 Gated DeltaNet-Schichten (rekurrent, kein KV Cache)
• Dichter FFN - kein MoE, alles wird pro Token berechnet
• Native Kontextlänge: 262.144 Token

Der Punkt: das 35B-A3B ruft nur 9 von 256 Experts pro Token auf, während das 27B alle seine Parameter verarbeiten muss. Das bedeutet 9x weniger Berechnung pro Token.

Needle-In-Haystack (NIAH) - Langkontext-Abfrage#

Dieser Test misst, ob das Modell eine wichtige Information in einem riesigen Text finden kann. Die Nadel ist ein Satz, den ich irgendwo im Heuhaufen versteckt habe, und das Modell muss ihn wiederherstellen.

35B-A3B (IQ4_XS Quant, turbo3 KV Cache):

Gesamt: 100% (74/74 Tests) - perfekt bei jeder Kontextlänge und jeder Tiefenposition.

27B (UD-Q5_K_XL Quant, turbo3 KV Cache):

Gesamt: 100% (78/78 Tests) - ebenfalls überall perfekt.

Fazit: Beide Modelle liefern perfekte NIAH-Ergebnisse, ohne jegliche Degradation unter turbo3 KV Cache Quantisierung. Ich habe das 35B-A3B bis zu höheren Kontextlängen getestet (200k vs 130k), aber das 27B lieferte ebenfalls stabil 100% bei allen getesteten Punkten.

Token-Generierungsgeschwindigkeit - der große Unterschied#

Hier wird der MoE vs. Dense Unterschied wirklich beeindruckend. Auf einer RTX 4090 mit turbo3 KV Cache:

Decode (Token-Generierung):

Prefill (Prompt-Verarbeitung):

Was bedeutet das in der Praxis?

Das 35B-A3B ist 3,5-4x schneller bei der Token-Generierung. Das bedeutet, wenn das 27B 10 Sekunden braucht, um einen Absatz zu schreiben, macht das 35B-A3B dasselbe in 2,5 Sekunden. Das Bild ist ähnlich beim Prefill: 2-2,4x schnellere Prompt-Verarbeitung.

Das Interessante ist, dass das 35B-A3B insgesamt mehr Parameter hat (35B vs 27B), aber trotzdem viel schneller ist, weil es pro Token nur 3B laden und verarbeiten muss aufgrund des MoE-Routings. Das 27B muss alle seine Parameter pro Token verarbeiten.

VRAM und Kontextkapazität#

Hier glänzt das 35B-A3B wirklich:

Wichtiger Hinweis: der 262k Kontext des 35B-A3B ist mit IQ4_XS Quantisierung erreichbar. Mit derselben Q4_K_S Quantisierung (die näher an der UD-Q5_K_XL des 27B liegt) ist das Maximum 188k. Das ist immer noch mehr als die 156k des 27B, aber nicht so dramatisch wie 262k.

Der Punkt: die MoE-Architektur des 35B-A3B verbraucht weniger VRAM pro Token, weil sie nur 3B Parameter während des Forward Pass laden muss. Das lässt mehr Platz für den KV Cache.

Die Tests werden nicht nur von der turbo3 KV Cache-Kompression getragen, sondern auch von der Sparse V (attention-gated value dequantization) Technik. Dies ist eine Optimierung, die im Flash-Attention-Kernel Positionen filtert, wo das Attention-Gewicht vernachlässigbar ist (unter 10⁻⁶), und dort keine V (Value) Dequantisierung durchführt. Der Punkt: anstatt jede Position Dequantisierung zu beschleunigen (was an Hardware-Grenzen stößt), überspringen wir einfach die unnötigen Operationen. Bei langem Kontext kann dies bis zu 22,8% Decode-Geschwindigkeitsverbesserung bedeuten, ohne Qualitätsverlust. Und das Beste: diese Technik ist nicht turboquant-spezifisch, sondern funktioniert auf jedem quantisierten KV Cache-Format (q8_0, q4_0, turbo3), weil sie auf der Attention-Verteilung basiert, nicht auf dem Dequant-Mechanismus.

Qualität - wo das 27B gewinnt#

Basierend auf den offiziellen Qwen-Benchmark-Ergebnissen übertrifft das 27B das 35B-A3B auf jedem einzelnen Benchmark:

Der besondere Highlight ist SkillsBench: +19.5 Punkte zugunsten des 27B. Dies ist ein Benchmark, der auf Coding-Agent-Aufgaben spezialisiert ist, und dort ist das 27B unschlagbar. Der Unterschied ist ähnlich groß im Terminal-Bench (+7.8) und SWE-bench (+3-4).

Zusammenfassung - welches soll ich wählen?#

Für das 35B-A3B:

• 🚀 3-4x schneller bei der Generierung
• 📏 Mehr Kontext (188k-262k vs 156k)
• Großartig für RAG, lange Gespräche, hoher Durchsatz
• Qualität: sehr gut, fast auf demselben Niveau wie das 27B

Für das 27B Dense:

• 🏆 Bessere Qualität auf jedem Benchmark
• Besonders besser für Coding-Agent-Aufgaben (SkillsBench: +19.5)
• Langsamer, aber wenn Qualität das Ziel ist, ist die Wartezeit es wert
• Weniger Kontext (156k max)

Mein praktischer Rat:

Wenn du RAG betreibst, lange Kontext-Gespräche führst, oder einfach willst, dass Antworten schnell kommen - 35B-A3B. Wenn du einen Coding-Agenten betreibst, komplexe logische Aufgaben löst, oder Qualität das Wichtigste ist - dann 27B.

Beide Modelle funktionieren wunderbar mit turbo3 KV Cache-Kompression, und beide erreichten 100% bei NIAH. Turbo3 verschlechtert nichts - im Gegenteil, aufgrund der VRAM-Einsparung musste man bei der Kontextlänge überhaupt keinen Kompromiss eingehen.