https://zoliben.com/hu/tags/cpu-moe/Recent content in Cpu-Moe on ZoliBen Csupra(Kabra)HugohuSat, 25 Apr 2026 09:00:00 +0000https://zoliben.com/hu/posts/2026-04-25-qwen36-cpu-moe-offload-teszt-rtx4090/Sat, 25 Apr 2026 09:00:00 +0000https://zoliben.com/hu/posts/2026-04-25-qwen36-cpu-moe-offload-teszt-rtx4090/<p>A múltkor azt írtam, hogy a 35B-A3B GPU-only üzemmódban elég jól megy az RTX 4090-en, de a 100k kontextus után eltalálja a VRAM falat. Gondoltam, kipróbálom ezt az új <strong>CPU-MoE</strong> feature-t a llama.cpp-ben, hátha ki tudom nyomni a 33 GB expert súlyt a system RAM-ba, és így marad hely a KV cache-nek a full 256k kontextushoz.</p> <p>Bevallom előre: <strong>működik, de megvan az ára.</strong> Nem is kicsi.</p> <h2 id="mit-próbáltam">Mit próbáltam?</h2> <p>A lényeg, hogy a <code>--cpu-moe</code> flaggel a modell MoE expert súlyait nem a GPU VRAM-jába töltöd be, hanem a rendszermemóriába. Minden decode tokennél a routing gate eldönti, melyik expert kell (ez 8+1 shared a 256-ból), és azokat on-the-fly DMA-zod át CPU-RAM-ból a GPU-ba.</p>