A múltkor azt írtam, hogy a 35B-A3B GPU-only üzemmódban elég jól megy az RTX 4090-en, de a 100k kontextus után eltalálja a VRAM falat. Gondoltam, kipróbálom ezt az új CPU-MoE feature-t a llama.cpp-ben, hátha ki tudom nyomni a 33 GB expert súlyt a system RAM-ba, és így marad hely a KV cache-nek a full 256k kontextushoz.

Bevallom előre: működik, de megvan az ára. Nem is kicsi.

Mit próbáltam?

A lényeg, hogy a --cpu-moe flaggel a modell MoE expert súlyait nem a GPU VRAM-jába töltöd be, hanem a rendszermemóriába. Minden decode tokennél a routing gate eldönti, melyik expert kell (ez 8+1 shared a 256-ból), és azokat on-the-fly DMA-zod át CPU-RAM-ból a GPU-ba.

Sokat keresgéltem az interneten, mire rájöttem, hogy a személyes tudásom szétszóródott mindenfelé: noteszek, PDF-ek, bookmarkok, jegyzetek, linkek, képek, hangfelvételek — mind máshol, soha nem találom meg, amikor szükségem van rá. A Notion jó volt, de nem akartam egy másik SaaS szolgáltatásba rakni az agyam tartalmát.

Aztán gondoltam: “Miért ne csinálnék magamnak egyet?”

És csináltam.

Mi az a Memorito?

A Memorito egy self-hosted, multimodális tudásbázis, amit magamnak írtam — nem egy kész terméket használok, hanem magamnak kódtam meg, amit aztán folyamatosan fejlesztgetek. A kódot az AI generálta, de az ötlet, az architektúra és a design teljesen az enyém. Szövegeket, URL-eket, képeket, hangfájlokat és PDF-eket tud feldolgozni, indexelni, és aztán szöveges kereséssel lehet rájuk rákeresni. Nem csak keyword search — semantic search, azaz a jelentés alapján találja meg a releváns tartalmakat.

A minap végre összegeztem az összes Qwen 3.6-os modellteszt eredményemet, amit az elmúlt napokban gyűjtöttem össze. Két modellt hasonlítottam össze részletesen: a Qwen3.6-35B-A3B-t (MoE, hybrid attention/delta) és a Qwen3.6-27B-t (dense, hybrid attention/delta). Mindkettőt turbo3 KV cache kompresszióval futtattam RTX 4090-en, llama.cpp szerverként.

Ha röviden akarnám összefoglalni: a 35B-A3B 3-4× gyorsabb mindenben, de a 27B jobb minőséget ad. Ez a klasszikus MoE vs. dense tradeoff, csak éppen számokkal alátámasztva.

Architektúra - mi a különbség?

A két modell ugyanabból a Qwen3.6 családból való, mindkettő hybrid Mamba/attention architektúrát használ, de a megközelítésük teljesen más:

Az utolsó posztom 2021 márciusában jelent meg, és azóta szinte semmi sem történt a bloggal – annak ellenére, hogy közben költözés, szervercsere és számos más változás is történt. A WordPress már régóta inkább idegesített, mint segítette volna a posztok írásához való visszatérést: lassú volt, folyamatos plugin frissítések és biztonsági rések záporoztak rá, miközben egy évente pár bejegyzésből álló blog számára túlzottan bonyolult rendszer.

Évek óta fontolgattam a statikus oldalgenerátorokra való átállást, de a migráció gondolata – 87 bejegyzés, rengeteg HTML maradvány, médiafájlok – mindig elrettentett. Aztán rátaláltam az OpenCode-ra, és minden megváltozott.