MTP vs prompt caching — Qwen3.8-27B-FP8 2× H100-on: mit érdemes használni?

Tue, 18 Aug 2026 09:00:00 +0000

A minap két H100-on is lefuttattam a Qwen3.8-27B-FP8-at, és az MTP-speculative decoding hozta a legnagyobb decode-gyorsulást (49 → 95 tok/s). De van egy bökkenő: a vLLM-ben az MTP és a prefix caching kölcsönösen kizárja egymást, szóval az volt a kérdés, hogy melyik konfigurációt érdemes élesben használni.

A választ úgy kaptam meg, hogy egymás ellen futtattam a két verziót: GPU0 no-MTP + prefix caching, GPU1 MTP (3 draft token). Mindkettő TP1-es, 262K maximum kontextus, FP8 KV cache, és egy LiteLLM proxy osztja el köztük a forgalmat. Az összes szám TTFT p50, hacsak nem írom másképp.

Speculative-Decoding on ZoliBen Csupra(Kabra)

MTP vs prompt caching — Qwen3.8-27B-FP8 2× H100-on: mit érdemes használni?