数字工具实践录

DGX Spark 本地推理：NVFP4 与 KV Cache 实测

2026-09

DGX Spark 搭载 NVIDIA GB10 Grace Blackwell Superchip，128GB 统一内存，20 核 CPU。对于需要在本地跑大模型又不想走云 API 的场景，它是目前性价比最高的方案之一。

SGLang + NVFP4

用 SGLang 做 serving，Qwen3-8B 在 NVFP4 量化下实测：

• Greedy 中位吞吐：约 50 tok/s
• 8 并发：约 148 tok/s
• 32 并发：约 258 tok/s

NVFP4 是 Blackwell 架构原生支持的低精度格式，不需要额外校准。配合 DFlash2 可以在显存受限时做 offload，代价是吞吐下降约 30%。

KV Cache

128GB 统一内存是 Spark 的核心优势。Qwen3-8B 的 KV Cache 在 32K 上下文下约占 4GB，可以同时服务多个长上下文请求而不 OOM。对比 24GB 显存的消费级 GPU，Spark 的统一内存消除了 offload 延迟。

多服务共存

vLLM（推理）、ComfyUI（图像生成）和 ASR 服务在同一台机器上跑，需要显存隔离策略。实测 vLLM 限 NVFP4 后约占 18GB，ComfyUI 约 12GB，ASR（Qwen3-ASR-1.7B）约 2GB，三者共存不触发 OOM。