为什么不再逐字吐?扩散式生成的基本逻辑
传统自回归模型像打字员,一个字一个字往外挤,延迟随长度线性增长。DiffuSpace 发布的 Clover-35B-A3B-Preview 把这套逻辑彻底翻了:把生成看作去噪,先把整块 block_size=32 全部 mask,再一次性预测所有位置,按置信度保留高分 token,低分位置留到下一轮再修。这种 block diffusion 思路让并行度直接拉满,不再受单步序列依赖拖累。

Block Diffusion 怎么并行跑完 32 个词块
模型先对 32 个位置做全并行前向,得到每个位置的分布。接着引入 threshold=0.95 的 LowConfidence 解码:概率低于阈值的位置标为低置信,只把高置信 token 写入序列,剩下位置保持 mask 进入下一轮。每轮只修一小部分,整体轮数远少于逐字步数,推理吞吐直接起飞。
LowConfidence 解码的阈值 0.95
- 阈值越高,单轮保留的 token 越少,轮数越多,但生成质量更稳;
- 阈值越低,单轮产出多,但容易引入错误,需要更多轮修正;
- 官方在预览版里默认 0.95,算是速度和可读性的折中。
代价在哪里:显存、重复与纯文本限制
权重是 BF16,完整加载约 69GB,单张 48GB 显存跑不下,必须切分或做 CPU offload。模型是纯文本,没有视觉或音频头,长文本生成时容易出现重复片段,官方也在模型卡里提示了这点。Apache-2.0 许可允许商用,但部署门槛实实在在摆在那儿。
基座 Qwen3.6-35B-A3B 与 MoE 架构的配合
底座是 Qwen3.6-35B-A3B,混合 Gated DeltaNet 与全注意力的 MoE,共 40 层,每层只有约 3B 参数被激活。MoE 的稀疏激活意味着单次推理只加载少量专家权重,显存占用比同规模稠密模型友好得多,配合 block diffusion 的并行前向,能在有限显存里跑起 128K 上下文(131,072 tokens)。
怎么在自己的机器上跑起来
官方推荐用 SGLang 做推理服务,支持张量并行与专家并行,能把 69GB 权重切到多张 GPU 上。想折腾的同学可以直接去模型页下载权重,DiffuSpace 官方博客里有更详细的评测与部署说明。注意这是 Preview 版,生产环境先小规模验证再上。
官方明确建议部署和评测用自家的 SGLang 实现,而不是 Hugging Face 的独立 PyTorch 推理路径——两套实现在数值细节上有差异,同样解码设置可能吐出不一样的文本。另外注意这是 Preview 版,DiffuSpace 说这是他们的第一个模型,后续迭代可能调整解码策略,尝鲜可以,生产环境先小规模验证。