⏶126
“种子”扩散模型：具有高速推理能力的大规模扩散语言模型
发表
由 
Yuxuan Song 提交
Yuxuan Song 提交作者: Yuxuan Song, Zheng Zhang, 
Cheng Luo, Pengyang Gao, Fan Xia, Hao Luo, Zheng Li, Yuehang Yang, Hongli Yu, Xingwei Qu, Yuwei Fu, Jing Su, 
Ge Zhang, Wenhao Huang, Mingxuan Wang, Lin Yan, Xiaoying Jia, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Yonghui Wu, Hao Zhou
Yuxuan Song, Zheng Zhang, Cheng Luo, Pengyang Gao, Fan Xia, Hao Luo, Zheng Li, Yuehang Yang, Hongli Yu, Xingwei Qu, Yuwei Fu, Jing Su, Ge Zhang, Wenhao Huang, Mingxuan Wang, Lin Yan, Xiaoying Jia, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Yonghui Wu, Hao Zhou摘要
我们推出了 Seed Diffusion Preview，这是一个基于离散状态扩散的大规模语言模型，提供极快的推理速度。得益于非序列化的并行生成方式，离散扩散模型显著提升了速度，缓解了逐词元解码固有的延迟问题，这一点最近已得到证明（例如，Mercury Coder、Gemini Diffusion）。Seed Diffusion Preview 在 H20 GPU 上实现了 2,146 词元/秒的推理速度，同时在一系列标准代码评估基准测试中保持了有竞争力的性能，速度明显快于当代的 Mercury 和 Gemini Diffusion 模型，在代码模型的速度-质量帕累托前沿上确立了新的业界顶尖水平。
Wu
Cameron Barker
ZINWIN(Zuojun-Ye)
Pengxiang Li
Peiyu Wang
John Rachwan
Aman Gupta
nieshen
Tariq Shams
我们推出了 Seed Diffusion Preview，这是一种基于离散态扩散的大规模语言模型，提供极快的推理速度。由于非顺序的并行生成，离散扩散模型提供了显著的加速，以缓解逐令牌解码固有的延迟，正如最近所证明的那样（例如，Mercury Coder，Gemini Diffusion）。Seed Diffusion Preview 在 H20 GPU 上实现了 2,146 令牌/秒的推理速度，同时在标准代码评估基准的扫描中保持了具有竞争力的性能，显着快于当前的 Mercury 和 Gemini Diffusion，为代码模型的速度-质量帕累托前沿建立了新的最先进水平。