AI论文精选
⏶61

深入了解 DeepSeek-V3：扩展挑战与面向AI架构的硬件思考

发表
由 Niels RoggeNiels Rogge 提交
作者: Chenggang ZhaoChenggang Zhao, Chengqi Deng, Chong RuanChong Ruan, Damai DaiDamai Dai, Huazuo GaoHuazuo Gao, Jiashi LiJiashi Li, Liyue ZhangLiyue Zhang, Panpan Huang, Shangyan ZhouShangyan Zhou, Shirong MaShirong Ma, Wenfeng Liang, Ying He, Yuqing WangYuqing Wang, Yuxuan Liu, Y. X. Wei

摘要

大型语言模型 (LLM) 的快速扩展暴露了当前硬件架构的许多关键限制，包括内存容量、计算效率和互连带宽方面的制约。DeepSeek-V3 在 2,048 块 NVIDIA H800 GPU 上训练而成，展示了软硬件协同设计如何有效应对这些挑战，实现低成本的大规模训练和推理。本文深入分析了 DeepSeek-V3/R1 模型架构及其 AI 基础设施，重点介绍了 Multi-head Latent Attention (MLA) 以提高内存效率、Mixture of Experts (MoE) 架构以优化计算与通信权衡、FP8 混合精度训练以充分发挥硬件能力，以及 Multi-Plane 网络拓扑以最小化集群级网络开销等关键创新。基于 DeepSeek-V3 开发过程中遇到的硬件瓶颈，我们与学术界和工业界的同行们就潜在的未来硬件方向进行了更广泛的探讨，包括精确的低精度计算单元、纵向扩展和横向扩展的融合，以及低延迟通信结构的创新。这些见解突显了软硬件协同设计在满足日益增长的 AI 工作负载需求方面的关键作用，为下一代 AI 系统的创新提供了实用的蓝图。
查看 arXiv 页面查看 PDF

评论

Niels RoggeNiels Rogge
论文提交者

模型：https://huggingface.co/deepseek-ai/DeepSeek-V3-0324

YJYJ

随时随地学习音频概览：https://youtu.be/qzc3zPX9UZM

MeladMelad

我对这个完全陌生，但我看到这里有 Python，有 1800 行 Python 代码，这是一个随着时间积累和最佳实践形成的规范。我在搜索关于 Rust 和 Python 在使用 1,000,000 个线程时的内存占用时，结果显示 Rust 大约占用 130MB，而 Python 占用 1.5GB，Rust 或 Zig 的内存效率极高。尽管我没有使用这些语言中的任何一个，但我是一名 JS、TS 高级语言开发者。我的提议是逐行增量地将 Python 移植到 Rust，但问题在于导入的模块，比如像 torch, transformers, flash_attn 等库，这些都是 Python 特有的库，其中许多库都有庞大的 C++ 和 CUDA 后端。因此无法直接逐一移植，尽管我相信如果能这样做，就能彻底解决我们的问题。