DeepSeek-V3
6710 亿参数的 MoE 模型,性能接近 GPT-4o,完全开放权重。
约 557 万美元最终一次训练的 GPU 成本
为什么重要
报告称最终训练只用了约 560 万美元的算力,刷新了业界对训练成本的认知。
代价与争议
该成本不含前期研究和实验,各方对真实总成本仍有争论。
源自
引出
出处: arxiv.org ↗
6710 亿参数的 MoE 模型,性能接近 GPT-4o,完全开放权重。
约 557 万美元最终一次训练的 GPU 成本
报告称最终训练只用了约 560 万美元的算力,刷新了业界对训练成本的认知。
该成本不含前期研究和实验,各方对真实总成本仍有争论。
出处: arxiv.org ↗