论文OpenAI2020 年 1 月 23 日

Scaling Laws：规模定律

发现模型损失随参数量、数据量、算力呈平滑的幂律下降。

幂律损失与规模的关系

为什么重要

让“堆规模”从赌博变成可以计算的投资，直接支撑了 GPT-3 的豪赌。

代价与争议

低估了数据的重要性，两年后被 Chinchilla 修正。

引出

GPT-3Chinchilla

出处: arxiv.org ↗

在 3D 时间轴上查看 →