论文OpenAI2018 年 6 月 11 日

GPT-1：生成式预训练

先在海量文本上做“预测下一个词”的无监督预训练，再针对具体任务微调。

1.17 亿参数

为什么重要

确立了“预训练 + 微调”范式，也是 GPT 这个名字的起点（Generative Pre-trained Transformer）。

代价与争议

规模很小，效果还比不上同年稍晚的 BERT。

源自

Transformer

引出

GPT-2

出处: cdn.openai.com ↗

在 3D 时间轴上查看 →