BERT
双向 Transformer 编码器，通过“完形填空”式预训练理解语言。
3.4 亿参数（Large 版）
为什么重要
一举刷新 11 项 NLP 任务纪录，带动了整个 NLP 领域的预训练热潮，并很快用进了 Google 搜索。
代价与争议
只“理解”不“生成”，后来在生成式大模型路线上让位给了 GPT 式的解码器。
源自
引出
出处: arxiv.org ↗
双向 Transformer 编码器，通过“完形填空”式预训练理解语言。
3.4 亿参数（Large 版）
一举刷新 11 项 NLP 任务纪录，带动了整个 NLP 领域的预训练热潮，并很快用进了 Google 搜索。
只“理解”不“生成”，后来在生成式大模型路线上让位给了 GPT 式的解码器。
出处: arxiv.org ↗