论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，2019
代码：[tensorflow]，[pytorch]
来源：李沐精度BERT
0、摘要
与之前模型的区别：
-
GPT考虑的是一个单向预测，用左边的词预测右边的词；但BERT则是同时利用左边和右边的词，来预测中间的词
-
ELMO用的BiLSTM，但是它使用的是RNN结构，在应用到下游任务时它需要对模型结构做调整；但BERT使用的是transformer，在下游任务中只需要改上层的一小部分就可以了
基本效果：
-
11个任务上取得更高的精度
-
GLUE提升7.7%，至80.5%；MultiL1提升4.6%，至86.7%；SQuAD v1.1提升1.5，至93.2；SQuAD v2提升5.1，至83.1
1、导言
句子层面的任务：情感识别
单词层面的任务：命名实体识别
下游任务使用预训练模型的两种方式：
-
Feature-based：下游任务先用训练好的预训练模型来提取训练语料的特征，这个特征可能是预训练模型encoder的输出，也可能是某个中间层的隐藏状态；然后下游任务再用这个特征对自己的模型做训练。简单来说，就是用预训练模型做一个特征提取器？
-
Fine-tuning：根据下游特定的任务，在原来的预训练模型上进行一些结构方面的修改，这些修改通常是在模型的最后一层，使得模型输出是当前任务所需要的；然后在新的语料上重新训练修改后的模型。
之前工作的局限性：从左到右，单向，不太符合人类对语言的理解
MLM：Masked Language Model，带掩码的语言模型
贡献：
（1）展示了双向信息的重要性
（2）第一个基于微调、且在各项任务上都取得优越性能的预训练模型
2、相关工作
非监督的基于特征的方法：代表作是ELMo
非监督的微调方法：代表作是GPT
在有标注的数据上做迁移学习
3、BERT
Pre-training：在无标注的数据上做训练
Fine-tuning：模型首先用预训练好的模型做参数初始化，然后用下游任务标注好的数据对所有的参数做训练
L：transformer块的个数
H：隐藏层的大小
A：自注意力机制模块head的数量
| L | H | A | Total parameters | |
|---|---|---|---|---|
| BERT_Base | 12 | 768 | 12 | 110M |
| BERT_Large | 24 | 1024 | 16 | 340M |
切词方式：WordPiece（类似于BPE，字节对编码？？）
句子的第一个 token 永远是 [CLS]，它代表 classification，其在最后一个隐藏层的输出就代表整个序列在句子层面的信息。
句子与句子之间用一个 [SEP] 分割，它代表 separate。
上图即为BERT嵌入层的做法，分为三部分：
- Token Embedding：词元的嵌入，就是正常的单词嵌入向量
- Segment Embedding：词元属于哪一个句子的嵌入，是属于第一个句子，还是属于第二个句子（第一个[SEP]属于第一个句子）
- Position Embedding：词元的位置嵌入，是在整个输入序列中的位置（不是在单独某一个句子中的位置）
BERT用的是transformer的编码器（没用decoder），所以它的每一个词都会跟句子中的其他词计算注意力关系。
预训练中两个比较重要的点：（1）目标函数；（2）数据。
任务一：Masked LM，预训练的数据有Mask，但是微调的数据没有Mask，这会带来一些问题（什么问题？？），解决方案是：
- 15%被选中的待预测词，有80%的概率被替换成 [Mask] 掩码符号，有10%的概率被替换成随机的词元，有10%的概率保持不变但依然去做预测。
任务二：Next Sentence Prediction（NSP），预测下一个句子
- 两个句子A和B，50%的概率B是在A之后（正例），有50%的概率B就是从其他地方选取出来的、跟A无关的一个句子（负例）
注：上面的 ## 表示后面的那个词跟前面的词是一个单词，因为 flightless 是一个不常见的单词，所以就把它分开成两个常见的单词flight和less。
BERT的Fine-Tuning：根据下游任务的形式，设计模型的输入和输出（模型本身不需要做太多改变）
- 如果做分类，就用第一个词元 [CLS] 的输出来做分类；
- 如果做句子预测，就对每个词元的输出再加一个输出层，做softmax做预测；
4、实验
GLUE：分类任务，对第一个词元 [CLS] 的输出做softmax，然后分类。
SQuAD v1.1：Q&A任务，给模型一段话，然后提一个问题，需要在这段话中找出这个问题的答案，这个答案已经在这段话里面了，模型只需要找出答案片段的开始和结尾。
5、消融实验
BERT用作Feature-Based的效果并不好，用作Fine-Tuning更好一些。
6、结论
（1）使用非监督的预训练是很好的，这使得那些数据量很小的下游任务也能使用神经网络
（2）主要的贡献就是把前人的工作成果扩展到双向的深度结构上
