outline
自督导式模型有跨语言的能力
- 中文：DRCD的数据集
- 英文：SQuAD的数据集
在104种语言上进行学习，并在英文上进行微调，结果在中文上效果也比较好。
XTREME Benchmark
只用英文进行微调，在其他剩下的语言中进行测试。
bert可以无视语言的表象，只了解符合背后代表的语义。
看看英文对中文相近的分数算出来，然后取平均值得到MRR，该值越大越好。
语言的信息藏在哪里呢？通过embedding展示，相近的词更接近
英文转化成向量后，并对其进行偏移向量后，能够重构为中文。
可以在英文上测试，并在中文上进行测试。中英文上的embedding是有点差距的。
自督导式模型有跨领域的能力
把DNA的组成替换成字符型的表示形式进行学习
用bert有明显的提升。不仅学到了语义信息，也学到了一些通用的能力，在其他领域也能有较好的性能，
在DNA 蛋白质 音乐上都有所帮助。
pre-trained模型有强化模型的能力
跨语言学习的能力用在语音回答系统。
终极状态：输入是语音，输出也是语音。
光用hubert是不行的，可以通过中间层后再加几层网络：
可以把Hubert的输出 丢给文字的预训练Bert
在人造的资料上训练Bert
通过规则生成一些tokens，并将tokens进行映射，之后再送到网络中进行学习。
- random产生的资料的效果不好
- pair产生资料的效果还是非常明显的
- shuffle产生的资料效果还是可以的
token的序列长度是非常重要的。
