论文阅读笔记AI篇 —— Transformer模型理论+实战 (三)-编程知识

论文阅读笔记AI篇 —— Transformer模型理论+实战 (三)

论文阅读笔记AI篇 —— Transformer模型理论+实战（三）

第三遍阅读（精读）
- 3.1 Attention和Self-Attention的区别？
- 3.2 Transformer是如何进行堆叠的？
- 3.3 如何理解Positional Encoding？
- 3.x 文章涉及的其它知识盲区

第三遍阅读（精读）

精读的过程要把每个细节都钻研透，不留有死角。各种维度参数已经在“理论+实战（二）”中说清楚了，若之后还有疑问我再补上。

三、参考文章或视频链接
[1] 【超强动画，一步一步深入浅出解释Transformer原理！】

3.1 Attention和Self-Attention的区别？

3.1 参考文章或视频链接
[1] What’s the difference between Attention vs Self-Attention? What problems does each other solve that the other can’t?
[2] What’s the Difference Between Self-Attention and Attention in Transformer Architecture?

3.2 Transformer是如何进行堆叠的？

原文提到了Encoder与Decoder是可以进行 $N\times$ 堆叠的，那么堆叠之后的结构是什么？可以看到这就是堆叠之后的结构，这里的features是中间编码，6层decoder，每一层都需要拿features作为输入的一部分，这种设计思想也类似于ResNet。

图1 —— 来自参考文章[1]

再看到原始的Transformer结构图中，对Outputs提到了一个(shifted right)，这是什么意思？参考文章[4]中的动图诠释了这一点，shifted right是说不停的拿最新的预测词作为Outputs的输入，其实仔细想想，你写文章也绝对不可能是写下一个词语而不依赖上一句，一定是有前文的信息作为输入，才能让你流畅的写出下一个词语的。

图2 —— 来自参考文章[4]

3.5 参考文章或视频链接
[1] Transformer’s Encoder-Decoder Let’s Understand The Model Architecture
[2] What is purpose of stacking N=6 blocks of encoder and decoder in transformer?
[3] Stacked encoder and decoder blocks used in Transformers
[4] The Transformer Model - A Step by Step Breakdown of the Transformer’s Encoder-Decoder Architecture

3.3 如何理解Positional Encoding？

“需要使用Positional Encoding的原因也很简单，因为 Transformer 摈弃了 RNN 的结构，因此需要一个东西来标记各个字之间的时序，换言之，也即位置关系，而这个东西，就是位置嵌入”^[2]，文章[2]又说，理想情况下，位置嵌入的设计应该满足以下条件：

它应该为每个字输出唯一的编码
不同长度的句子之间，任何两个字之间的差值应该保持一致
它的值应该是有界的

先来看到文章中的Positional Encoding公式：
$2i)=sin(\frac{pos}{10000^\frac{2i}{d_{model}}})$
$2i+1)=cos(\frac{pos}{10000^\frac{2i}{d_{model}}})$

$d_{model}=512$ 是作者规定好的，代表编码长度。应该也可以修改的更长以提升性能？我不清楚，这里取何值较为合适呢？肯定有一个最优值。
$i$ 是指维度的下标，结合式子 $\frac{2i}{d_{model}}$ 中的分母 $d_{model}$ 理解，应该有 $\in [0, \frac{d_{model}-1}{2}]$ ，这是因为Word Embedding的维度大小是 $d_{model}$ ，所以为了Positional Embedding能与Word Embedding相加，肯定要能够一一对应。
$p os$ 为某句话中，这个Word所处的位置。

But using binary values would be a waste of space in the world of floats. 看英文原文有这么一句，

Positional Embedding 与 Word Embedding可以分开做concat拼接，但concat不一定有优势，初看这个东西我一定觉得作者在装神弄鬼，看完我理解了Positional Embedding的作用。

但是对于Word Embedding与Positional Embedding二者相加后，这个位置信息是如何体现出来的，则不甚明了，因为这就像两种颜色的墨水进行混合，Word Embedding是黑墨水，Positional Embedding是红墨水，两种数据直接相加就像把两种颜色的墨水混合到一起，那么要如何在相加之后的混合结果中体现Positional信息，则是我感到疑惑的。

Why do we mix two different concepts into the same multi-dimensional space? How can a model distinguish between word embeddings and positional encodings? ^[3] 两件毫不相干的事情怎么能相加到一个空间中，model要如何区分他们呢？
The model can learn to use the positional information without confusing the embedding (semantic) information. It’s hard to imagine what’s happening inside the network, yet it works. model可以在不混淆word embedding的情况下学到位置信息，你很难想象网络中究竟发生了，什么然而它就是工作了。然而，这是个什么解释？所谓ai的黑箱模型，恐怕说的就是这一点，神经网络的拟合能力太过强大了，以至于我们都不知道内部究竟发生了什么。

3.6 参考文章或视频链接
[1] Positional Encoding
重点阅读：[2] 中文版：《Transformer 中的 Positional Encoding》英文版：Transformer Architecture: The Positional Encoding
[3] Transformer’s Positional Encoding