深入理解Transformer，兼谈MHSA（多头自注意力）、Cross-Attention（交叉注意力）、LayerNorm、FFN、位置编码
时间：2024-03-30 16:15:49 来源：网络cs 作者：峨乐 栏目：卖家故事 阅读：
阅读本书更多章节>>>>
这种将label作为Decoder的输入的训练方式叫做Teacher Forcing，类似上述推理时将输出作为Decoder的输入的训练方式叫做Free Running。Teacher Forcing允许并行计算出每个时刻的输出，因此是最常用的
左图为BN，C为单个样本的特征维度（即特征图的Channels，表示特征的数量），H、W为特征的形状，因为特征可以是矩阵也可以是向量，因此统称特征形状。BN希望将每个特征变成0均值1方差，再变换成新的均值和方差，因此需要在一个Batch中，找寻每个样本的该特征，然后计算该特征的统计量，由于每个特征的统计量需要单独维护，因此构造BN需要传入特征的数量，也就是C。同时，BN的可学习参数 w e i g h t + b i a s = 2 ∗ C weight+bias=2*C weight+bias=2∗C中图为LN，LN希望不依赖Batch，将单个样本的所有特征变成0均值1方差，再变换成新的均值和方差，因此需要指定样本形状，告诉LN如何计算统计量，由于样本中的每个值，都进行均值和方差的变换，因此构造LN需要传入样本的形状，也就是C、H、W。同时，LN的可学习参数 w e i g h t + b i a s = 2 ∗ C ∗ H ∗ W weight+bias=2*C*H*W weight+bias=2∗C∗H∗W示例：
SA和CA的后续运算是一致的，V、K、Q矩阵通过Attention函数计算Attention分数，然后对V矩阵进行加权求和，得到Attention的输出。Transformer用的Attention函数是Scaled Dot-Product Attention，公式如下：
Attention ( Q , K , V ) = softmax ( Q K T d k ) V \text{Attention}(Q, K, V)=\text{softmax}(\frac{QK^T}{\sqrt{d_k}})V Attention(Q,K,V)=softmax(dk QKT)V如果是Decoder的Attention函数则需要Mask掉softmax的输出，使得未来时刻对应的V接近0，如下图：
计算的细化过程如下图：
Q K T QK^T QKT内积的含义是计算相似度，因此中间 ( m , n ) (m, n) (m,n)矩阵的第m行，表示第m个query对所有key的相似度之后除以 d k \sqrt{d_k} dk 进行Scale，并且Mask（具体操作为将未来时刻对应的点积结果置为 − ∞ -\infty −∞，从而Softmax运算后接近0），然后对 ( m , n ) (m, n) (m,n)矩阵的每一行进行Softmax最后output矩阵的第m行，表示第m个权重对不同帧的value进行加权求和需要注意的是 Attention最后的输出，序列长度由Q决定，向量维度由V决定Q和K的向量维度一致，序列长度可以不同；K和V的序列长度一致，向量维度可以不同Softmax是在计算第m个query对不同key的相似度的权重，求和为1除以 d k \sqrt{d_k} dk 的原因是因为后面需要进行Softmax运算，具有最大值主导效果。当 d k d_k dk较小时，点积的结果差异不大，当 d k d_k dk较大时，点积的结果波动较大（假设每个query和key都是0均值1方差的多维随机变量，则它们的点积 q ⋅ k = ∑ i = 1 d k q i k i q \cdot k=\sum_{i=1}^{d_k} q_ik_i q⋅k=∑i=1dkqiki，为0均值 d k d_k dk方差的多维随机变量），从而Softmax后，大量值接近0，这样会导致梯度变得很小，不利于收敛。因此除以一个值，会使得这些点积结果的值变小，从而Softmax运算的最大值主导效果不明显
MultiHead ( Q , K , V ) = Concat ( h e a d 1 , h e a d 2 , . . . , h e a d h ) W O h e a d i = Attention ( Q i , K i , V i ) \begin{aligned} \text{MultiHead}(Q, K, V)&=\text{Concat}(head_1, head_2, ..., head_h)W^O \\ head_i&=\text{Attention}(Q_i, K_i, V_i) \end{aligned} MultiHead(Q,K,V)headi=Concat(head1,head2,...,headh)WO=Attention(Qi,Ki,Vi)由于MHSA不能改变输入输出形状，所以每个SA的设计是：当 d m o d e l = 512 d_{model}=512 dmodel=512， h = 8 h=8 h=8时， d k = d v = d m o d e l / h = 64 d_k=d_v=d_{model}/h=64 dk=dv=dmodel/h=64在实际运算时，可以通过一个大的矩阵运算，将输入投影到 ( n , d m o d e l ) (n, d_{model}) (n,dmodel)，然后在特征维度Split成h个矩阵，Q、K、V都可如此操作因此一个MHSA的参数量： 4 ∗ d m o d e l ∗ d m o d e l = 4 ∗ d m o d e l 2 4*d_{model}*d_{model}=4*d^2_{model} 4∗dmodel∗dmodel=4∗dmodel2，即Q、K、V加最后的MLP
FFN ( x ) = m a x ( 0 , x W 1 + b 1 ) W 2 + b 2 \text{FFN}(x)=max(0,xW_1+b_1)W_2+b_2 FFN(x)=max(0,xW1+b1)W2+b2
采用同一个MLP，对输入特征的每一帧进行维度变换（通常是增大为4倍），然后RELU，最后再采用另一个MLP，将输入特征的每一帧恢复回原来的维度因此一个FFN的参数量： d m o d e l ∗ 4 ∗ d m o d e l + 4 ∗ d m o d e l ∗ d m o d e l = 8 ∗ d m o d e l 2 d_{model}*4*d_{model}+4*d_{model}*d_{model}=8*d^2_{model} dmodel∗4∗dmodel+4∗dmodel∗dmodel=8∗dmodel2，即维度提升MLP加维度恢复MLP综合，一个Encoder Layer的参数量为： 12 ∗ d m o d e l 2 12*d^2_{model} 12∗dmodel2，一个Decoder Layer的参数量为： 16 ∗ d m o d e l 2 16*d^2_{model} 16∗dmodel2上述所有参数估计忽略LayerNorm的参数，因为其数量级较小
PE ( p o s , 2 i ) = s i n ( p o s / 1000 0 2 i d m o d e l ) PE ( p o s , 2 i + 1 ) = c o s ( p o s / 1000 0 2 i d m o d e l ) \begin{aligned} \text{PE}(pos, 2i)=sin(pos/10000^{\frac{2i}{d_{model}}}) \\ \text{PE}(pos, 2i+1)=cos(pos/10000^{\frac{2i}{d_{model}}}) \end{aligned} PE(pos,2i)=sin(pos/10000dmodel2i)PE(pos,2i+1)=cos(pos/10000dmodel2i)pos表示帧的位置，第二个参数表示特征的位置，奇偶交替，也就说：不同位置的同一特征，根据位置映射不同频率的正弦函数进行编码；同一位置的不同特征，根据奇偶分布映射不同频率的正弦函数进行编码位置编码值的范围是[-1, 1]（Embedding的权重需要除以 d m o d e l \sqrt{d_{model}} dmodel 的原因），与Embedding对应元素相加，即可输入到Attention中 阅读本书更多章节>>>>
Attention Is All You Need——集中一下注意力
Transformer其实不是完全的Self-Attention（SA，自注意力）结构，还带有Cross-Attention（CA，交叉注意力）、残差连接、LayerNorm、类似1维卷积的Position-wise Feed-Forward Networks（FFN）、MLP和Positional Encoding（位置编码）等本文涵盖Transformer所采用的MHSA（多头自注意力）、LayerNorm、FFN、位置编码对1维卷积的详解请参考深入理解TDNN（Time Delay Neural Network）——兼谈x-vector网络结构对SA的Q、K、V运算的详解请参考深入理解Self-attention（自注意力机制）Transformer的训练和推理
序列任务有三种： 序列转录：输入序列长度为N，输出序列长度为M，例如机器翻译序列标注：输入序列长度为N，输出序列长度也为N，例如词性标注序列总结：输入序列长度为N，输出为分类结果，例如声纹识别 前两个序列任务，常用Transformer进行统一建模，Transformer是一种Encoder-Decoder结构。在Transformer中：推理时 Encoder负责将输入 ( x 1 , x 2 , . . . , x n ) (x_1, x_2, ..., x_n) (x1,x2,...,xn)，编码成隐藏单元（Hidden Unit） ( z 1 , z 2 , . . . , z n ) (z_1, z_2, ..., z_n) (z1,z2,...,zn)，Decoder根据隐藏单元和过去时刻的输出 ( y 1 , y 2 , . . . , y t − 1 ) (y_{1}, y_{2}, ..., y_{t-1}) (y1,y2,...,yt−1)， y 0 y_{0} y0为起始符号"s"或者 y 0 = 0 y_{0}=0 y0=0（很少见），解码出当前时刻的输出 y t y_{t} yt，Decoder全部的输出表示为 ( y 1 , y 2 , . . . , y m ) (y_{1}, y_{2}, ..., y_{m}) (y1,y2,...,ym)由于当前时刻的输出只依赖输入和过去时刻的输出（不包含未来信息），因此这种输出的生成方式是自回归式的，也叫因果推断（Causal Inference） 训练时 Encoder行为不变，Decoder根据隐藏单元和过去时刻的label ( y ^ 1 , y ^ 2 , . . . , y ^ t − 1 ) (\hat{y}_{1}, \hat{y}_{2}, ..., \hat{y}_{t-1}) (y^1,y^2,...,y^t−1)，解码出当前时刻的输出 y t y_{t} yt，由于需要对每个 y t y_{t} yt计算损失，而系统必须是因果的，因此每次解码时，需要Mask掉未来的信息，也就是全部置为 − ∞ -\infty −∞（从而Softmax运算后接近0），当label为“s I am a student”，则Decoder每一时刻的输入，如下图这种将label作为Decoder的输入的训练方式叫做Teacher Forcing，类似上述推理时将输出作为Decoder的输入的训练方式叫做Free Running。Teacher Forcing允许并行计算出每个时刻的输出，因此是最常用的 Transformer的Encoder和Decoder
Transformer的Encoder行为与上述一致，设Encoder的输入特征图形状为 ( n , d m o d e l ) (n, d_{model}) (n,dmodel)，即长度为n的序列，序列的每个元素是 d m o d e l d_{model} dmodel维的向量，Encoder Layer（如下图左边重复N次的结构）是不改变输入特征图形状的，并且Encoder Layer内部的Sub-layer也是不改变输入特征图形状的，从而Encoder的输出特征图形状也为 ( n , d m o d e l ) (n, d_{model}) (n,dmodel)这样设计的原因是：每个Encoder Layer都有两次残差连接（如下图中的Add运算），残差连接要求输入输出特征图形状不变，为了减少超参数，所以这样设计 LayerNorm
LayerNorm（如上图中的Norm运算）常用在可变长度序列任务里，接下来通过对比BatchNorm和LayerNorm，认识LayerNorm左图为BN，C为单个样本的特征维度（即特征图的Channels，表示特征的数量），H、W为特征的形状，因为特征可以是矩阵也可以是向量，因此统称特征形状。BN希望将每个特征变成0均值1方差，再变换成新的均值和方差，因此需要在一个Batch中，找寻每个样本的该特征，然后计算该特征的统计量，由于每个特征的统计量需要单独维护，因此构造BN需要传入特征的数量，也就是C。同时，BN的可学习参数 w e i g h t + b i a s = 2 ∗ C weight+bias=2*C weight+bias=2∗C中图为LN，LN希望不依赖Batch，将单个样本的所有特征变成0均值1方差，再变换成新的均值和方差，因此需要指定样本形状，告诉LN如何计算统计量，由于样本中的每个值，都进行均值和方差的变换，因此构造LN需要传入样本的形状，也就是C、H、W。同时，LN的可学习参数 w e i g h t + b i a s = 2 ∗ C ∗ H ∗ W weight+bias=2*C*H*W weight+bias=2∗C∗H∗W示例： >>> input=torch.rand([1, 3, 2, 2])>>> inputtensor([[[[0.1181, 0.6704], [0.7010, 0.8031]], [[0.0630, 0.2088], [0.2150, 0.6469]], [[0.5746, 0.4949], [0.3656, 0.7391]]]])>>> layer_norm=torch.nn.LayerNorm((3, 2, 2), eps=1e-05)>>> output=layer_norm(input)>>> outputtensor([[[[-1.3912, 0.8131], [ 0.9349, 1.3424]], [[-1.6113, -1.0293], [-1.0047, 0.7191]], [[ 0.4308, 0.1126], [-0.4035, 1.0872]]]], grad_fn=<NativeLayerNormBackward0>)>>> output[0].mean()tensor(-1.7385e-07, grad_fn=<MeanBackward0>)>>> output[0].std()tensor(1.0445, grad_fn=<StdBackward0>)>>> layer_norm.weight.shapetorch.Size([3, 2, 2])>>> layer_norm.bias.shapetorch.Size([3, 2, 2])# 等价于>>> mean=input.mean(dim=(-1, -2, -3), keepdim=True)>>> var=input.var(dim=(-1, -2, -3), keepdim=True, unbiased=False)>>> (input-mean)/torch.sqrt(var+1e-05)tensor([[[[-1.3912, 0.8131], [ 0.9349, 1.3424]], [[-1.6113, -1.0293], [-1.0047, 0.7191]], [[ 0.4308, 0.1126], [-0.4035, 1.0872]]]])>>> input=torch.rand([1, 200, 80])>>> layer_norm=torch.nn.LayerNorm(80)>>> layer_norm(input)[0][0].mean()tensor(8.3447e-08, grad_fn=<MeanBackward0>)>>> layer_norm(input)[0][1].mean()tensor(-8.0466e-08, grad_fn=<MeanBackward0>)>>> layer_norm(input)[0][0].std()tensor(1.0063, grad_fn=<StdBackward0>)>>> layer_norm(input)[0][1].std()tensor(1.0063, grad_fn=<StdBackward0>)SA（自注意力）与CA（交叉注意力）
对于一个输入序列 ( seq-len , d m o d e l ) (\text{seq-len}, d_{model}) (seq-len,dmodel)，SA通过Q、K、V计算矩阵，计算得到对应长度的Q、K、V序列，这些序列构成Q、K、V矩阵如果Q、K、V矩阵完全由同一个序列计算而来，则称为自注意力SA；如果V、K矩阵由同一个序列计算而来，Q矩阵由另一个序列计算而来，则称为交叉注意力CA需要注意，Decoder Layer中的第二个MHSA（如下图），从左到右的输入，计算顺序是V、K、Q，其中V、K是根据输入的隐藏单元进行计算的，即 ( z 1 , z 2 , . . . , z n ) (z_1, z_2, ..., z_n) (z1,z2,...,zn)，得到的V、K矩阵形状分别为 ( n , d k ) (n, d_k) (n,dk)、 ( n , d v ) (n, d_v) (n,dv)，而Q是根据输出的隐藏单元进行计算的，即 ( z ^ 1 , z ^ 2 , . . . , z ^ m ) (\hat{z}_1, \hat{z}_2, ..., \hat{z}_m) (z^1,z^2,...,z^m)，得到的Q矩阵形状为 ( m , d k ) (m, d_k) (m,dk)，因此这是一种CA运算SA和CA的后续运算是一致的，V、K、Q矩阵通过Attention函数计算Attention分数，然后对V矩阵进行加权求和，得到Attention的输出。Transformer用的Attention函数是Scaled Dot-Product Attention，公式如下：Attention ( Q , K , V ) = softmax ( Q K T d k ) V \text{Attention}(Q, K, V)=\text{softmax}(\frac{QK^T}{\sqrt{d_k}})V Attention(Q,K,V)=softmax(dk QKT)V如果是Decoder的Attention函数则需要Mask掉softmax的输出，使得未来时刻对应的V接近0，如下图：
计算的细化过程如下图： Q K T QK^T QKT内积的含义是计算相似度，因此中间 ( m , n ) (m, n) (m,n)矩阵的第m行，表示第m个query对所有key的相似度之后除以 d k \sqrt{d_k} dk 进行Scale，并且Mask（具体操作为将未来时刻对应的点积结果置为 − ∞ -\infty −∞，从而Softmax运算后接近0），然后对 ( m , n ) (m, n) (m,n)矩阵的每一行进行Softmax最后output矩阵的第m行，表示第m个权重对不同帧的value进行加权求和需要注意的是 Attention最后的输出，序列长度由Q决定，向量维度由V决定Q和K的向量维度一致，序列长度可以不同；K和V的序列长度一致，向量维度可以不同Softmax是在计算第m个query对不同key的相似度的权重，求和为1除以 d k \sqrt{d_k} dk 的原因是因为后面需要进行Softmax运算，具有最大值主导效果。当 d k d_k dk较小时，点积的结果差异不大，当 d k d_k dk较大时，点积的结果波动较大（假设每个query和key都是0均值1方差的多维随机变量，则它们的点积 q ⋅ k = ∑ i = 1 d k q i k i q \cdot k=\sum_{i=1}^{d_k} q_ik_i q⋅k=∑i=1dkqiki，为0均值 d k d_k dk方差的多维随机变量），从而Softmax后，大量值接近0，这样会导致梯度变得很小，不利于收敛。因此除以一个值，会使得这些点积结果的值变小，从而Softmax运算的最大值主导效果不明显 MHSA
MultiHead ( Q , K , V ) = Concat ( h e a d 1 , h e a d 2 , . . . , h e a d h ) W O h e a d i = Attention ( Q i , K i , V i ) \begin{aligned} \text{MultiHead}(Q, K, V)&=\text{Concat}(head_1, head_2, ..., head_h)W^O \\ head_i&=\text{Attention}(Q_i, K_i, V_i) \end{aligned} MultiHead(Q,K,V)headi=Concat(head1,head2,...,headh)WO=Attention(Qi,Ki,Vi)由于MHSA不能改变输入输出形状，所以每个SA的设计是：当 d m o d e l = 512 d_{model}=512 dmodel=512， h = 8 h=8 h=8时， d k = d v = d m o d e l / h = 64 d_k=d_v=d_{model}/h=64 dk=dv=dmodel/h=64在实际运算时，可以通过一个大的矩阵运算，将输入投影到 ( n , d m o d e l ) (n, d_{model}) (n,dmodel)，然后在特征维度Split成h个矩阵，Q、K、V都可如此操作因此一个MHSA的参数量： 4 ∗ d m o d e l ∗ d m o d e l = 4 ∗ d m o d e l 2 4*d_{model}*d_{model}=4*d^2_{model} 4∗dmodel∗dmodel=4∗dmodel2，即Q、K、V加最后的MLP
FFN
FFN的操作和MHSA中最后的MLP非常相似的，公式和图如下：FFN ( x ) = m a x ( 0 , x W 1 + b 1 ) W 2 + b 2 \text{FFN}(x)=max(0,xW_1+b_1)W_2+b_2 FFN(x)=max(0,xW1+b1)W2+b2
采用同一个MLP，对输入特征的每一帧进行维度变换（通常是增大为4倍），然后RELU，最后再采用另一个MLP，将输入特征的每一帧恢复回原来的维度因此一个FFN的参数量： d m o d e l ∗ 4 ∗ d m o d e l + 4 ∗ d m o d e l ∗ d m o d e l = 8 ∗ d m o d e l 2 d_{model}*4*d_{model}+4*d_{model}*d_{model}=8*d^2_{model} dmodel∗4∗dmodel+4∗dmodel∗dmodel=8∗dmodel2，即维度提升MLP加维度恢复MLP综合，一个Encoder Layer的参数量为： 12 ∗ d m o d e l 2 12*d^2_{model} 12∗dmodel2，一个Decoder Layer的参数量为： 16 ∗ d m o d e l 2 16*d^2_{model} 16∗dmodel2上述所有参数估计忽略LayerNorm的参数，因为其数量级较小 Embedding Layer和Softmax
Encoder和Decoder的Embedding Layer，以及最后的Softmax输出前，都有一个MLP，在Transformer中，这三个MLP是共享参数的，形状都是 ( dict-len , d m o d e l ) (\text{dict-len}, d_{model}) (dict-len,dmodel)， dict-len \text{dict-len} dict-len是字典大小在Embedding Layer中，权重都被除以了 d m o d e l \sqrt{d_{model}} dmodel ，从而Embedding的输出范围在[-1, 1]附近，这是为了让Embedding的值范围靠近Positional Encoding，从而可以直接相加Positional Encoding（位置编码）
Attention的输出是不具有时序信息的，如果把输入打乱，那么也只会导致对应的输出打乱而已，不会有导致值变化，但序列任务往往关注时序信息，一件事先发生和后发生，意义是不一样的，因此需要对Attention的输入添加位置编码位置编码的公式如下：PE ( p o s , 2 i ) = s i n ( p o s / 1000 0 2 i d m o d e l ) PE ( p o s , 2 i + 1 ) = c o s ( p o s / 1000 0 2 i d m o d e l ) \begin{aligned} \text{PE}(pos, 2i)=sin(pos/10000^{\frac{2i}{d_{model}}}) \\ \text{PE}(pos, 2i+1)=cos(pos/10000^{\frac{2i}{d_{model}}}) \end{aligned} PE(pos,2i)=sin(pos/10000dmodel2i)PE(pos,2i+1)=cos(pos/10000dmodel2i)pos表示帧的位置，第二个参数表示特征的位置，奇偶交替，也就说：不同位置的同一特征，根据位置映射不同频率的正弦函数进行编码；同一位置的不同特征，根据奇偶分布映射不同频率的正弦函数进行编码位置编码值的范围是[-1, 1]（Embedding的权重需要除以 d m o d e l \sqrt{d_{model}} dmodel 的原因），与Embedding对应元素相加，即可输入到Attention中 阅读本书更多章节>>>>
本文链接：https://www.kjpai.cn/gushi/2024-03-30/151002.html，文章来源：网络cs，作者：峨乐，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
上一篇：C++从入门到精通——命名空间
下一篇：返回列表