上节课，给大家介绍了整个课程的内容安排，知识点还是比较多的。接下来，我们就抓紧时间，直接进入正题了。这节课的课程目标，是从宏观上了解 Transformer 的模型结构。

Transformer简介

关于这个模型，网上的内容可以说是铺天盖地，因为这个模型无比的重要，可以说没有他，就没有现在当红的 ChatGPT 和 AIGC 的应用，同时，也是现在 AI 相关岗位面试的最重要必考点，没有之一，所以，这个模型的重要性怎么强调都不为过。

Transformer 是一种用于自然语言处理和机器翻译等任务的深度学习模型架构，它由Google的研究人员在2017年提出。相比于传统的循环神经网络（RNN）和卷积神经网络（CNN），Transformer 使用了全新的架构，通过注意力机制（Attention）来捕捉输入序列中的上下文关系。

论文地址：https://arxiv.org/abs/1706.03762

模型结构

这一部分内容，可以对照论文中的模型结构图，来理解消化。

  1. 输入嵌入层（Input Embedding Layer）：将输入序列中的单词或符号转换为向量表示，以便模型能够处理。

  2. 位置编码层（Positional Encoding Layer）：为输入序列中的每个位置添加位置信息，以便模型能够捕捉序列中的顺序关系。

  3. 编码器（Encoder）：由多个相同的编码器层堆叠而成，每个编码器层包含以下子层：

    • 多头自注意力机制（Multi-head Self-Attention）：通过计算每个位置与其他位置之间的注意力权重，捕捉输入序列中的全局依赖关系。

    • 前馈神经网络（Feed-forward Neural Network）：对每个位置的特征进行独立的映射和处理，增强模型的非线性表达能力。

    • 残差连接（Residual Connection）和层归一化（Layer Normalization）：用于加强模型的梯度流动和减轻训练过程中的梯度消失问题。

  4. 解码器（Decoder）：由多个相同的解码器层堆叠而成，每个解码器层包含以下子层：

    • 带掩码的多头自注意力机制（Masked Multi-head Self-Attention）：帮助解码器在生成输出序列时对输入序列进行关注。

    • 编码器-解码器注意力机制（Encoder-Decoder Attention）：帮助解码器在生成每个位置的输出时关注输入序列的相关信息。

    • 前馈神经网络（Feed-forward Neural Network）：对每个位置的特征进行独立的映射和处理。

    • 残差连接（Residual Connection）和层归一化（Layer Normalization）：加强梯度流动和减轻梯度消失问题。

  5. 输出层（Output Layer）：将解码器的最后一层输出映射为最终的目标序列概率分布，用于生成翻译结果或进行其他自然语言处理任务。

对初学者来说，只看模型结构图，还是会有很多困惑。下节课，我们再用一个翻译任务的具体例子，结合数据，来给大家直观介绍一下 Transformer 的各个层的实现细节。

本文链接：http://ichenhua.cn/edu/note/649

版权声明：本文为「陈华编程」原创课程讲义，请给与知识创作者起码的尊重，未经许可不得传播或转售！