Home

Weekly AI 2024-12-17 Transformer

这是第一篇Weekly AI，主要是帮助我更快更好的整理对现有AI体系的理解，也希望能帮到看到这篇文章的你～

本周主要研究了 Transformer 架构。

Transformer 基础架构

Transformer 是一个基于注意力机制的编码器-解码器架构：

  • 编码器的输出是输入的连续向量表示（continuous vector representation）。

  • 解码器获取该连续向量，并逐步生成输出，同时参考前一个输出。

Inputs 部分详解

Inputs Embedding

  • 将输入的每个单词转换成向量

  • 每个 token 被映射到高维向量空间（通常 768 维）

  • 向量通过反向传播不断优化，捕获词的语义信息

Position Embedding

  • inputs embedding + positional encoding => positional input embeddings

  • 使用三角函数实现位置编码：

    PE(pos,2i) = sin(pos/10000^(2i/d_model))
PE(pos,2i+1) = cos(pos/10000^(2i/d_model))

- 奇数 time step 使用正弦，偶数 time step 使用余弦
- 这种设计允许模型学习相对位置关系

### Encoder Layer

- 将所有序列映射为 continuous vector
- 包含整个序列的语义信息

---

## 注意力机制

注意力机制是 Transformer 的核心创新，通过计算不同位置间的关联性来处理序列信息。

**Query、Key、Value 三者关系**：

- **Query**：当前位置的查询向量
- **Key**：可能被关注位置的索引向量
- **Value**：实际的信息内容

计算方式：

```python
Attention(Q,K,V) = softmax(QK^T/√dk)V

  • 除以√dk 为了控制梯度，防止 softmax 进入饱和区

  • softmax 确保所有注意力权重和为 1

RNN (循环神经网络, Recurrent Neural Network) 是什么？

RNN 模拟人阅读句子时的过程：

  1. 记住之前读过的内容

  2. 用之前的内容来理解当前的词

  3. 更新记忆

RNN 的基本原理

h_t = tanh(W_h * h_{t-1} + W_x * x_t + b_h)
y_t = W_y * h_t + b_y

  • h_t：当前时刻的隐藏状态（新记忆）

  • h_{t-1}：上一时刻的隐藏状态（旧记忆）

  • x_t：当前输入

  • W_h, W_x, W_y：权重矩阵

  • b_h, b_y：偏置项

  • tanh：激活函数

记忆更新与输出生成：

新记忆 = f(当前输入 + 旧记忆)
输出 = g(新记忆)

RNN 的工作举例

句子 "我喜欢猫"：

  • 第1步: 输入"我"

    • 记忆：记住"我"

    • 输出：这是一个人称代词

  • 第2步: 输入"喜欢"

    • 记忆：与"我"的上下文关联

    • 输出：正面情感

  • 第3步: 输入"猫"

    • 记忆：理解"我喜欢猫"

    • 输出：完成一个喜爱表达

RNN 的主要问题

  • 长期依赖问题：句子越长，前面的信息越容易丢失

  • 序列处理速度问题：必须按顺序处理，无法并行

生活中的比喻

RNN 就像透过小孔读长卷轴：

  • 一次只能看到一个字

  • 靠记忆理解整体含义

  • 读到最后时开头可能已模糊

注意力机制和 RNN 的本质区别

计算并行性：

  • RNN：必须一个接一个处理

    输入1 -> 处理 -> 输入2 -> 处理 -> 输入3 -> 处理

  • 注意力机制：可同时处理所有输入

    [输入1, 输入2, 输入3] -> 并行处理

长距离依赖：

  • RNN：信息传递链条式，距离越远越模糊

  • 注意力机制：任意词之间直接建立联系，无需多步传递

实际例子："我昨天在商场买了一个蓝色的书包"：

  • RNN：读到"书包"时，"我"的信息可能已变得模糊。

  • 注意力机制：可以直接关联"书包"与"买"、"蓝色"与"书包"，并且并行完成。

多头注意力机制 (Multi-head Attention)

  • 单头注意力：一个人看问题，一种理解

  • 多头注意力：多个人同时看问题，多种视角合并成更全面的理解

head_i = Attention(W_i_q * Q, W_i_k * K, W_i_v * V)
MultiHead(Q, K, V) = Concat(head_1,...,head_h)W_o

类比看电影：

  • 有人关注剧情发展

  • 有人关注人物对话

  • 有人关注场景细节

最后合并，形成整体理解。

自注意力 (Self-Attention)

普通注意力：两个不同序列之间的关系 自注意力：序列内部元素之间的关系

Q = W_q * X
K = W_k * X
V = W_v * X
Self_Attention = softmax(QK^T/√d_k)V

例子："我昨天买了一个蓝色的书包"：

  • 自注意力分析句子内部所有词之间的关联。

在编码器中，自注意力可看整个句子；在解码器中，自注意力只能看已生成的内容。

BERT (Bidirectional Encoder Representations from Transformers)

BERT 的核心创新在于其预训练策略和双向特性。

  1. 架构：

    • 使用 Transformer 编码器部分（双向）

    • BERT-base：12层编码器，768隐藏维度，12头注意力

    • BERT-large：24层编码器，1024隐藏维度，16头注意力

  2. 预训练任务：

    • Masked Language Model (MLM)：随机遮盖15%输入token，模型需预测遮盖词

    • Next Sentence Prediction (NSP)：预测两个句子是否相邻，理解句间关系

  3. 输入表示：

    • Token Embeddings

    • Segment Embeddings

    • Position Embeddings 三者相加得到最终输入

GPT (Generative Pre-trained Transformer)

GPT 系列是生成式 AI 的重要进展：

  1. 架构特点：

    • 使用 Transformer 解码器部分

    • 单向注意力（只看左侧内容）

    • 逐 token 生成文本

  2. 演变历程：

    • GPT-1：初步证明大规模语言模型预训练有效性

    • GPT-2：扩展模型规模（1.5B参数），改进文本生成质量

    • GPT-3：175B参数，few-shot 学习能力，多任务处理

  3. 预训练策略：

    • 自回归语言建模（预测下一个token）

    • 使用因果掩码确保单向注意力

BERT vs GPT: Transformer的两个分支

BERT 基础回顾

  • 双向的：同时看到句子前后文

  • 预训练目标：MLM + NSP

BERT 和 GPT 的关系与区别

共同点：

  • 基于 Transformer

  • 预训练-微调范式

  • 大规模语言建模

区别：

  • 架构选择：BERT(编码器，双向) vs GPT(解码器，单向)

  • 预训练任务：BERT(MLM+NSP) vs GPT(自回归建模)

  • 应用场景：

    • BERT擅长理解任务

    • GPT擅长文本生成

BERT 独特优势及与 GPT 的比较

在理解任务上 BERT 更高效。在纯理解任务中，BERT 相比 GPT 更轻量和高效，而 GPT 则通过大型模型和多阶段推理来弥补单向性限制。

BERT 在代码语义分析场景的优势

  • 双向上下文，更快理解函数整体语义

  • 对小段代码（如函数体补全）特别有效

ChatGPT vs BERT 的处理流程对比

  • BERT：一步到位理解，资源消耗小

  • ChatGPT：多步骤处理（理解-生成-验证），需要更多资源

More About BERT

BERT 在轻量级代码生成中的应用

  • 适用于短块代码生成

  • 模型小、内存低、推理快

示例：

def calculate_[MASK]_stats(data):
    return data.[MASK]([MASK])

BERT 在 FIM (Fill In the Middle) 场景的优势

  • 双向理解能力，让补全更符合上下文

  • 在需要快速响应和资源受限的环境中表现优异

示例：

def process_data[MASK]transform[MASK]return results

BERT 能通过同时查看 prefix 和 suffix 做出更合理的中间补全。

市场现状与解决方案对比

  • 市场主流：GPT类模型（Copilot, CodeWhisperer, InCoder, TabNine）

  • 它们大多基于自回归模型，而非纯 BERT 方案

  • BERT 主要在理解层面表现出色，生成长序列时不如自回归模型流畅和连贯

What is input/output embedding

Embedding：

  • 是一个将对象（如词、token）映射到向量空间的过程

  • 向量包含深层语义信息，表示输入之间的关系和相似性

PreviousWeekly AINextWorking On

Last updated

Was this helpful?