上下文窗口之战：从正弦位置编码 (Sinusoidal) 到 YaRN

想象一下，你正在阅读一本精彩的悬疑小说，但读到第 100 页时，你已经完全忘记了第 5 页上是谁杀了人。这就是大语言模型（LLM）面临的“金鱼记忆”问题。

多年来，LLM 一直被死板的固定上下文窗口（2k 或 4k token）所束缚。如果你把一份巨大的 PDF 粘贴进去，模型要么直接截断结尾，要么开始产生幻觉（hallucinate）。这种限制不仅源于内存，更源于位置编码（Positional Embeddings）——这是告诉模型单词顺序的“数学 GPS”。

我们见证了模型处理“时空”方式的飞速进化：从僵硬的绝对位置，迈向了灵活的无限上下文扩展。以下是他是如何从基础的正弦波一步步进化到最先进的 YaRN 的。

核心概念：“分辨率”难题

要理解上下文扩展，首先必须理解分辨率困境（Resolution Dilemma）。

旧的方法把位置处理得像具体的门牌号（1, 2, 3…）。如果你训练一个模型去识别 100 栋房子，当它看到第 101 号房子时，它就会崩溃。

较新的方法（如 RoPE 和 YaRN）则把位置处理得像一条灵活的橡皮筋。如果你想在一条原本设计容纳 100 栋房子的街道上塞进 200 栋房子，你不需要加长街道，而是把房子缩小（插值，Interpolation）。但是，如果你缩小得太厉害，它们就会变得模糊不清，模型就无法区分邻居了。现代技术的目标就是在拉伸上下文窗口的同时，不丢失这种细粒度的分辨率。

位置编码的进化史

以下是 LLM 学习“阅读”长文档的进阶之路：

1. SIN (正弦位置编码 Sinusoidal Embeddings)

• 起源： 提出于《Attention Is All You Need》(Transformers 鼻祖论文)。
• 原理： 将固定的正弦/余弦波模式添加到词嵌入（word embeddings）中。
• 缺陷： 它是绝对的。模型具体学习的是“位置 5”，而不是“位置 1 之后的 5 个词”。一旦超出训练长度，它就会遭遇灾难性的失效。

2. ALiBi (线性偏置注意力 Attention with Linear Biases)

• 转折点： ALiBi 不再向输入添加嵌入，而是直接修改注意力分数（Attention Score）。
• 原理： 根据两个词之间的距离，从注意力分数中减去一个惩罚值。距离越远，注意力越低。
• 优势： 它的外推性（Extrapolation）完美。你可以在 2k token 上训练，在 8k 上测试。
• 代价： 它在“大海捞针（Needle in a haystack）”任务上表现挣扎，因为它对远距离 token 的惩罚过重。

3. RoPE (旋转位置编码 Rotary Positional Embeddings)

• 行业标准： Llama, Mistral, 和 PaLM 都在用。
• 原理： 它将 Query 和 Key 向量在 2D 空间中进行旋转。旋转的角度代表位置。
• 数学公式：
• 优势： 它优雅地捕捉了相对位置（两个向量之间的夹角仅取决于它们的距离，而与绝对位置无关）。

4. PI (位置插值 Position Interpolation)

• 暴力魔改： 研究人员想要把 Llama 1 (2k 上下文) 扩展到 32k。
• 原理： PI 不去外推模型没见过的角度，而是把 32k 的位置“压缩”进 0-2k 的范围内（线性缩放）。
• 缺陷： 这导致了高频信息的丢失。这就像把一张 4k 的图片强行压缩到 480p——你会失去清晰的边缘细节。

5. NTK-Aware Scaling (NTK 感知缩放)

• 精细化改进： 神经正切核（Neural Tangent Kernel, NTK）理论表明，深度网络难以学习高频分量。
• 原理： NTK 缩放不像线性 PI 那样平均压缩所有内容，而是压缩低频（长距离信息），但保持高频（局部信息）不变。
• 结果： 你可以在不进行微调的情况下扩展上下文窗口，并且模型在处理局部任务时依然保持敏锐。

6. YaRN (Yet another RoPE Nontrivial extension)

• 当前最强 (SOTA)： 用于 Nous-Hermes 和现代 Llama 微调模型。
• 问题： 当你对 RoPE 进行插值时，注意力分布的“熵”会发生变化——模型会对自己注意力的“聚焦程度”感到困惑。
• 修复： YaRN 结合了 NTK 缩放和针对注意力 Softmax 的温度修正（Temperature Correction）。它有效地“重新校准”了因拉伸上下文而引起的混乱。

代码实战：实现 YaRN 缩放

你不需要从头手写数学公式。像 transformers 这样现代的库通常都开箱即支持这种配置。

以下是如何配置 Llama 模型使用 YaRN 缩放，将一个 4k 模型扩展到 128k 上下文的代码示例：

from transformers import AutoConfig, AutoModelForCausalLM

# 加载基础配置
config = AutoConfig.from_pretrained("meta-llama/Llama-2-7b-hf")

# 修改 RoPE 缩放配置以启用 YaRN
# 原始 original_max_position_embeddings 为 4096
config.rope_scaling = {
    "type": "yarn",              # 指定使用 YaRN 方法
    "factor": 32.0,              # 缩放因子 (128k / 4k = 32)
    "original_max_position_embeddings": 4096,
    "finetuned": False           # 如果你加载的模型已经在长上下文上微调过，设为 True
}

# 使用新配置加载模型
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    config=config,
    device_map="auto"
)

print(f"模型上下文窗口已扩展至: {config.max_position_embeddings * config.rope_scaling['factor']}")

步骤指南：如何选择你的策略

如果你正在构建或微调 LLM，请遵循以下决策矩阵：

1. 标准上下文 (< 4k)： 坚持使用 原版 RoPE (Vanilla RoPE)。它稳健且被广泛支持。
2. 零样本扩展 (Zero-Shot)： 如果你需要拿一个预训练好的 Llama 2/3 直接读取长 PDF 而不进行训练，请使用 Dynamic NTK。它的“开箱即用”效果出奇地好。
3. 长上下文微调： 如果你有算力进行微调，请使用 YaRN。与线性插值相比，它收敛得更快，并且在原始短上下文任务上保留了更高的准确率。
4. 硬件受限： 如果你的显存有限，可以研究一下 ALiBi (或 Ring Attention 等新变体)，因为它们在推理过程中能更优雅地处理内存限制。

结语

从“正弦波”到“YaRN”的飞跃，代表了模型从死记硬背位置到理解信息相对性的转变。我们已经从阅读几段话就会迷糊的模型，进化到了能够单次处理整本小说的模型。

• RoPE 给了我们旋转的能力。
• PI 证明了我们可以拉伸它。
• NTK 教会了我们如何聪明地拉伸。
• YaRN 则完美了最终的聚焦。