注意力锚点——一种让模型"学会不关注任何位置"的机制，防止注意力在无关上下文上分散。

为什么需要 Attention Sink

在长上下文中，模型需要对当前位置之前的所有 token 计算注意力权重。但有些位置的信息并不相关，强制分配注意力会降低效果。Attention Sink 给模型一个"退出"选项：通过一个可学习的 sink logit，让模型在 softmax 时可以"不关注"任何真实 token。

核心原理

标准注意力: softmax(Q·K^T) → 每个位置获得非零权重
Attention Sink: 额外添加一个 sink logit 到 softmax 分母
    → softmax 可以把大量概率分配给 sink（相当于"不关注"）
    → 真实位置的注意力权重被稀释，减少噪声

在 ds4.c 中的实现

在注意力计算中，每个头有一个可学习的 sink logit，参与 softmax 分母计算但不贡献 value 向量。这让模型学会了"注意力分流"的能力——在信息不相关的位置主动降低权重。

相关概念

• softmax — sink logit 参与 softmax 归一化
• kv-cache — sink 的 KV 存储位置
• moe — 注意力和 MoE 在同一层前向中串联

详见 Part 3 — 注意力机制。