9 min学习

从 MLA 到 DSA:一步步看懂 indexer 在学什么

从 MLA 的全量注意力出发,逐步加入小 key、索引 query、多头打分和 top-k。用同一个四位置例子讲清 indexer 的输入、学习目标、KL loss 与两阶段训练。

目录7 节

DSA 保留 MLA 的主注意力,在旁边增加一个 indexer:先预测值得看的历史位置,再让 MLA 只计算选中位置。 indexer 学的是“当前 query 会关注哪些位置”,监督来自主 MLA 自己的注意力概率。

DSA 首发于 2025-09-29 的 DeepSeek-V3.2-Exp,正式 V3.2 沿用。本文对应报告 §2.1;“为什么这样设计”的推演是我的解读,不是作者研究过程的记录。

1. MLA 仍对全部压缩 KV 计算注意力

先固定某一层、当前一个 query。MLA 把历史 token 的 K/V 信息存成压缩表示,减少单条缓存的大小;但历史有 NN 个可见位置,这个 query 通常仍要对全部 NN 条计算注意力。

DSA 想进一步减少这个“NN”:先选出最多 kk 个位置,让主 MLA 只处理它们。两者的差异是:

看哪个部分原来的稠密 MLA加入 DSA 后
主 KV 的表示MLA 压缩表示沿用 MLA 压缩表示
主注意力计算范围全部合法位置索引器选出的集合 St\mathcal S_t
新增什么—小索引器、索引 key 缓存、top-k 选择
最后谁计算输出主 MLA仍是主 MLA,在集合内重新 softmax

2. 先增加便宜的打分路径,再接到主 MLA

直接按主 MLA 的注意力选 top-k 有一个问题:为了知道该选谁,已经算完了昂贵的全量注意力。 所以需要一个更便宜的预测器,先给候选位置排序。

下面每点一次“下一步”,只增加一个环节。左侧保留 MLA 主路,右侧逐步长出 indexer:

全量读取按 S 读取下标当前 token新增改动去掉已出现的 token新增改动去掉主 MLA query沿用原有投影新增改动去掉主 KV 缓存全部 N 条压缩 KV新增改动去掉新增小 key 与缓存每位置 128 维新增改动去掉新增索引 query、w64 头 × 128 维新增改动去掉轻量打分 I逐头 ReLU、加权新增改动去掉因果 top-k输出下标集合 S新增改动去掉主 MLA 注意力计算全部 N 个位置新增改动去掉主 MLA 注意力只计算 S 中的位置新增改动去掉原有输出投影得到 token 表示新增改动去掉

同一层,固定一个 query

每一步增加什么、解决什么问题

  1. 新增小 key:降低全历史扫描成本。
  2. 新增索引 query 与权重:表达当前要找什么。
  3. 新增打分函数:把多个方向的响应合成一个排序分数。
  4. 新增top-k:把计算预算变成具体位置下标。
  5. 改动主 MLA 的输入范围:全部位置 → 选中位置。

已有:全部主 KV;每条表示保持 MLA 格式

新增:索引 key 缓存;主 KV 继续保留

索引 query 不同,选中的位置也可以不同

索引器仍扫描所有合法位置,但每次打分更便宜

输出是位置下标;V3.2 每个 query 最多选 2048 项

DSA = 原有 MLA 主路 + 新增索引与选择路径

MLA 仍计算全部位置每条 KV 已被压缩,但当前 query 仍要对全部 N 条计算注意力。下一步要减少参与主计算的位置数。

这是结构拆解,热身和稀疏训练另见后文。图中 cᵠ 是 MLA 已有的 query 压缩表示;省略 RoPE、量化及主 MLA 内部投影。

最后一步只把位置下标交给主 MLA。MLA 会为选中的 KV 重新计算自己的 QK 分数、softmax 和 value 加权;索引分数 II 不会直接充当主注意力权重。主 KV 仍全部保留,因为下一个 query 可能选到别的位置。

3. indexer 怎么设计:小 key、多 query、一个位置分数

设 hth_t 是当前 token 的层输入表示,hsh_s 是候选位置的表示。indexer 的任务很小:对每个合法的 s≤ts\le t 输出一个标量 It,sI_{t,s}。

因此可以省掉 value 聚合,只学习三条投影。下面的 ctQc_t^Q 是 MLA 已经算好的 query 压缩表示:

当前 token 的表示MLA 已有的压缩新增权重投影新增索引 query 投影64 头 × 128 维头权重
当前 query 决定匹配方向 q,以及各方向的权重 w。青色框是新参数。
每个可见 token 的表示新增 key 投影与归一化索引 key:128 维一份 key 供 64 个索引头使用
每个候选位置提供一个小 key。这里只画投影,省略 RoPE、旋转和 FP8 量化。

这三条路径分别回答:

  • 小 key ksIk_s^I:候选位置有什么特征? 每个位置只存一份 128 维向量,降低全历史扫描的成本。
  • 索引 query qt,jIq_{t,j}^I:当前要匹配哪些特征? 64 个头提供多个可学习的匹配方向,复用已有的 ctQc_t^Q 生成。
  • 权重 wt,jIw_{t,j}^I:这次各方向占多大作用? 直接求和会等权混合;从当前 hth_t 生成权重,就能随 query 调整各方向的作用。权重可以为负,不是概率。

然后把各头的匹配结果合成每个位置一个分数:

It,s=∑j=164wt,jI ReLU⁡ ⁣((qt,jI)⊤ksI).(1)\boxed{I_{t,s}=\sum_{j=1}^{64}w^I_{t,j}\, \operatorname{ReLU}\!\left((q^I_{t,j})^\top k^I_s\right).} \tag{1}

这里 jj 是索引头。所有索引头共用同一个 ksIk_s^I;主 MLA 的 128 个注意力头是另一组头。维度与投影来自官方配置和 Indexer 实现。

ReLU 让打分具有非线性:去掉它,∑jwjqj⊤k=(∑jwjqj)⊤k\sum_j w_j q_j^\top k=(\sum_j w_jq_j)^\top k,所有头可合成单个点积。论文选择 ReLU 还考虑了吞吐;图例放在文末展开区。

4. indexer 在学什么:同一 query 下的位置重要性

“重要”需要一个具体标签。热身阶段让主 MLA 正常看完整历史,把每个主注意力头 softmax 后的概率按头平均,得到教师分布 pt,sp_{t,s}。不需要人工给历史 token 标注重要性。

固定当前 query,用四个可见位置举例:

位置 1位置 2位置 3位置 4头 15%80%10%5%头 25%60%30%5%教师 p5%70%20%5%
合成例子:平均后得到教师 p = [5%, 70%, 20%, 5%]。选位置 2、3,可保留 90% 的平均注意力概率。后面的训练实验沿用这组数据。

这次教师认为位置 2、3 更值得看,所以希望 indexer 也给它们更高的分数。换一个 query、换一层、换一段输入,教师与排序都可能变化。 indexer 学的是从当前表示和候选表示到重要性分数的函数,不是一张固定的位置排名表。

教师只在训练阶段提供监督。推理时 indexer 直接预测排序,无需先计算完整 MLA 来求教师 pp。

模块输出分布的范围学习目标
主语言模型词表里的下一个 token预测文本中的下一个 token
indexer当前 query 可见的历史位置接近主 MLA 分配给各位置的注意力概率

主注意力头共享一份选择集合,按头平均的 pp 就衡量这份集合能保留多少平均注意力概率;它是实用的代理目标,不等于完整的最终任务贡献。

5. indexer loss:把预测的位置分布拉向教师

索引分数 II 可以为任意实数。训练时沿历史位置做 softmax,得到预测分布 rr,再和教师 pp 比较:

rt,:=softmax⁡(It,:),LI=∑t∑s≤tpt,slog⁡pt,srt,s.(3)r_{t,:}=\operatorname{softmax}(I_{t,:}), \qquad \mathcal L^I=\sum_t\sum_{s\le t}p_{t,s}\log\frac{p_{t,s}}{r_{t,s}}. \tag{3}

这就是 DKL(p∥r)D_{\rm KL}(p\|r)。教师固定时,最小化它等价于用 pp 作软标签的交叉熵:让预测概率 rr 接近 pp,而不是让原始分数 II 等于概率。单个 query 对索引分数的梯度非常直接:

∂LtI∂It,s=rt,s−pt,s.(A)\frac{\partial \mathcal L_t^I}{\partial I_{t,s}}=r_{t,s}-p_{t,s}. \tag{A}

例如位置 2:教师给 70%,索引器只给 25%,梯度就是 0.25−0.70=−0.450.25-0.70=-0.45。梯度下降减去这个负数,便会抬高位置 2 的分数。下面可以亲自点一步:

教师 p:固定索引预测 r:随训练改变
5%25%位置 170%25%位置 220%25%位置 35%25%位置 4
训练步数0
indexer KL0.5152
当前 top-21、2

当前分数 I:[0.00, 0.00, 0.00, 0.00]

位置 2 的下一步梯度 r − p:−0.4500;选中项保留教师概率 75.0%。

热身阶段的合成例子,沿用上图的教师。初始同分时按位置编号选择。这里直接按 r − p 更新示意分数 I;真实训练通过链式法则更新产生 I 的投影参数。热身时 top-k 尚不控制主 MLA。

真实模型通过链式法则更新 WqI,WkI,WwW_q^I,W_k^I,W_w 等参数,让更多输入上的分数都变得合理。索引 key 是这些参数对当前输入算出的缓存,不是独立优化的位置标签。

为什么另设这个 loss? top-k 返回离散下标,主语言模型损失无法沿这些下标提供普通的排序梯度。KL 提供了独立、连续的监督。推理时只需排序 II;softmax 不改变排序,因此不必为 indexer 再算一次 softmax。报告公式 (3)

6. 先学会选择,再让主模型适应稀疏输入

V3.2 从已有的 V3.1-Terminus base 继续训练。随机 indexer 还不会选位置,直接接管主 MLA 的输入会漏掉重要上下文,所以分两阶段:

A · 稠密热身1000 步 · 约 2.1B token
冻结表示预测分布主模型冻结稠密注意力 → 教师概率indexer预测全历史概率全局 KL只更新 indexer
先学会选择:教师覆盖全部合法历史。
B · 稀疏继续训练15000 步 · 约 943.7B token
detach下标无梯度教师 detach主模型表示indexer打分 → top-k稀疏主注意力只看所选集合集合内 KL只更新 indexer语言模型损失只更新主模型
再适应稀疏输入:虚线教师不传梯度。

A:稠密热身。 主模型冻结,继续看完整历史;按上面的全局教师 pp 训练 indexer。此时选错也不会截断主 MLA 的输入。

B:稀疏训练。 打开 top-k,主 MLA 只看选中集合。主模型用语言模型损失适应稀疏输入;indexer 继续用 KL 学习,但教师改成当前稀疏 MLA 在集合内的注意力概率:

LI=∑tDKL ⁣(pt,:S ∥ softmax⁡(It,St)).(4)\mathcal L^I=\sum_t D_{\rm KL}\!\left( p^{\mathcal S}_{t,:}\,\middle\|\, \operatorname{softmax}(I_{t,\mathcal S_t})\right). \tag{4}

两边都在集合内归一化,不额外跑完整 dense 教师。代价是:集合外没有直接 KL 监督,集合内 loss 很低仍可能漏选。

工程上切开两条梯度:indexer 的输入 h,cQh,c^Q 和教师概率都 detach。KL 只更新 indexer;语言模型损失只更新主模型。 主 MLA 的计算结构沿用,参数在阶段 B 仍会更新。报告 §2.1.1

训练规模、代码与 128K 实现细节

官方两阶段设置,128K = 131072 token;每步序列数是全局规模:

阶段步数 × 每步序列数 × 长度学习率
热身1000×16×128K1000\times16\times128\mathrm K,约 2.1B token10−310^{-3}
稀疏继续训练15000×480×128K15000\times480\times128\mathrm K,约 943.7B token7.3×10−67.3\times10^{-6}

教学伪代码只展示稀疏阶段的梯度边界:

选择不传梯度,主注意力仍需反向传播python
I = indexer(h.detach(), query_latent.detach())
selected = causal_topk(I)
attention, logits = main_attention(selected)
p = attention.detach().mean(dim=head_axis)
loss = lm_loss(logits, targets) + kl_on_selected(I, p, selected)
main_optimizer.zero_grad()
index_optimizer.zero_grad()
loss.backward()
main_optimizer.step()
index_optimizer.step()

完整 CPU 教学示例可运行 python dsa_training_demo.py --check-only。它检查因果性、归一化、梯度隔离和 k=Nk=N 等价性;使用稠密矩阵模拟选择,不用于证明生产加速。

扩到长上下文时,以下是按公开目标推导的实现要求,官方未公开完整训练器:

  • 128K × 128K 的 FP32 矩阵占 64 GiB,需要分块或重算。热身教师的 softmax 分母仍覆盖完整合法历史,不能逐 key 块独立归一化。
  • top-k 前屏蔽未来及其他 packed 样本;合法位置不足 kk 时,读取后继续屏蔽无效项。
  • 主注意力前后向都按选择集合访问 KV,并累加共享位置的梯度。先算全量分数再加 mask,无法省掉已经完成的打分。
  • 同时观察全局保留质量、长上下文任务和实际步时;集合内 KL 无法衡量所有漏选。

实际索引 Q/K 还经过 RoPE、Hadamard 旋转与 FP8 量化;累加、ReLU 和头加权用 FP32。索引器与主 MLA 的 RoPE 布局不同。固定版本代码

补充:三个数学与工程细节

ReLU 如何让多个匹配方向同时起作用?

取两个一维 query 为 1、−1,权重都为 1:没有 ReLU 时相加为 0;分别经过 ReLU 后再相加,得到 ∣k∣|k|。

没有 ReLU:可合成单个点积分数key相加 = 0加入 ReLU:不同 key 激活不同头分数key头 2 起作用头 1 起作用
我的解读:取两个 query 为 1、−1,权重都为 1。加 ReLU 后,两侧的 key 都能获高分;这个例子只说明非线性表达能力。

这是非线性表达能力的例子,不表示真实 indexer 在计算绝对值,也不证明 ReLU 是唯一选择。

为什么“保留注意力概率”是合理的目标?

以下为我的补充推导。固定单头的 Q、K、V,丢掉的注意力概率为 ε\varepsilon,保留集合内重新归一化得到 u~\widetilde u。如果每个 value 范数不超过 MM:

u=(1−ε)u~+εudrop⟹∥u−u~∥≤2Mε.(B)u=(1-\varepsilon)\widetilde u+\varepsilon u_{\rm drop} \quad\Longrightarrow\quad \lVert u-\widetilde u\rVert\le2M\varepsilon. \tag{B}

因为两部分都是 value 的凸组合,范数不超过 MM;再用三角不等式即可。保留集合需非空;ε=0\varepsilon=0 时误差直接为零。这不是最终答案质量的保证。

  • 位置 13%丢弃
  • 位置 25%丢弃
  • 位置 340%保留
  • 位置 42%丢弃
  • 位置 525%保留
  • 位置 610%丢弃
  • 位置 78%丢弃
  • 位置 87%丢弃
保留质量65.0%
实际输出误差0.1246
误差上界 0.7000

稠密输出 0.2600 → 稀疏输出 0.3846;本例 M = 1。

合成数据,非模型实测。保留项重新归一化;误差上界随丢弃质量下降,实际误差还受 value 方向影响。

对完整历史上的教师 pp 与预测 rr,还可由 top-k 最优性和 Pinsker 不等式得到:

p(TopK⁡(p))−p(TopK⁡(r))≤∥p−r∥1≤2DKL(p∥r).(C)p(\operatorname{TopK}(p))-p(\operatorname{TopK}(r)) \le\lVert p-r\rVert_1\le\sqrt{2D_{\rm KL}(p\|r)}. \tag{C}

它约束保留概率的差距,不要求下标完全一致;不能用于证明稀疏阶段没有漏选集合外的位置。

主注意力少算了,整个模型能快多少?

以 128K 历史、top-2048、单层单次 decode 为例:

注意力矩阵乘法Dense36.51 GFLOPDSA2.72 GFLOP主注意力少算,索引器仍要算理想缓存读取量Dense82.00 MiBDSA17.78 MiB扫小索引,再读少量大 KV缓存容量Dense82.00 MiBDSA98.50 MiB保留全部主 KV,另加索引
按 128K 历史、top-2048、单层单次 decode 估算;同用 FP8 主缓存格式。紫色为主注意力/主 KV,青色为索引器。未计投影、top-k、量化、调度等开销,非实测加速比。

按官方配置与 FlashMLA 的 V3.2 格式估算:主 QK 为 576 维,value 为 512 维,128 个主 query 头;一次乘加计 2 FLOPs。

主缓存每条 656 字节,额外索引每条 132 字节。理想读取从 656N656N 变成 656k+132N656k+132N,容量却从 656N656N 增加到 788N788N。未计投影、top-k、量化和调度等开销,不是实测加速比。索引器仍全量扫描,整个 prefill 仍有二次复杂度。

继续阅读:MLA 的压缩与计算形式 · CPU 两阶段训练示例。

评论