从 MLA 到 DSA:一步步看懂 indexer 在学什么
从 MLA 的全量注意力出发,逐步加入小 key、索引 query、多头打分和 top-k。用同一个四位置例子讲清 indexer 的输入、学习目标、KL loss 与两阶段训练。
目录7 节
DSA 保留 MLA 的主注意力,在旁边增加一个 indexer:先预测值得看的历史位置,再让 MLA 只计算选中位置。 indexer 学的是“当前 query 会关注哪些位置”,监督来自主 MLA 自己的注意力概率。
DSA 首发于 2025-09-29 的 DeepSeek-V3.2-Exp,正式 V3.2 沿用。本文对应报告 §2.1;“为什么这样设计”的推演是我的解读,不是作者研究过程的记录。
1. MLA 仍对全部压缩 KV 计算注意力
先固定某一层、当前一个 query。MLA 把历史 token 的 K/V 信息存成压缩表示,减少单条缓存的大小;但历史有 个可见位置,这个 query 通常仍要对全部 条计算注意力。
DSA 想进一步减少这个“”:先选出最多 个位置,让主 MLA 只处理它们。两者的差异是:
| 看哪个部分 | 原来的稠密 MLA | 加入 DSA 后 |
|---|---|---|
| 主 KV 的表示 | MLA 压缩表示 | 沿用 MLA 压缩表示 |
| 主注意力计算范围 | 全部合法位置 | 索引器选出的集合 |
| 新增什么 | — | 小索引器、索引 key 缓存、top-k 选择 |
| 最后谁计算输出 | 主 MLA | 仍是主 MLA,在集合内重新 softmax |
2. 先增加便宜的打分路径,再接到主 MLA
直接按主 MLA 的注意力选 top-k 有一个问题:为了知道该选谁,已经算完了昂贵的全量注意力。 所以需要一个更便宜的预测器,先给候选位置排序。
下面每点一次“下一步”,只增加一个环节。左侧保留 MLA 主路,右侧逐步长出 indexer:
同一层,固定一个 query
每一步增加什么、解决什么问题
- 新增小 key:降低全历史扫描成本。
- 新增索引 query 与权重:表达当前要找什么。
- 新增打分函数:把多个方向的响应合成一个排序分数。
- 新增top-k:把计算预算变成具体位置下标。
- 改动主 MLA 的输入范围:全部位置 → 选中位置。
已有:全部主 KV;每条表示保持 MLA 格式
新增:索引 key 缓存;主 KV 继续保留
索引 query 不同,选中的位置也可以不同
索引器仍扫描所有合法位置,但每次打分更便宜
输出是位置下标;V3.2 每个 query 最多选 2048 项
DSA = 原有 MLA 主路 + 新增索引与选择路径
MLA 仍计算全部位置每条 KV 已被压缩,但当前 query 仍要对全部 N 条计算注意力。下一步要减少参与主计算的位置数。
最后一步只把位置下标交给主 MLA。MLA 会为选中的 KV 重新计算自己的 QK 分数、softmax 和 value 加权;索引分数 不会直接充当主注意力权重。主 KV 仍全部保留,因为下一个 query 可能选到别的位置。
3. indexer 怎么设计:小 key、多 query、一个位置分数
设 是当前 token 的层输入表示, 是候选位置的表示。indexer 的任务很小:对每个合法的 输出一个标量 。
因此可以省掉 value 聚合,只学习三条投影。下面的 是 MLA 已经算好的 query 压缩表示:
这三条路径分别回答:
- 小 key :候选位置有什么特征? 每个位置只存一份 128 维向量,降低全历史扫描的成本。
- 索引 query :当前要匹配哪些特征? 64 个头提供多个可学习的匹配方向,复用已有的 生成。
- 权重 :这次各方向占多大作用? 直接求和会等权混合;从当前 生成权重,就能随 query 调整各方向的作用。权重可以为负,不是概率。
然后把各头的匹配结果合成每个位置一个分数:
这里 是索引头。所有索引头共用同一个 ;主 MLA 的 128 个注意力头是另一组头。维度与投影来自官方配置和 Indexer 实现。
ReLU 让打分具有非线性:去掉它,,所有头可合成单个点积。论文选择 ReLU 还考虑了吞吐;图例放在文末展开区。
4. indexer 在学什么:同一 query 下的位置重要性
“重要”需要一个具体标签。热身阶段让主 MLA 正常看完整历史,把每个主注意力头 softmax 后的概率按头平均,得到教师分布 。不需要人工给历史 token 标注重要性。
固定当前 query,用四个可见位置举例:
这次教师认为位置 2、3 更值得看,所以希望 indexer 也给它们更高的分数。换一个 query、换一层、换一段输入,教师与排序都可能变化。 indexer 学的是从当前表示和候选表示到重要性分数的函数,不是一张固定的位置排名表。
教师只在训练阶段提供监督。推理时 indexer 直接预测排序,无需先计算完整 MLA 来求教师 。
| 模块 | 输出分布的范围 | 学习目标 |
|---|---|---|
| 主语言模型 | 词表里的下一个 token | 预测文本中的下一个 token |
| indexer | 当前 query 可见的历史位置 | 接近主 MLA 分配给各位置的注意力概率 |
主注意力头共享一份选择集合,按头平均的 就衡量这份集合能保留多少平均注意力概率;它是实用的代理目标,不等于完整的最终任务贡献。
5. indexer loss:把预测的位置分布拉向教师
索引分数 可以为任意实数。训练时沿历史位置做 softmax,得到预测分布 ,再和教师 比较:
这就是 。教师固定时,最小化它等价于用 作软标签的交叉熵:让预测概率 接近 ,而不是让原始分数 等于概率。单个 query 对索引分数的梯度非常直接:
例如位置 2:教师给 70%,索引器只给 25%,梯度就是 。梯度下降减去这个负数,便会抬高位置 2 的分数。下面可以亲自点一步:
当前分数 I:
位置 2 的下一步梯度 r − p:;选中项保留教师概率 。
真实模型通过链式法则更新 等参数,让更多输入上的分数都变得合理。索引 key 是这些参数对当前输入算出的缓存,不是独立优化的位置标签。
为什么另设这个 loss? top-k 返回离散下标,主语言模型损失无法沿这些下标提供普通的排序梯度。KL 提供了独立、连续的监督。推理时只需排序 ;softmax 不改变排序,因此不必为 indexer 再算一次 softmax。报告公式 (3)
6. 先学会选择,再让主模型适应稀疏输入
V3.2 从已有的 V3.1-Terminus base 继续训练。随机 indexer 还不会选位置,直接接管主 MLA 的输入会漏掉重要上下文,所以分两阶段:
A:稠密热身。 主模型冻结,继续看完整历史;按上面的全局教师 训练 indexer。此时选错也不会截断主 MLA 的输入。
B:稀疏训练。 打开 top-k,主 MLA 只看选中集合。主模型用语言模型损失适应稀疏输入;indexer 继续用 KL 学习,但教师改成当前稀疏 MLA 在集合内的注意力概率:
两边都在集合内归一化,不额外跑完整 dense 教师。代价是:集合外没有直接 KL 监督,集合内 loss 很低仍可能漏选。
工程上切开两条梯度:indexer 的输入 和教师概率都 detach。KL 只更新 indexer;语言模型损失只更新主模型。 主 MLA 的计算结构沿用,参数在阶段 B 仍会更新。报告 §2.1.1
训练规模、代码与 128K 实现细节
官方两阶段设置,128K = 131072 token;每步序列数是全局规模:
| 阶段 | 步数 × 每步序列数 × 长度 | 学习率 |
|---|---|---|
| 热身 | ,约 2.1B token | |
| 稀疏继续训练 | ,约 943.7B token |
教学伪代码只展示稀疏阶段的梯度边界:
I = indexer(h.detach(), query_latent.detach())
selected = causal_topk(I)
attention, logits = main_attention(selected)
p = attention.detach().mean(dim=head_axis)
loss = lm_loss(logits, targets) + kl_on_selected(I, p, selected)
main_optimizer.zero_grad()
index_optimizer.zero_grad()
loss.backward()
main_optimizer.step()
index_optimizer.step()完整 CPU 教学示例可运行 python dsa_training_demo.py --check-only。它检查因果性、归一化、梯度隔离和 等价性;使用稠密矩阵模拟选择,不用于证明生产加速。
扩到长上下文时,以下是按公开目标推导的实现要求,官方未公开完整训练器:
- 128K × 128K 的 FP32 矩阵占 64 GiB,需要分块或重算。热身教师的 softmax 分母仍覆盖完整合法历史,不能逐 key 块独立归一化。
- top-k 前屏蔽未来及其他 packed 样本;合法位置不足 时,读取后继续屏蔽无效项。
- 主注意力前后向都按选择集合访问 KV,并累加共享位置的梯度。先算全量分数再加 mask,无法省掉已经完成的打分。
- 同时观察全局保留质量、长上下文任务和实际步时;集合内 KL 无法衡量所有漏选。
实际索引 Q/K 还经过 RoPE、Hadamard 旋转与 FP8 量化;累加、ReLU 和头加权用 FP32。索引器与主 MLA 的 RoPE 布局不同。固定版本代码
补充:三个数学与工程细节
ReLU 如何让多个匹配方向同时起作用?
取两个一维 query 为 1、−1,权重都为 1:没有 ReLU 时相加为 0;分别经过 ReLU 后再相加,得到 。
这是非线性表达能力的例子,不表示真实 indexer 在计算绝对值,也不证明 ReLU 是唯一选择。
为什么“保留注意力概率”是合理的目标?
以下为我的补充推导。固定单头的 Q、K、V,丢掉的注意力概率为 ,保留集合内重新归一化得到 。如果每个 value 范数不超过 :
因为两部分都是 value 的凸组合,范数不超过 ;再用三角不等式即可。保留集合需非空; 时误差直接为零。这不是最终答案质量的保证。
稠密输出 0.2600 → 稀疏输出 0.3846;本例 M = 1。
对完整历史上的教师 与预测 ,还可由 top-k 最优性和 Pinsker 不等式得到:
它约束保留概率的差距,不要求下标完全一致;不能用于证明稀疏阶段没有漏选集合外的位置。
主注意力少算了,整个模型能快多少?
以 128K 历史、top-2048、单层单次 decode 为例:
按官方配置与 FlashMLA 的 V3.2 格式估算:主 QK 为 576 维,value 为 512 维,128 个主 query 头;一次乘加计 2 FLOPs。
主缓存每条 656 字节,额外索引每条 132 字节。理想读取从 变成 ,容量却从 增加到 。未计投影、top-k、量化和调度等开销,不是实测加速比。索引器仍全量扫描,整个 prefill 仍有二次复杂度。
继续阅读:MLA 的压缩与计算形式 · CPU 两阶段训练示例。
评论