Java不加糖Kimi K3 模型结构
配合 Kimi K3 技术报告 §2 一起读的连载：按论文自己的叙事，沿序列、深度、宽度三个维度，把 KDA、Gated MLA、Attention Residuals、Stable LatentMoE 和视觉通路一个模块一个模块拆开。每篇都有一张「你现在在这里」的总图，和该模块自己的方块图。
读这个专栏的时候，建议手边开着 Kimi K3 的技术报告，以及 Hugging Face 上 moonshotai/Kimi-K3 的 config.json。文章里的每一个维度、每一个层号都能在这两处对上；论文没写、只有代码里才有的细节，会单独标出来。
- Part 01
总览
- 01Kimi K3 模型结构（0）：一张图看懂 Kimi K3 · 8 min
- Part 02
序列
- 02Kimi K3 模型结构（1）：序列维度（上），从线性注意力到 KDA · 20 min
- 03Kimi K3 模型结构（2）：序列维度（下），chunkwise 并行与下界衰减 · 8 min
- 04Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合 · 6 min
- Part 03
深度
- 05Kimi K3 模型结构（4）：深度维度，Attention Residuals · 14 min
- Part 04
宽度
- 06Kimi K3 模型结构（5）：宽度维度，Stable LatentMoE · 11 min
- Part 05
输入端与零件
- Part 06
系统
- 08Kimi K3 模型结构（7）：结构决定系统 · 11 min