专栏
按知识结构组织的系列文章,不按时间。
- 6 个章节
DeepSeek-V4 模型结构
配合 DeepSeek-V4 技术报告 §2 一起读的连载:沿序列、深度、宽度三个维度,把压缩稀疏注意力(CSA)、重压缩注意力(HCA)、流形约束的 Hyper-Connections(mHC)、改过打分函数和路由的 DeepSeekMoE,以及 Muon 优化器一个模块一个模块拆开。每篇都有一张「你现在在这里」的总图,和该模块自己的方块图。
- 6 个章节
DeepSeek-V4.1 模型结构
配合 DeepSeek-V4.1-Flash 技术报告 §2 一起读的连载,是 DeepSeek-V4 连载的续篇,只讲这一代的改动:Causal Encoder-Decoder(CED)、跨层共享 KV 的 CSA2、Hierarchical Sparse Indexer、FP4 KV cache、Single-Pass mHC、Engram、DSpark 和视觉通路。每篇都有一张「你现在在这里」的总图。
- 6 个章节
Kimi K3 模型结构
配合 Kimi K3 技术报告 §2 一起读的连载:按论文自己的叙事,沿序列、深度、宽度三个维度,把 KDA、Gated MLA、Attention Residuals、Stable LatentMoE 和视觉通路一个模块一个模块拆开。每篇都有一张「你现在在这里」的总图,和该模块自己的方块图。
- 4 个章节
大模型笔记
从模型结构到训练系统:新开源模型的架构拆解、并行策略、训练框架的软件工程,以及性能优化。按知识结构组织,不按时间。