学习
38 篇
- DeepSeek-V4.1 模型结构(8):KV cache 的管理与 SWA Bounded Replay学习 · 12 min
- DeepSeek-V4.1 模型结构(7):输入端与优化器学习 · 16 min
- DeepSeek-V4.1 模型结构(6):解码,DSpark学习 · 19 min
- DeepSeek-V4.1 模型结构(5):记忆,Engram学习 · 14 min
- DeepSeek-V4.1 模型结构(4):深度维度,Single-Pass mHC学习 · 13 min
- DeepSeek-V4.1 模型结构(3):序列维度(下),Hierarchical Sparse Indexer 与 FP4 KV cache学习 · 14 min
- DeepSeek-V4.1 模型结构(2):序列维度(中),CSA2 的三种模式学习 · 15 min
- DeepSeek-V4.1 模型结构(1):序列维度(上),CED学习 · 13 min
- DeepSeek-V4.1 模型结构(0):一张图看懂 DeepSeek-V4.1-Flash学习 · 19 min
- DeepSeek 注意力结构对比:MHA、GQA、MLA、DSA、CSA、HCA、CSA2学习 · 12 min
- 推理服务的缓存与调度:前缀、多级存储、集群路由学习 · 4 min
- 显存账本:每张卡上存了什么,各项怎么省学习 · 4 min
- 数据并行与 ZeRO:三级分片各省多少学习 · 3 min
- 流水线并行:1F1B、虚拟段与气泡学习 · 4 min
- 并行策略总览:六个维度各切什么、怎么通信学习 · 22 min
- Kimi K3 模型结构(10):RL 与服务中的状态管理学习 · 9 min
- Kimi K3 模型结构(9):显存,把 2.8T 塞进 GPU学习 · 9 min
- DeepSeek-V4 模型结构(7):混合注意力与 mHC 带来的系统改动学习 · 7 min
- DeepSeek-V4 模型结构(6):优化器与稳定性,Muon学习 · 8 min
- Kimi K3 模型结构(8):训练并行,MoonEP 与四类等待学习 · 11 min
- DeepSeek-V4 模型结构(5):宽度维度,DeepSeekMoE 的四个改动学习 · 7 min
- DeepSeek-V4 模型结构(4):深度维度,mHC学习 · 14 min
- DeepSeek-V4 模型结构(3):序列维度(下),HCA、混合排布与零件学习 · 7 min
- DeepSeek-V4 模型结构(2):序列维度(中),Lightning Indexer 与稀疏选择学习 · 7 min
- DeepSeek-V4 模型结构(1):序列维度(上),从 MLA 到压缩 KV学习 · 10 min
- DeepSeek-V4 模型结构(0):一张图看懂 DeepSeek-V4学习 · 9 min
- Kimi K3 模型结构(7):三个新模块带来的系统改动学习 · 17 min
- Kimi K3 模型结构(6):输入端与零件,MoonViT-V2、MTP、Per-Head Muon学习 · 6 min
- Kimi K3 模型结构(5):宽度维度,Stable LatentMoE学习 · 12 min
- Kimi K3 模型结构(3):序列维度,Gated MLA 与 3:1 混合学习 · 8 min
- Kimi K3 模型结构(2):序列维度(下),chunkwise 并行与下界衰减学习 · 23 min
- Kimi K3 模型结构(1):序列维度(上),从线性注意力到 KDA学习 · 20 min
- Kimi K3 模型结构(4):深度维度,Attention Residuals学习 · 14 min
- Kimi K3 模型结构(0):一张图看懂 Kimi K3学习 · 9 min
- ODE常微分方程总结学习 · 13 min
- Kaggle比赛RSNA-2022骨折检测学习 · 1 min
- 齐次坐标系的理解学习 · 3 min
- NgeNet论文理解学习 · 7 min