<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"><channel><title>Java不加糖的Blog</title><description>学习笔记、项目经验，以及一些折腾记录。</description><link>https://blog.javazero.top/</link><item><title>DeepSeek-V4.1 模型结构（8）：KV cache 的管理与 SWA Bounded Replay</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-08-systems/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-08-systems/</guid><description>连载收尾。890 字节是显存里的全局 KV，磁盘上的缓存还要再减一半：办法是滑窗 KV 不再存盘。这一篇讲滑窗 KV 为什么不适合放在保留 72 小时的磁盘缓存里，V4.1 把它挪到了哪，丢了之后怎么只用 128 个 token 的回放重建，这个近似的代价是什么；再讲 CSA2 的跨层共享在流水线并行下怎么训练，以及多模态训练的三处系统改动。</description><pubDate>Fri, 02 Oct 2026 13:20:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek-V4.1 模型结构（7）：输入端与优化器</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-07-vision-optim/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-07-vision-optim/</guid><description>主干之外的两头。输入端：从零训练的 DeepSeek-ViT，一张 1302 × 1302 的图怎么变成 994 个位置，文本和图像 token 为什么要各用一套负载均衡偏置。优化器：head-wise Muon 把 query 权重按头切开再正交化，用一个秩 1 的例子说明它改变了什么；Sinkhorn-balanced update 用行列交替归一化代替 Adam，只存一份动量就能训练 196B 参数的 Engram 表。</description><pubDate>Fri, 02 Oct 2026 13:10:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek-V4.1 模型结构（6）：解码，DSpark</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-06-dspark/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-06-dspark/</guid><description>主干一次前向只出一个 token。DSpark 是挂在主干后面的三层草稿模块：一次前向给出 5 个位置的 logits，用一个秩 256 的 Markov head 补上草稿 token 之间的依赖，再由 confidence head 和调度器按当前负载决定送几个给主干验证。这一篇从投机解码的接受规则讲起，推出并行草稿为什么越往后越不准，调度器的阈值为什么随负载变，以及按置信度截断在什么条件下不改变输出分布。</description><pubDate>Fri, 02 Oct 2026 13:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek-V4.1 模型结构（5）：记忆，Engram</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-05-engram/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-05-engram/</guid><description>Transformer 认出一个固定搭配要花掉前几层的计算。Engram 换一条路：按当前 token 结尾的 2、3、4-gram 做哈希，从一张 3.84 亿行的表里取出向量，经过一个门加进残差流。这一篇从「直接建 n-gram 表为什么不行」推到哈希的具体形式，用中国剩余定理说明 8 个头为什么足以区分不同的 n-gram，再讲门的公式、V4.1 去掉的卷积，以及 196B 参数怎么分配、训练和存放。</description><pubDate>Fri, 02 Oct 2026 12:50:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek-V4.1 模型结构（4）：深度维度，Single-Pass mHC</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-04-single-pass-mhc/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-04-single-pass-mhc/</guid><description>mHC 的计算量很小，开销在读写残差流。这一篇从一个子层边界上最少要读写多少个数推出访存量的下界 (2n+2)d，算出 V4 的实现是下界的两倍，再一步步合并 kernel：先把归一化挪到投影之后，再让读算子改用上一个子层算好的权重。最后对照官方代码看这个改动落在哪三处。</description><pubDate>Fri, 02 Oct 2026 12:40:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek-V4.1 模型结构（3）：序列维度（下），Hierarchical Sparse Indexer 与 FP4 KV cache</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-03-indexer-fp4/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-03-indexer-fp4/</guid><description>decoder 的 Reindex 层每生成一个 token 都要给 100 万条 KV 打分。Hierarchical Sparse Indexer 让第 20 层先圈出 16384 个候选位置，后面的层只在里面打分，把这部分计算变成常数。FP4 把每条 main KV 从 584 字节压到 288 字节：E2M1 能表示哪些数，为什么 22.6 是幅度的上界，scale 为什么选 E4M3。最后把 890 字节和 V4-Flash 的 3514 字节逐项对比。</description><pubDate>Fri, 02 Oct 2026 12:30:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek-V4.1 模型结构（2）：序列维度（中），CSA2 的三种模式</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-02-csa2/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-02-csa2/</guid><description>KV cache 的大小是三个量相乘：每条多大、每个 token 几条、多少层各存一份。前两个量 V4 已经压过，CSA2 压第三个。这一篇把一层全局注意力拆成四样东西，看哪些能跨层共用，由此得到 Full、Reindex、Reuse 三种模式；再讲压缩算子和 indexer 相对 V4 的两处简化，共享池里谁写谁读，以及 38 层为什么只需要 4 份全局 KV。</description><pubDate>Fri, 02 Oct 2026 12:20:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek-V4.1 模型结构（1）：序列维度（上），CED</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-01-ced/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-01-ced/</guid><description>prompt 里的一个 token 为什么非得过完所有层？从「后面的 token 到底读了它的什么」出发，推出只要上半层的全局 KV 改由中间层的输出投影，上半层就不用为 prompt 算。这是 YOCO 的思路。本篇讲 CED 在它上面改了哪三处，改动为什么让提前退出不再精确，Decoder SWA Bounded Replay 怎么用 128 个 token 的回放把它补上，以及 8B 和 16B 两个激活参数量怎么来的。</description><pubDate>Fri, 02 Oct 2026 12:10:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek-V4.1 模型结构（0）：一张图看懂 DeepSeek-V4.1-Flash</title><link>https://blog.javazero.top/2026/10/02/deepseek-v41-00-overview/</link><guid isPermaLink="true">https://blog.javazero.top/2026/10/02/deepseek-v41-00-overview/</guid><description>连载开篇。DeepSeek-V4.1-Flash 把每 token 的全局 KV cache 压到 890 字节，prefill 只跑一半的层。这一篇用一张总架构图把 CED、CSA2 的两个共享池、Single-Pass mHC、Engram、DSpark 和视觉通路摆在一起，给出 40 层的排布、V4-Flash → V4.1-Flash 的对照表、552B 参数的分项，并说明后面每一篇讲什么。</description><pubDate>Fri, 02 Oct 2026 12:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4.1</category><category>模型结构</category></item><item><title>DeepSeek 注意力结构对比：MHA、GQA、MLA、DSA、CSA、HCA、CSA2</title><link>https://blog.javazero.top/2026/09/23/deepseek-attention-structures/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/23/deepseek-attention-structures/</guid><description>以 HuggingFace 上 deepseek-ai 各代模型的官方推理代码为准，把七种注意力结构逐个拆成小算子级张量流图：每一代的目标是什么、砍的是哪个量、怎么做到的、开销是多少。</description><pubDate>Wed, 23 Sep 2026 11:20:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>模型结构</category><category>DeepSeek</category><category>注意力</category></item><item><title>推理服务的缓存与调度：前缀、多级存储、集群路由</title><link>https://blog.javazero.top/2026/09/05/llm-serving-cache/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/llm-serving-cache/</guid><description>长上下文服务里一次前缀缓存 miss 比 hit 贵几个数量级，所以整条路径都围着缓存转：块哈希的前缀缓存怎么复用，KV 在 GPU、DRAM、SSD 之间按 write-through 还是 write-back 搬，集群层面怎么让请求跟着缓存走、又不被长请求的突发拖垮。</description><pubDate>Sat, 05 Sep 2026 23:30:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>推理服务</category><category>性能优化</category></item><item><title>显存账本：每张卡上存了什么，各项怎么省</title><link>https://blog.javazero.top/2026/09/05/llm-memory-ledger/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/llm-memory-ledger/</guid><description>「性能优化」章的开篇。训练时一张卡的显存分五类：权重、梯度、优化器状态、激活、通信缓冲。前三类由参数量和并行度决定，激活由 micro-batch 长度和流水线在途份数决定。每种省显存的技巧都是把账本某一行搬走，同时付出一种代价：FLOPs、精度、PCIe、网络。</description><pubDate>Sat, 05 Sep 2026 23:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>训练系统</category><category>显存</category></item><item><title>数据并行与 ZeRO：三级分片各省多少</title><link>https://blog.javazero.top/2026/09/05/llm-dp-zero/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/llm-dp-zero/</guid><description>数据并行是唯一不减少每卡显存的并行，ZeRO 用分片把它补上。从每个参数占 16 字节算起，推 ZeRO-1、2、3 各自的每卡显存和通信量，再讲梯度分片放到 CPU 之后 GPU 上为什么只需要两个缓冲。</description><pubDate>Sat, 05 Sep 2026 22:30:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>训练系统</category><category>并行</category></item><item><title>流水线并行：1F1B、虚拟段与气泡</title><link>https://blog.javazero.top/2026/09/05/llm-pipeline-1f1b/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/llm-pipeline-1f1b/</guid><description>把模型按层切成 P 段之后，micro-batch 怎么排才能让每段都有活干。从 GPipe 到 1F1B 到 interleaved 1F1B 到 Zero Bubble，每一步只改一件事。推气泡占比 (P−1)/m、每个 rank 在途激活 P−r 份、虚拟段的显存代价，配一个可以拖的时间线。</description><pubDate>Sat, 05 Sep 2026 22:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>训练系统</category><category>并行</category></item><item><title>并行策略总览：六个维度各切什么、怎么通信</title><link>https://blog.javazero.top/2026/09/05/llm-parallel-overview/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/llm-parallel-overview/</guid><description>「并行」章的开篇。一次训练里能切的维度只有六个：batch、序列、权重矩阵的行列、层、expert，以及注意力内部的序列。每种切法一节，回答同一组问题：切什么、为什么能切、前向和反向各发生什么通信、通信量多大、每卡的计算和显存少了多少。最后看 Megatron、DeepSpeed、PyTorch DTensor / FSDP / torchtitan、JAX GSPMD 怎么用各自的方式表达同一套切法，以及它们怎么在一个 device mesh 上叠起来。</description><pubDate>Sat, 05 Sep 2026 21:30:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>训练系统</category><category>并行</category></item><item><title>Kimi K3 模型结构（10）：RL 与服务中的状态管理</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-10-rl-serving/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-10-rl-serving/</guid><description>系统篇收尾。1M 上下文的 RL 和线上服务里，瓶颈从算力变成「状态放哪」：KV 块和 KDA 状态在 GPU 与 DRAM 池之间的 write-back，训练状态腾到 NVMe，参考模型权重借用梯度缓冲流进 GPU，沙箱的 pause / fork / snapshot，以及集群级的缓存亲和与预算准入。</description><pubDate>Sat, 05 Sep 2026 21:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>训练系统</category><category>推理服务</category></item><item><title>Kimi K3 模型结构（9）：显存，把 2.8T 塞进 GPU</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-09-memory/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-09-memory/</guid><description>系统篇第二篇。先用 config.json 的形状列出训练时每张卡上存了什么，再把 §5.2.2 的六个技巧逐个放回账本：每一个都是把某一行搬走，同时付出某种代价。推导 MoE 反向为什么可以不存 expert 输出，P2P Muon 比全量 all-gather 省在哪里。</description><pubDate>Sat, 05 Sep 2026 20:30:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>训练系统</category><category>显存</category></item><item><title>DeepSeek-V4 模型结构（7）：混合注意力与 mHC 带来的系统改动</title><link>https://blog.javazero.top/2026/09/05/deepseek-v4-07-systems/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/deepseek-v4-07-systems/</guid><description>连载收尾。前六篇的结构选择各自要求系统做相应的改动：两种压缩率和滑窗让 KV cache 分成「状态」和「分页」两类，块大小必须是 lcm(4, 128)；压缩窗口会跨过上下文并行的边界，要一次点对点加一次 all-gather；磁盘前缀缓存里压缩条目好存、滑窗 KV 难存，三种策略换取不同的重算量；mHC 的 4 倍访存靠融合 kernel、重算和 DualPipe 压到 6.7%。</description><pubDate>Sat, 05 Sep 2026 20:20:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4</category><category>模型结构</category><category>训练系统</category></item><item><title>DeepSeek-V4 模型结构（6）：优化器与稳定性，Muon</title><link>https://blog.javazero.top/2026/09/05/deepseek-v4-06-muon/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/deepseek-v4-06-muon/</guid><description>从「Adam 逐元素、Muon 逐矩阵」的动机出发，推出谱范数下最速下降的解是梯度的正交化，再看 Newton–Schulz 迭代怎么不做 SVD 地逼近它。V4 的混合迭代用两组系数：一组把小奇异值快速抬起来，一组让奇异值精确收敛到 1，多项式的形状说明了为什么。再讲 RMS 匹配、哪些参数留给 AdamW、为什么 Q/KV 归一化让 QK-Clip 不再需要、Anticipatory Routing，以及 MTP。</description><pubDate>Sat, 05 Sep 2026 20:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4</category><category>模型结构</category><category>优化器</category></item><item><title>Kimi K3 模型结构（8）：训练并行，MoonEP 与四类等待</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-08-parallel-moonep/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-08-parallel-moonep/</guid><description>系统篇第一篇。一句话交代 K3 预训练的并行布局，然后用「谁在等谁」一个问题串起 §5.2 的所有技巧：EP 负载不均、host 等 shape、SM 之间的偏斜、流水线气泡里的 ViT。重点推导 MoonEP 的定理：每个 rank 预留 E/R 个冗余 expert 槽位，任何 router 输出都能补到完全平衡。</description><pubDate>Sat, 05 Sep 2026 20:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>训练系统</category><category>并行</category></item><item><title>DeepSeek-V4 模型结构（5）：宽度维度，DeepSeekMoE 的四个改动</title><link>https://blog.javazero.top/2026/09/05/deepseek-v4-05-moe/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/deepseek-v4-05-moe/</guid><description>V4 的 MoE 仍是 DeepSeekMoE，但改了四处：路由打分从 sigmoid 换成 sqrt(softplus)，前三层用按 token id 查表的 hash routing 取代稠密层，无辅助损失的偏置路由之外加了一个极小的序列级平衡损失，SwiGLU 加了硬截断。每一处都先说它要解决什么，再看它在代码里长什么样，最后算参数量和 FP4。</description><pubDate>Sat, 05 Sep 2026 19:40:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4</category><category>模型结构</category></item><item><title>DeepSeek-V4 模型结构（4）：深度维度，mHC</title><link>https://blog.javazero.top/2026/09/05/deepseek-v4-04-mhc/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/deepseek-v4-04-mhc/</guid><description>残差连接为什么是恒等映射，Hyper-Connections 把它拓宽成 4 条流之后为什么会不稳，从「想要什么性质」一步步推出双随机矩阵这个约束，Sinkhorn-Knopp 怎么把任意矩阵投影上去，V4 的参数化与代码实现，以及它和 Kimi K3 的 Attention Residuals 的关系。</description><pubDate>Sat, 05 Sep 2026 19:20:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4</category><category>模型结构</category></item><item><title>DeepSeek-V4 模型结构（3）：序列维度（下），HCA、混合排布与零件</title><link>https://blog.javazero.top/2026/09/05/deepseek-v4-03-hybrid-attention/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/deepseek-v4-03-hybrid-attention/</guid><description>HCA 为什么压缩 128 倍之后不需要再选，CSA 和 HCA 为什么要交错，滑窗分支为什么必须有。K = V 让注意力输出带上了绝对位置，V4 用对输出做反向旋转来抵消，这一步从 RoPE 的乘法性质推出来。再讲 attention sink 从 softmax 的什么缺陷来，Q/KV 归一化为什么让 Muon 不再需要 QK-Clip，最后算清 1M 上下文的 KV cache 和 FLOPs。</description><pubDate>Sat, 05 Sep 2026 19:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4</category><category>模型结构</category></item><item><title>DeepSeek-V4 模型结构（2）：序列维度（中），Lightning Indexer 与稀疏选择</title><link>https://blog.javazero.top/2026/09/05/deepseek-v4-02-lightning-indexer/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/deepseek-v4-02-lightning-indexer/</guid><description>压缩之后 1M 上下文仍有 26 万个条目，每个 query 只看其中 1024 个。从 DeepSeek-V3.2 的 DSA 说起：indexer 的打分公式为什么长这样、ReLU 和 FP4 从哪来、它怎么用主注意力的分布来训练；再看 V4 把索引对象从 token 换成压缩块之后改了什么，以及一层 CSA 从头到尾的完整维度。</description><pubDate>Sat, 05 Sep 2026 18:40:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4</category><category>模型结构</category></item><item><title>DeepSeek-V4 模型结构（1）：序列维度（上），从 MLA 到压缩 KV</title><link>https://blog.javazero.top/2026/09/05/deepseek-v4-01-kv-compression/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/deepseek-v4-01-kv-compression/</guid><description>1M 上下文下注意力的开销到底花在哪，可以砍的只有三个量：头数、维度、条目数。沿着 MHA → MQA → MLA → DSA → CSA/HCA 的谱系走一遍，每一步砍了什么；把 V4 的压缩算子从平均池化一步步推出来，解释重叠窗口和逐通道 softmax；再讲 K = V 的单头 MQA 和分组输出投影。</description><pubDate>Sat, 05 Sep 2026 18:20:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4</category><category>模型结构</category></item><item><title>DeepSeek-V4 模型结构（0）：一张图看懂 DeepSeek-V4</title><link>https://blog.javazero.top/2026/09/05/deepseek-v4-00-overview/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/deepseek-v4-00-overview/</guid><description>连载开篇。用一张可点击的总架构图把 DeepSeek-V4 的 4 条残差流、交错的两种压缩注意力和 MoE 摆在一起，给出 Pro 与 Flash 的层排布和维度表、V3 → V3.2 → V4 的结构对照，并说明后面每一篇讲什么。</description><pubDate>Sat, 05 Sep 2026 18:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>DeepSeek-V4</category><category>模型结构</category></item><item><title>Kimi K3 模型结构（7）：三个新模块带来的系统改动</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-07-systems/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-07-systems/</guid><description>结构篇收尾。前六篇的每个结构选择都要求系统做相应的改动：KDA 的三种内核，以及为什么它的上下文并行不能直接把状态加起来；Block AttnRes 的内存和通信处理；LatentMoE 的融合 GEMM 与以 token 为中心的解码内核；混合架构下 512-token 粒度的前缀缓存；投机解码时 KDA 状态怎么回滚。</description><pubDate>Sat, 05 Sep 2026 16:40:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>模型结构</category><category>训练系统</category></item><item><title>Kimi K3 模型结构（6）：输入端与零件，MoonViT-V2、MTP、Per-Head Muon</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-06-vision-and-parts/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-06-vision-and-parts/</guid><description>主干之外的部分。从零训练的视觉编码器 MoonViT-V2 和它的投影层，一张 3584×3584 的图变成多少个 token；预训练的 MTP 层怎么被微调成 EAGLE-3 的 draft；Per-Head Muon 改了 Muon 的什么；以及词表、稠密层这些零碎的事实。</description><pubDate>Sat, 05 Sep 2026 16:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>模型结构</category></item><item><title>Kimi K3 模型结构（5）：宽度维度，Stable LatentMoE</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-05-stable-latentmoe/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-05-stable-latentmoe/</guid><description>896 选 16 的 MoE 为什么要在一半宽度的 latent 空间里跑。先复述 NVIDIA LatentMoE 的论证思路，再逐个拆 K3 加的三样东西：latent 上的 RMSNorm、SiTU-GLU 激活、Quantile Balancing 负载均衡，包括它从平衡指派问题推出来的过程。</description><pubDate>Sat, 05 Sep 2026 15:20:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>模型结构</category></item><item><title>Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-03-gated-mla/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-03-gated-mla/</guid><description>每四层一层的全局注意力。MLA 的低秩 KV 压缩按 K3 的真实维度走一遍，解释为什么 K3 敢让所有 MLA 层完全不带位置编码，满秩输出门是什么，3:1 这个比例怎么选出来的，以及 1M 上下文时 KV cache 和 KDA 状态各占多少。</description><pubDate>Sat, 05 Sep 2026 14:40:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>模型结构</category></item><item><title>Kimi K3 模型结构（2）：序列维度（下），chunkwise 并行与下界衰减</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-02-kda-chunkwise/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-02-kda-chunkwise/</guid><description>KDA 的 chunkwise 并行形式：WY 表示、UT 变换、块间递推加块内矩阵乘。然后是 K3 的改动：给每步的 log-decay 加一个 −5 的下界，让 16-token 对角 tile 也能用 Tensor Core 算。附一个可以拖的曲线对比。</description><pubDate>Sat, 05 Sep 2026 14:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>模型结构</category></item><item><title>Kimi K3 模型结构（1）：序列维度（上），从线性注意力到 KDA</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-01-kda-recurrence/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-01-kda-recurrence/</guid><description>Kimi Delta Attention 的递推形式。把状态更新看成一步在线学习：写入、擦除、衰减三种操作各对应目标函数里的一项，合起来就是 KDA 的状态更新公式。然后沿谱系图看每一步加了什么，用三个合成任务验证，解释为什么转移矩阵的连乘能提供位置信息，最后对上 K3 的真实维度和 K3 对输出门的改动。</description><pubDate>Sat, 05 Sep 2026 13:20:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>模型结构</category></item><item><title>Kimi K3 模型结构（4）：深度维度，Attention Residuals</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-04-attnres/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-04-attnres/</guid><description>残差连接是深度方向上的 RNN，Attention Residuals 把它换成深度方向上的 softmax 注意力。讲清 Full 与 Block 两种形式、每个符号的含义、K3 里 93 层怎么切成 8 块 9 个来源，以及 Hugging Face 代码里论文没写的实现细节。</description><pubDate>Sat, 05 Sep 2026 12:40:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>模型结构</category></item><item><title>Kimi K3 模型结构（0）：一张图看懂 Kimi K3</title><link>https://blog.javazero.top/2026/09/05/kimi-k3-00-overview/</link><guid isPermaLink="true">https://blog.javazero.top/2026/09/05/kimi-k3-00-overview/</guid><description>连载开篇。用一张可点击的总架构图把 Kimi K3 的 93 层、三个维度上的三个新模块和视觉通路摆在一起，给出 K2 → K3 的结构对照表，并说明后面每一篇讲什么。</description><pubDate>Sat, 05 Sep 2026 12:00:00 GMT</pubDate><category>📝学习</category><category>大模型</category><category>Kimi K3</category><category>模型结构</category></item><item><title>wireguard折腾记录</title><link>https://blog.javazero.top/2023/08/05/wireguard%E6%8A%98%E8%85%BE/</link><guid isPermaLink="true">https://blog.javazero.top/2023/08/05/wireguard%E6%8A%98%E8%85%BE/</guid><description>两个服务器都安装wireguard，然后配置好服务器端和客户端，然后两个服务器互联，可以互相ping通。</description><pubDate>Sat, 05 Aug 2023 23:12:33 GMT</pubDate><category>💾服务器</category><category>折腾</category><category>网络</category><category>分享</category></item><item><title>DSB in SBG</title><link>https://blog.javazero.top/2023/06/25/DSB-in-SBG/</link><guid isPermaLink="true">https://blog.javazero.top/2023/06/25/DSB-in-SBG/</guid><description>Diffusion Schrödinger Bridge 论文理解：用熵正则最优传输在有限时间内从数据分布采样。</description><pubDate>Sun, 25 Jun 2023 14:43:41 GMT</pubDate></item><item><title>ODE常微分方程总结</title><link>https://blog.javazero.top/2023/02/24/ODE%E5%B8%B8%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B%E6%80%BB%E7%BB%93/</link><guid isPermaLink="true">https://blog.javazero.top/2023/02/24/ODE%E5%B8%B8%E5%BE%AE%E5%88%86%E6%96%B9%E7%A8%8B%E6%80%BB%E7%BB%93/</guid><description>一阶常微分方程解法总结：可分离变量、齐次方程、线性方程、伯努利方程、恰当方程与积分因子。</description><pubDate>Fri, 24 Feb 2023 18:54:11 GMT</pubDate><category>📝学习</category><category>数学</category></item><item><title>Windows分应用跳过管理员弹窗</title><link>https://blog.javazero.top/2022/11/15/Windows%E5%88%86%E5%BA%94%E7%94%A8%E8%B7%B3%E8%BF%87%E7%AE%A1%E7%90%86%E5%91%98%E5%BC%B9%E7%AA%97/</link><guid isPermaLink="true">https://blog.javazero.top/2022/11/15/Windows%E5%88%86%E5%BA%94%E7%94%A8%E8%B7%B3%E8%BF%87%E7%AE%A1%E7%90%86%E5%91%98%E5%BC%B9%E7%AA%97/</guid><description>改注册表，让指定程序以管理员权限启动时不再弹 UAC 窗口。</description><pubDate>Tue, 15 Nov 2022 20:54:21 GMT</pubDate><category>💻Windows</category><category>分享</category></item><item><title>docker配置wikijs</title><link>https://blog.javazero.top/2022/11/06/docker%E9%85%8D%E7%BD%AEwikijs/</link><guid isPermaLink="true">https://blog.javazero.top/2022/11/06/docker%E9%85%8D%E7%BD%AEwikijs/</guid><description>默认你已经安装好了docker</description><pubDate>Sun, 06 Nov 2022 15:14:22 GMT</pubDate><category>💾服务器</category><category>折腾</category></item><item><title>使用socket代理解决企业微信可信ip问题</title><link>https://blog.javazero.top/2022/09/21/%E4%BD%BF%E7%94%A8%E4%BB%A3%E7%90%86%E8%A7%A3%E5%86%B3%E4%BC%81%E4%B8%9A%E5%BE%AE%E4%BF%A1%E5%8F%AF%E4%BF%A1ip%E9%97%AE%E9%A2%98/</link><guid isPermaLink="true">https://blog.javazero.top/2022/09/21/%E4%BD%BF%E7%94%A8%E4%BB%A3%E7%90%86%E8%A7%A3%E5%86%B3%E4%BC%81%E4%B8%9A%E5%BE%AE%E4%BF%A1%E5%8F%AF%E4%BF%A1ip%E9%97%AE%E9%A2%98/</guid><description>最近在网上看到了使用微信测试公众号给女朋友弄的每日推送。不过还是有很多问题的，主要是不能更改头像和名字，非常的不优雅。于是找到了企业微信的api，非常满足我的需要求。</description><pubDate>Wed, 21 Sep 2022 11:16:22 GMT</pubDate><category>💾服务器</category><category>折腾</category><category>网络</category><category>分享</category></item><item><title>PowerShell美化</title><link>https://blog.javazero.top/2022/09/03/PowerShell%E7%BE%8E%E5%8C%96/</link><guid isPermaLink="true">https://blog.javazero.top/2022/09/03/PowerShell%E7%BE%8E%E5%8C%96/</guid><description>最近刚刚重装了系统，记录一下美化的过程</description><pubDate>Sat, 03 Sep 2022 14:40:53 GMT</pubDate><category>💻Windows</category><category>软件</category><category>分享</category></item><item><title>Kaggle比赛RSNA-2022骨折检测</title><link>https://blog.javazero.top/2022/09/01/Kaggle_RSNA/</link><guid isPermaLink="true">https://blog.javazero.top/2022/09/01/Kaggle_RSNA/</guid><description>记录一下第一次认真参加Kaggle比赛</description><pubDate>Thu, 01 Sep 2022 21:18:33 GMT</pubDate><category>📝学习</category><category>深度学习</category><category>cv</category><category>Kaggle</category></item><item><title>CloudComPy库安装</title><link>https://blog.javazero.top/2022/08/30/CloudComPy_install/</link><guid isPermaLink="true">https://blog.javazero.top/2022/08/30/CloudComPy_install/</guid><description>在 Linux + conda 环境下安装 CloudComPy 二进制包，以及读取和给点云上色的几个小细节。</description><pubDate>Tue, 30 Aug 2022 11:16:22 GMT</pubDate><category>🖥️Python</category><category>cv</category><category>点云配准</category></item><item><title>Pandas的数据操作</title><link>https://blog.javazero.top/2022/08/30/pandas%E7%94%A8%E6%B3%95/</link><guid isPermaLink="true">https://blog.javazero.top/2022/08/30/pandas%E7%94%A8%E6%B3%95/</guid><description>最近在打Kaggle，遇到很夸张的数据预处理。</description><pubDate>Tue, 30 Aug 2022 09:09:16 GMT</pubDate><category>🖥️Python</category><category>Pandas</category><category>数据处理</category></item><item><title>齐次坐标系的理解</title><link>https://blog.javazero.top/2022/08/26/%E9%BD%90%E6%AC%A1%E5%9D%90%E6%A0%87%E7%B3%BB%E7%9A%84%E7%90%86%E8%A7%A3/</link><guid isPermaLink="true">https://blog.javazero.top/2022/08/26/%E9%BD%90%E6%AC%A1%E5%9D%90%E6%A0%87%E7%B3%BB%E7%9A%84%E7%90%86%E8%A7%A3/</guid><description>在计算机图形学里面会经常碰到几何体的平移,旋转,缩放以及投影变换. 一般情况下会涉及到齐次坐标与变换矩阵. 为了后续对变换矩阵内容的讲解, 在这里先简要的介绍一下什么是齐次坐标.</description><pubDate>Fri, 26 Aug 2022 14:19:25 GMT</pubDate><category>📝学习</category><category>cv</category></item><item><title>NgeNet论文理解</title><link>https://blog.javazero.top/2022/08/25/ngenet/</link><guid isPermaLink="true">https://blog.javazero.top/2022/08/25/ngenet/</guid><description>由于点云传统配准（ICP：迭代最近点算法）效果不佳，于是考虑使用深度学习的方法。</description><pubDate>Thu, 25 Aug 2022 17:09:16 GMT</pubDate><category>📝学习</category><category>深度学习</category><category>cv</category><category>点云配准</category><category>NgeNet</category></item><item><title>2023年必装的Windows软件</title><link>https://blog.javazero.top/2022/08/25/windwos-app/</link><guid isPermaLink="true">https://blog.javazero.top/2022/08/25/windwos-app/</guid><description>平时学习、Coding、内容生产必备工具</description><pubDate>Thu, 25 Aug 2022 14:49:00 GMT</pubDate><category>💻Windows</category><category>软件</category><category>分享</category></item></channel></rss>