专栏 · 0 篇

大模型笔记

从模型结构到训练系统:新开源模型的架构拆解、并行策略、训练框架的软件工程,以及性能优化。按知识结构组织,不按时间。

这个专栏记录我学习和实践大模型训练系统的过程。每一篇尽量独立成文,但按上面的章节顺序读会更连贯。

  1. Part 01

    架构

    • 写作中大模型笔记:这个专栏要写什么
  2. Part 02

    并行

    计划中
  3. Part 03

    训练框架工程

    计划中
  4. Part 04

    性能优化

    计划中