大模型笔记
从模型结构到训练系统:新开源模型的架构拆解、并行策略、训练框架的软件工程,以及性能优化。按知识结构组织,不按时间。
这个专栏记录我学习和实践大模型训练系统的过程。每一篇尽量独立成文,但按上面的章节顺序读会更连贯。
- Part 01
架构
- 写作中大模型笔记:这个专栏要写什么
- Part 02
并行
计划中 - Part 03
训练框架工程
计划中 - Part 04
性能优化
计划中
从模型结构到训练系统:新开源模型的架构拆解、并行策略、训练框架的软件工程,以及性能优化。按知识结构组织,不按时间。
这个专栏记录我学习和实践大模型训练系统的过程。每一篇尽量独立成文,但按上面的章节顺序读会更连贯。