#cs336

CSS336 Lecture1&2

本文基于 Stanford CS336 前两讲，介绍了大语言模型训练的基本原理，包括神经网络训练流程、张量与矩阵运算、浮点数精度和计算量估算。同时，讲解了显存优化、GPU 性能分析以及稠密模型与 MoE 模型的区别，为理解大模型训练与性能优化奠定基础。