2026年9月13日
大模型推理与 AI Infra
大模型真正跑起来以后，瓶颈往往不在“会不会算”，而在数据怎么搬、显存怎么用、请求怎么排。KV Cache、Prefill / Decode、PagedAttention、并行策略和推理引擎，看起来分散，其实都在解决同一件事：让有限的 GPU 资源支撑更长的上下文、更高的并发和更低的延迟。
技术 / Tech
共 4 篇文章按年份查看全部文章 →
2026年9月12日
初见大模型训练与推理
一开始看 AI Infra，最乱的其实不是概念，而是工具太多：CUDA、NCCL、DeepSpeed、Megatron-LM、vLLM。顺着大模型真正跑起来的过程去看，这些工具处理的无非是几类问题：显存不够、通信变慢、GPU 跑不满，以及推理时怎么把资源用得更省。AI Infra 关注的，就是这些系统瓶颈
2026年9月8日
从规模到能力：Scaling Law 与涌现
大语言模型不断扩大参数、数据和训练算力，整体性能也随之提高。但“规模更大所以更强”只描述了结果，没有说明这种提升是否存在稳定规律，也没有回答算力应该分给模型还是数据。 Scaling Law（规模定律）描述规模变化与 Loss 之间的关系；Emergent Abilities（涌现能力）关注的则是另一层现象：平均 Loss 可以平滑下降，具体任务的能力却可能在某个规模区间迅速上升。两者放在一起，刚好对应“大模型怎样持续变强”和“为什么有些能力看起来突然出现”这两个问题。
