这篇文章来介绍一下MegatronLM中，TensorParallel相关的实现，主要是面向源码。 相关论文：Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism，推荐先看一下 MegatronLM实现的TensorParallel需要对模型结构有改动，用支持并行计算的层来替换掉原始模型中的那些层，并不是类似Torch FSDP这种对模型结构无感知的实现方法。 所以在阅读代码的过程中，主要需要看两个…
土豆豆角炖排骨 这次的做法： * 排骨焯水，小火煮一会 * 切豆角，土豆块 * 放油，放姜片，蒜片（拍一下简单切切就行），葱段，小火煸一下 * 放排骨，炒吧炒吧。放酱油，多放点放一个锅勺 * 炒一炒放豆角。简单炒一炒，放热水，漫过排骨 * 盖盖，中小火炖。等水炒开，放土豆 * 炖10分钟左右，开锅，尝尝汤，味道不够就再放点酱油。 * 收个汁，放点葱段，出国 改进点： * 排骨有点硬，要么是多煮一会，要么是用高压锅先压一下。这样排骨比较软，更好吃 * 后面炖土豆/豆角的时候有点烂了，我大概炖了15分钟。可以放少点时间…
之前有过FSDP1相关的介绍，这次来看一看FSDP2，也是偏源码分析级 不过有一个特殊的点是FSDP2在Github上的文档非常全面，把相关特性的支持，代码结构的设计讲的都很清楚，所以这篇文章主要是来做一个补全。推荐在阅读FSDP2的代码之前，先看看这个文档https://github.com/pytorch/pytorch/issues/114299 还有一个点是因为我个人对torch dynamo相关的不太熟悉，所以FSDP2和编译优化相关的事情就不提了 FSDP2和FSDP1个人认为最主要的区别点有几个： 不…
整理一下FSDP1相关的实现，偏源码级，适合想读代码的同学来看 Core 核心流程如图 图中可以看到，FSDP虽然shard了模型，但是在计算(forward)的过程中，还是需要收集所有的参数做计算。所以他还是被划分成DataParallel Init 主要分为两块： 把模型切分成fsdp unit 把每一个fsdp unit的参数展开成FlatParameter 以一个CausalTransformer为例，模型会被组织成一个树形的结构。每一个节点都会有自己的Parameter，定义自己的forward计算逻辑。…
Profile and benchmark backward相比于forward慢了2倍。 （update：我这里好像backward也把forward算上了，所以可能算出来应该是1:1的，但是经验值看，应该两者是有2～3倍的差距的。所以不清楚这里具体是什么原因） 相比之下标准差并不大，说明benchmark脚本没什么问题 还对比了一下用perf counter和cuda.Event，区别也不大，因为也没有什么排队延迟。为了方便控制，就都用cuda Event了 关掉warmup之后，结果明显不同，同时标准差也升高…
论文：Rethinking Agent Design: From Top-Down Workflows to Bottom-Up Skill Evolution 代码整体比较简单，很多细节并没有仔细的处理，不过思路值得学习一下，毕竟是一个training-free的方法，适合没有算力的小伙伴 当前大多数 LLM-based agents（基于大模型的****智能体****） 都采用 自上而下（Top-Down） 的设计方式： 人类先拆解任务 设计工作流 指定 agent 执行每一步 ➡️ 这种方式在基准任务上效果好…
Inference workload 首先需要知道的是，inference和train的区别是train只需要执行一次，而模型部署之后，inference执行的次数会非常多。所以我们需要让inference变的高效，才能让模型更加“经济” 优化inference的一些应用点： 日常使用：chatbots, code completion 模型评估：llm as judge等 test-time compute，更多的thinking RL，做sample generation和打分 Metrics: TTFT，首t…
这一节主要讲的是训练模型的时候的一些并行化的手段 并行化的原因：单个GPU的算力/内存都有限。需要更多的节点来扩展算力，并把模型放入到内存中。 我们的核心目的（也是并行化的核心目的），就是线性的scale。随着GPU数量上升，max model params和flops都可以线性上升。 GPT-NeoX-20B: An Open-Source Autoregressive Language Model 中非常好的一张图，展示了GPU并行训练时候的关键节点和通信链路。 * GPU/GPU通信可以走nvlink，带宽非…