文章：https://zhuanlan.zhihu.com/p/673903240 通信的实现方式分为两种类型：机器内通信与机器间通信。 机器内通信： * 共享内存（QPI/UPI），比如：CPU与CPU之间的通信可以通过共享内存。 * PCIe，通常是CPU与GPU之间的通信。 * NVLink，通常是GPU与GPU之间的通信，也可以用于CPU与GPU之间的通信。 机器间通信： * TCP/IP 网络协议。 * RDMA (Remote Direct Memory Access) 网络协议。 * InfiniBa…
Overview API Communication management 通信需要通过communicator来进行。ncclCommInitAll来初始化communicator ncclCommDestroy用来销毁一个communicator，会等待pending operation ncclCommAbort立刻销毁communicator，取消pending operation，用来避免死锁 Collective communication ncclAllReduce, ncclBroadcast, n…
最上面的是zero bubble h1 第二张图是减少T_w之后的调度结果 第三/四张图是不考虑内存的调度结果 bubble的计算逻辑： 3是1F1B，不放置w的调度结果。可以看到执行时间是： M * (F + B) + (P-1) * F + (P-1) * B 考虑这里的关键我认为在于看最后一个stage，因为最后一个stage没有任何依赖，一直都是跑满的。 那么bubble size就是最后一个stage idle的时间，对应的就是图中的(P - 1) * (F + B…
MegatronLM中实现了这个global load balance，这里来整理一下 论文：Demons in the Detail On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models 给aux loss起名，叫load balancing loss。 其中fi是路由到第i个expert的token的比例，Pi是router分配给expert i的概率 提到目前MoE framework实现的L…
在section 3 distributed training这一节给了很详细的背景介绍和分析，包括： - FSDP和pp的冲突点 - compute/communicate overlap的定义 - Critical batch size的分析，在appendix上还给了详细的推导过程，以及直观的理解 a (mini-)batch is used to approximate the true gradients of the weights with respect to the loss. Increasin…