先看这篇博客理解一下dispatch的高层设计 https://blog.ezyang.com/2020/09/lets-talk-about-the-pytorch-dispatcher/ DispatchKey Dispatch key是64bit中的某一个bit。bit位越高优先级就越高。 这块很多的设计都可以从DispatchKey.h中看到设计 有一个关键的设计就是dispatch key被拆分成了两块，分别是 48位的functionality 16位（目前）的backend，包括CPU，CUDA，XL…
https://github.com/ysj1173886760/repo_summary ai帮忙写了一个repo summary的工具 针对指定的仓库，周级别的拉PR，然后总结，用来看这个项目这一周的进展，看看有没有自己比较关注的PR 目前我这里默认关注了megatromlm, pytorch和torchtitan 用的ds v4的模型，差不多一个月几块钱 跑一段时间先看看
MemPool 每个MemPool都靠一个(u64, u64)的二元组来唯一定位。分别是uid和uuid。 在aten/src/Aten/cuda/MemPool.cpp中有详细的解释 uid每次用户申请一个新的mem pool会自增 CUDAGraph每次创建mem pool会增加uuid {0, 0}表示默认的pool 在CUDACachingAllocator中，通过PrivatePool来管理所有的内存池 有一个use_count/cudaMalloc_count，相当于引用计数。当变成0的…
机制 数据类型 何时记录 何时启用 谁消费 Stat 统计 DeviceStats 每次 alloc/free/split/merge 永远开（O(1) 计数） memory_stats() / memory_allocated() 等 Python API \ Trace 历史 TraceEntry 同上 + 段级事件 默认关，需要 _record_memory_history() 打开 memory_snapshot() / _dump_snapshot() Profiler 上报 reportMemoryUs…
torch allocator的阅读笔记 DataPtr 包含c10::detail::UniqueVoidPtr和device Device是一个type和一个index type就是比如CPU，GPU等 index就是表示第几个，比如cuda0, cuda1这种 UniqueVoidPtr 一个data表示用户使用的数据 一个unique ptr表示这个数据的owner 用户拿到的指针不一定代表这块内存 而且unique_ptr在null的时候不会调用deleter，这里也可以支持这种情况。data为空…
整理几个核心的设计点 两种format： * E4M3，适合权重和activation * E5M2，适合梯度 The recommended use of FP8 encodings is E4M3 for weight and activation tensors, and E5M2 for gradient tensors. This is consistent with findings in [20, 16], where inference and forward pass of training use…
没拍图片，简单记录一下。 牛排： * 简单放一点橄榄油揉一揉，中火煎。相对比较稳定 * 或者是放牛油，放多点然后大火煎。出来的效果也比较好，但是油多了很容易有很多明火，感觉还是有点危险 蒸地瓜： * 切两头 * 水开锅后蒸，大火一般20分钟+ * 关火后焖一会，可能总共30分钟就差不多了。蒸出来的比较软也好吃 青花鱼： * 解冻，吸水 * 烤箱25分钟不需要预热就好 * 出来了再放盐，以及放点柠檬汁去腥就可以 烤土豆： * 切小块，一定要小块，不然不好熟 * 放到盘子里，放黑胡椒海盐，橄榄油，揉一揉 * 放到锡纸+…
文章：https://zhuanlan.zhihu.com/p/673903240 通信的实现方式分为两种类型：机器内通信与机器间通信。 机器内通信： * 共享内存（QPI/UPI），比如：CPU与CPU之间的通信可以通过共享内存。 * PCIe，通常是CPU与GPU之间的通信。 * NVLink，通常是GPU与GPU之间的通信，也可以用于CPU与GPU之间的通信。 机器间通信： * TCP/IP 网络协议。 * RDMA (Remote Direct Memory Access) 网络协议。 * InfiniBa…
Overview API Communication management 通信需要通过communicator来进行。ncclCommInitAll来初始化communicator ncclCommDestroy用来销毁一个communicator，会等待pending operation ncclCommAbort立刻销毁communicator，取消pending operation，用来避免死锁 Collective communication ncclAllReduce, ncclBroadcast, n…