https://zhuanlan.zhihu.com/p/321449610，介绍了autograd的各种能力 https://dev-discuss.pytorch.org/t/how-to-read-the-autograd-codebase/383 torch论坛的一个autograd的介绍 https://blog.ezyang.com/2019/05/pytorch-internals/: 中间这块确实太过复杂，有基本的概念就快速跳过，有需要再来单独读。 从python怎么写到kernel就行 这里有两个…
简单看看tensor/stoage相关的实现，为后面的autograd相关的做一下准备 StorageImpl StorageImpl = 一块连续内存 buffer 的所有者。它只关心三件事:内存在哪(data_ptr_)、有多大(size_bytes_)、谁来分配/释放(allocator_) stride，shape，dtype相关的则是由TensorImpl来负责 注释中： // NB: storage is supposed to uniquely own a data pointer; e.g., //…
boxing相关的概念在这篇博客里也讲的比较详细：https://blog.ezyang.com/2020/09/lets-talk-about-the-pytorch-dispatcher/ 在具体看boxing/unboxing实现之前，需要先看一下为什么会有这两种调用方式，这两种调用方式的示例，以及为什么需要支持相互调用 这里有一个概念要分清，就是博客中提到的API和kernel，我们会有box/unbox api，以及box/unbox kernel Unbox api -> unbox kernel就是性…
先看这篇博客理解一下dispatch的高层设计 https://blog.ezyang.com/2020/09/lets-talk-about-the-pytorch-dispatcher/ DispatchKey Dispatch key是64bit中的某一个bit。bit位越高优先级就越高。 这块很多的设计都可以从DispatchKey.h中看到设计 有一个关键的设计就是dispatch key被拆分成了两块，分别是 48位的functionality 16位（目前）的backend，包括CPU，CUDA，XL…
https://github.com/ysj1173886760/repo_summary ai帮忙写了一个repo summary的工具 针对指定的仓库，周级别的拉PR，然后总结，用来看这个项目这一周的进展，看看有没有自己比较关注的PR 目前我这里默认关注了megatromlm, pytorch和torchtitan 用的ds v4的模型，差不多一个月几块钱 跑一段时间先看看
MemPool 每个MemPool都靠一个(u64, u64)的二元组来唯一定位。分别是uid和uuid。 在aten/src/Aten/cuda/MemPool.cpp中有详细的解释 uid每次用户申请一个新的mem pool会自增 CUDAGraph每次创建mem pool会增加uuid {0, 0}表示默认的pool 在CUDACachingAllocator中，通过PrivatePool来管理所有的内存池 有一个use_count/cudaMalloc_count，相当于引用计数。当变成0的…
机制 数据类型 何时记录 何时启用 谁消费 Stat 统计 DeviceStats 每次 alloc/free/split/merge 永远开（O(1) 计数） memory_stats() / memory_allocated() 等 Python API \ Trace 历史 TraceEntry 同上 + 段级事件 默认关，需要 _record_memory_history() 打开 memory_snapshot() / _dump_snapshot() Profiler 上报 reportMemoryUs…
torch allocator的阅读笔记 DataPtr 包含c10::detail::UniqueVoidPtr和device Device是一个type和一个index type就是比如CPU，GPU等 index就是表示第几个，比如cuda0, cuda1这种 UniqueVoidPtr 一个data表示用户使用的数据 一个unique ptr表示这个数据的owner 用户拿到的指针不一定代表这块内存 而且unique_ptr在null的时候不会调用deleter，这里也可以支持这种情况。data为空…
整理几个核心的设计点 两种format： * E4M3，适合权重和activation * E5M2，适合梯度 The recommended use of FP8 encodings is E4M3 for weight and activation tensors, and E5M2 for gradient tensors. This is consistent with findings in [20, 16], where inference and forward pass of training use…
没拍图片，简单记录一下。 牛排： * 简单放一点橄榄油揉一揉，中火煎。相对比较稳定 * 或者是放牛油，放多点然后大火煎。出来的效果也比较好，但是油多了很容易有很多明火，感觉还是有点危险 蒸地瓜： * 切两头 * 水开锅后蒸，大火一般20分钟+ * 关火后焖一会，可能总共30分钟就差不多了。蒸出来的比较软也好吃 青花鱼： * 解冻，吸水 * 烤箱25分钟不需要预热就好 * 出来了再放盐，以及放点柠檬汁去腥就可以 烤土豆： * 切小块，一定要小块，不然不好熟 * 放到盘子里，放黑胡椒海盐，橄榄油，揉一揉 * 放到锡纸+…