简单看看tensor/stoage相关的实现，为后面的autograd相关的做一下准备 StorageImpl StorageImpl = 一块连续内存 buffer 的所有者。它只关心三件事:内存在哪(data_ptr_)、有多大(size_bytes_)、谁来分配/释放(allocator_) stride，shape，dtype相关的则是由TensorImpl来负责 注释中： // NB: storage is supposed to uniquely own a data pointer; e.g., //…
boxing相关的概念在这篇博客里也讲的比较详细：https://blog.ezyang.com/2020/09/lets-talk-about-the-pytorch-dispatcher/ 在具体看boxing/unboxing实现之前，需要先看一下为什么会有这两种调用方式，这两种调用方式的示例，以及为什么需要支持相互调用 这里有一个概念要分清，就是博客中提到的API和kernel，我们会有box/unbox api，以及box/unbox kernel Unbox api -> unbox kernel就是性…
先看这篇博客理解一下dispatch的高层设计 https://blog.ezyang.com/2020/09/lets-talk-about-the-pytorch-dispatcher/ DispatchKey Dispatch key是64bit中的某一个bit。bit位越高优先级就越高。 这块很多的设计都可以从DispatchKey.h中看到设计 有一个关键的设计就是dispatch key被拆分成了两块，分别是 48位的functionality 16位（目前）的backend，包括CPU，CUDA，XL…
https://github.com/ysj1173886760/repo_summary ai帮忙写了一个repo summary的工具 针对指定的仓库，周级别的拉PR，然后总结，用来看这个项目这一周的进展，看看有没有自己比较关注的PR 目前我这里默认关注了megatromlm, pytorch和torchtitan 用的ds v4的模型，差不多一个月几块钱 跑一段时间先看看