MemPool 每个MemPool都靠一个(u64, u64)的二元组来唯一定位。分别是uid和uuid。 在aten/src/Aten/cuda/MemPool.cpp中有详细的解释 uid每次用户申请一个新的mem pool会自增 CUDAGraph每次创建mem pool会增加uuid {0, 0}表示默认的pool 在CUDACachingAllocator中，通过PrivatePool来管理所有的内存池 有一个use_count/cudaMalloc_count，相当于引用计数。当变成0的…
机制 数据类型 何时记录 何时启用 谁消费 Stat 统计 DeviceStats 每次 alloc/free/split/merge 永远开（O(1) 计数） memory_stats() / memory_allocated() 等 Python API \ Trace 历史 TraceEntry 同上 + 段级事件 默认关，需要 _record_memory_history() 打开 memory_snapshot() / _dump_snapshot() Profiler 上报 reportMemoryUs…
torch allocator的阅读笔记 DataPtr 包含c10::detail::UniqueVoidPtr和device Device是一个type和一个index type就是比如CPU，GPU等 index就是表示第几个，比如cuda0, cuda1这种 UniqueVoidPtr 一个data表示用户使用的数据 一个unique ptr表示这个数据的owner 用户拿到的指针不一定代表这块内存 而且unique_ptr在null的时候不会调用deleter，这里也可以支持这种情况。data为空…