https://github.com/tinygrad/teenygrad 简易的深度学习框架，基于CPU上的numpy。在上层封装了Tensor的各种操作，自动微分。是一个用来学习自动微分引擎的比较不错的小项目。代码量也非常小。 同时有一个扩展版本的项目tinygrad，在此之上支持了多种后端，可以看作是pytorch的缩小版 个人感觉需要关注的点主要是三个： 数据的表示（Tensor） Autograd 常见操作的实现 Tensor Tensor是一个N维的数组，在此之上，支持： 多种常见的计算函数 自动微分 …
Profile and benchmark backward相比于forward慢了2倍。 （update：我这里好像backward也把forward算上了，所以可能算出来应该是1:1的，但是经验值看，应该两者是有2～3倍的差距的。所以不清楚这里具体是什么原因） 相比之下标准差并不大，说明benchmark脚本没什么问题 还对比了一下用perf counter和cuda.Event，区别也不大，因为也没有什么排队延迟。为了方便控制，就都用cuda Event了 关掉warmup之后，结果明显不同，同时标准差也升高…