第五课主要讲GPU的一些基本知识，第六课则主要是讲如何做benchmark/profile，以及优化性能的一些方式 教授推荐了一个blog：https://horace.io/brrr_intro.html 很久之前学的CMU15418中也有GPU Architecture / Cuda Programming的东西，时间一看已经是2016年spring，接近10年了。 正好复习一下，然后结合这两个课程来介绍一下GPU相关的背景知识。 GPU Architecture * CPU，针对latency优化，很多的地方…
MoE的核心点是在attention block中的FFN层，加入多个FFN，然后根据输入选择不同的FFN来计算。 对应的一篇比较不错的综述：A Review of Sparse Expert Models in Deep Learning 作者同时也是switch transformer的作者，也是将MoE应用到了transformer中 MoE有两个比较大的好处： * 推理阶段，允许在相同的FLOPS下，使用更大参数量的模型。（直观感觉就是允许模型通过更多参数记忆更多世界知识） * 验证效果更好，activat…
内容比较多，所以搞了一个mindmap： 第三课涉及了很多模型相关的知识，从基础的transformer出发，讲解了这些比较前沿的模型在上面的改动，以及为什么要这样改。所以这里需要有一个基础就是先学习过transformer 主题： * the best way to learn is hands-on experience * the second best way is to try to learn from others’ experience DL这块变得更加需要经验，所以实操才是关键。 还有一个需要考虑…
纯记录，写的比较糊，包括assignment1的实验和习题的解答 BPE Tokenizer Problem (unicode1): Understanding Unicode (1 point) (a) What Unicode character does chr(0) return? 0这个码点代表的字符 (b) How does this character’s string representation (repr()) differ from its printed representation? pr…