这一节主要讲的是训练模型的时候的一些并行化的手段 并行化的原因：单个GPU的算力/内存都有限。需要更多的节点来扩展算力，并把模型放入到内存中。 我们的核心目的（也是并行化的核心目的），就是线性的scale。随着GPU数量上升，max model params和flops都可以线性上升。 GPT-NeoX-20B: An Open-Source Autoregressive Language Model 中非常好的一张图，展示了GPU并行训练时候的关键节点和通信链路。 * GPU/GPU通信可以走nvlink，带宽非…

第五课主要讲GPU的一些基本知识，第六课则主要是讲如何做benchmark/profile，以及优化性能的一些方式 教授推荐了一个blog：https://horace.io/brrr_intro.html 很久之前学的CMU15418中也有GPU Architecture / Cuda Programming的东西，时间一看已经是2016年spring，接近10年了。 正好复习一下，然后结合这两个课程来介绍一下GPU相关的背景知识。 GPU Architecture * CPU，针对latency优化，很多的地方…

MoE的核心点是在attention block中的FFN层，加入多个FFN，然后根据输入选择不同的FFN来计算。 对应的一篇比较不错的综述：A Review of Sparse Expert Models in Deep Learning 作者同时也是switch transformer的作者，也是将MoE应用到了transformer中 MoE有两个比较大的好处： * 推理阶段，允许在相同的FLOPS下，使用更大参数量的模型。（直观感觉就是允许模型通过更多参数记忆更多世界知识） * 验证效果更好，activat…

内容比较多，所以搞了一个mindmap： 第三课涉及了很多模型相关的知识，从基础的transformer出发，讲解了这些比较前沿的模型在上面的改动，以及为什么要这样改。所以这里需要有一个基础就是先学习过transformer 主题： * the best way to learn is hands-on experience * the second best way is to try to learn from others’ experience DL这块变得更加需要经验，所以实操才是关键。 还有一个需要考虑…

纯记录，写的比较糊，包括assignment1的实验和习题的解答 BPE Tokenizer Problem (unicode1): Understanding Unicode (1 point) (a) What Unicode character does chr(0) return? 0这个码点代表的字符 (b) How does this character’s string representation (repr()) differ from its printed representation? pr…

TLDR：没睡好瞎bb的。 已经Q3快结束了才来写这个半年review，或者应该叫3个Q review之类的。 打算把之前脑子里想的一些事情列一列先。不过毕竟脑子也是有局部性的，对近期发生的事情感受会强烈一些，更久之前的相对来说则弱一些。所以在现在这个时间节点上（9月21号），我写的东西更偏向于Q3的一些事情。 以及最近身边发生的一些事情，trigger了我的一些想法，就也在这里整理整理。 主要变化的点就是是工作上，RAG方向的事情算是有了一些起色。工作的内容也做了很多新的东西（虽然做的还有挺多进步的空间的）： *…

记得好久之前看过一篇异常相关的文章，讲的主要是编译器插入的桩（怎么做的RAII等） 今天看CPython的时候看到了他的异常处理机制，和cpp不太一样，就延伸问了问。 直跳方案与表驱动异常：例子与定义 直跳（direct jumps + 就地清理）示例： C 语言：没有语言级异常，结构化控制流编译成条件/无条件跳转；资源清理靠就地代码或“goto cleanup”惯用法。 部分字节码 VM（如 Lua 系列）：通过显式指令（如 close/upvalue 关闭、return）配合跳转完成离开作用域的清理；错误传播多…

https://github.com/1517005260/graph-rag-agent/tree/master 这个项目看到的，有一个deep research agent GPT5的评价： 结论先给：区别不只“是不是用图”。普通 DeepResearchAgent（标准模式=DeepResearchTool）是“多轮思考+双通道检索（KB+KG）+答案验证”的工作流；DeeperResearchTool 把“图”升级为决策与表示的中枢，并叠加社区感知、CoE 探索、证据链与矛盾检测等全链路能力。 核心差异 图…

deepwiki输出的质量比较好，但是英文的读起来没那么顺畅，GPT帮忙写了个翻译的脚本 我个人用的是gemini2.5 flash，可以自行配置。把代码粘贴到油猴中就可以了 // ==UserScript== // @name DeepWiki Instant Translator (EN↔ZH) // @namespace https://chat.openai.com/ // @version 0.1.0 // @description Translate DeepWiki pages on the fly …

好久不写了简单看点文章写写： ComoRAG 个人理解就是几种GraphRAG的方法合起来，上面搞了一个Agent混合检索 三层： * 事实层就是类似HippoRAG这种知识图谱用来回答事实性问题的 * 语意层就是总结类，比如RAPTOR，MS GraphRAG * Episodic就是时序类，这里是用滑动窗口做的，感觉可以套一些其他的时序图的方法 这里时序类的做法是把长文本做滑动窗口式的总结，用来回答全文脉络这种问题。个人感觉主要就是针对小说这种场景。或者是放到Memory上，用户对话的每一段搞一个滑动窗口总结。…