纯记录，写的比较糊，包括assignment1的实验和习题的解答 BPE Tokenizer Problem (unicode1): Understanding Unicode (1 point) (a) What Unicode character does chr(0) return? 0这个码点代表的字符 (b) How does this character’s string representation (repr()) differ from its printed representation? pr…
通过SARSA和QLearning来理解一下on policy和off policy 1. Q-learning（Off-policy） 更新公式： Q(s,a) \leftarrow Q(s,a) + \alpha \Big( r + \gamma \max_{a'} Q(s',a') - Q(s,a)\Big) Q-learning 在更新时，使用的是 下一状态 s' 中的最大动作价值 \max_{a'} Q(s',a')，即假设下一步总是采取最优动作。 这意味着它学习的是 最优策略（greedy policy…
https://github.com/1517005260/graph-rag-agent/tree/master 这个项目看到的，有一个deep research agent GPT5的评价： 结论先给：区别不只“是不是用图”。普通 DeepResearchAgent（标准模式=DeepResearchTool）是“多轮思考+双通道检索（KB+KG）+答案验证”的工作流；DeeperResearchTool 把“图”升级为决策与表示的中枢，并叠加社区感知、CoE 探索、证据链与矛盾检测等全链路能力。 核心差异 图…
deepwiki输出的质量比较好，但是英文的读起来没那么顺畅，GPT帮忙写了个翻译的脚本 我个人用的是gemini2.5 flash，可以自行配置。把代码粘贴到油猴中就可以了 // ==UserScript== // @name DeepWiki Instant Translator (EN↔ZH) // @namespace https://chat.openai.com/ // @version 0.1.0 // @description Translate DeepWiki pages on the fly …
好久不写了简单看点文章写写： ComoRAG 个人理解就是几种GraphRAG的方法合起来，上面搞了一个Agent混合检索 三层： * 事实层就是类似HippoRAG这种知识图谱用来回答事实性问题的 * 语意层就是总结类，比如RAPTOR，MS GraphRAG * Episodic就是时序类，这里是用滑动窗口做的，感觉可以套一些其他的时序图的方法 这里时序类的做法是把长文本做滑动窗口式的总结，用来回答全文脉络这种问题。个人感觉主要就是针对小说这种场景。或者是放到Memory上，用户对话的每一段搞一个滑动窗口总结。…
策略梯度算法中，策略回报是什么 Gemini 在策略梯度算法中，“策略回报”通常指的是期望回报（Expected Return），也就是我们希望最大化的目标函数。 让我们来分解这个概念： 1. 回报 (Return) 首先，在强化学习中，回报 (Return)，通常用 G_t 表示，是指从某一个时间点 t 开始，直到整个回合（episode）结束，所能获得的未来奖励的总和。为了平衡短期和长期奖励，我们常常使用带折扣因子的回报： G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_…