通过SARSA和QLearning来理解一下on policy和off policy 1. Q-learning（Off-policy） 更新公式： Q(s,a) \leftarrow Q(s,a) + \alpha \Big( r + \gamma \max_{a'} Q(s',a') - Q(s,a)\Big) Q-learning 在更新时，使用的是 下一状态 s' 中的最大动作价值 \max_{a'} Q(s',a')，即假设下一步总是采取最优动作。 这意味着它学习的是 最优策略（greedy policy…

TLDR：没睡好瞎bb的。 已经Q3快结束了才来写这个半年review，或者应该叫3个Q review之类的。 打算把之前脑子里想的一些事情列一列先。不过毕竟脑子也是有局部性的，对近期发生的事情感受会强烈一些，更久之前的相对来说则弱一些。所以在现在这个时间节点上（9月21号），我写的东西更偏向于Q3的一些事情。 以及最近身边发生的一些事情，trigger了我的一些想法，就也在这里整理整理。 主要变化的点就是是工作上，RAG方向的事情算是有了一些起色。工作的内容也做了很多新的东西（虽然做的还有挺多进步的空间的）： *…

记得好久之前看过一篇异常相关的文章，讲的主要是编译器插入的桩（怎么做的RAII等） 今天看CPython的时候看到了他的异常处理机制，和cpp不太一样，就延伸问了问。 直跳方案与表驱动异常：例子与定义 直跳（direct jumps + 就地清理）示例： C 语言：没有语言级异常，结构化控制流编译成条件/无条件跳转；资源清理靠就地代码或“goto cleanup”惯用法。 部分字节码 VM（如 Lua 系列）：通过显式指令（如 close/upvalue 关闭、return）配合跳转完成离开作用域的清理；错误传播多…

https://github.com/1517005260/graph-rag-agent/tree/master 这个项目看到的，有一个deep research agent GPT5的评价： 结论先给：区别不只“是不是用图”。普通 DeepResearchAgent（标准模式=DeepResearchTool）是“多轮思考+双通道检索（KB+KG）+答案验证”的工作流；DeeperResearchTool 把“图”升级为决策与表示的中枢，并叠加社区感知、CoE 探索、证据链与矛盾检测等全链路能力。 核心差异 图…