初探 强化学习用智能体（agent）这个概念来表示做决策的机器。相比于有监督学习中的“模型”，强化学习中的“智能体”强调机器不但可以感知周围的环境信息，还可以通过做决策来直接改变这个环境，而不只是给出一些预测信号。 面向决策任务的强化学习和面向预测任务的有监督学习在形式上是有不少区别的。首先，决策任务往往涉及多轮交互，即序贯决策；而预测任务总是单轮的独立任务。如果决策也是单轮的，那么它可以转化为“判别最优动作”的预测任务。其次，因为决策任务是多轮的，智能体就需要在每轮做决策时考虑未来环境相应的改变，所以当前轮带来最…
这块主要是提一下最近看到的一些RAG技术中，针对问答全面性做的一些优化： Shifting from Ranking to Set Selection for Retrieval Augmented Generation 这里是做的instruction turning，所以就不扣技术了，主要就是他的idea： * 不是去关注单个文档/chunk和问答的相关性，而是看整体的覆盖率。 * 避免召回了很多语意相似得分很高的chunk，反而无法全面的回答问题 Knowledge-Aware Diverse Reranki…
google前一阵开源了一个用langgraph实现的deep research https://github.com/google-gemini/gemini-fullstack-langgraph-quickstart 对应到代码中也很简单： 看一下实现细节，是否有需要特殊关注的点： generate_query 根据用户历史对话，用LLM生成若干个search query 有option控制query count，会传入一下当前时间 continue_to_web_research 把输入的search qu…
这周公司邀请了大佬来分享一下neon的一些场景，针对AI这块，neon的优势主要有几点： * serveless，秒级别拉起服务 * PITR，事务级别的状态闪回 * branching，可写快照 分享的时候演示的neon功能毫无疑问是非常强的，这里主要想来看看这几个功能对应的具体的需求到底是什么 serveless这个 可能是用户希望快速拉起一个数据库做测试，这个其实理由并不是很强，因为SQL lite等一些本地数据库在使用上应该相对来说更加方便。 希望是针对PG做快速拉起，比如希望利用pg vector以及数据…
未分类
Enhancing Cache-Augmented Generation (CAG) with Adaptive Contextual Compression for Scalable Knowledge Integration
论文问题与解答 1. 论文要解决的是什么样的问题？ 论文旨在解决大规模语言模型在处理知识密集型任务时面临的上下文窗口容量限制与动态知识管理的挑战。具体来说，Cache-Augmented Generation (CAG) 方法虽然通过预加载知识减少检索延迟，但难以应对大规模或频繁更新的知识库，且固定上下文窗口无法高效管理信息的相关性。 2. 前人是怎么研究这个问题的，现在水平如何？ Retrieval-Augmented Generation (RAG)：通过动态检索外部文档提升生成准确性，但存在延迟高、噪声敏感和…
https://docs.mem0.ai/openmemory/overview Mem0这边推出了一个用来管理memory的MCP server，应该是希望通过这套接口统一一下Memory相关场景的接口。 文档中写了他的特点： * Cross-Client Memory Access * Store context in Cursor and retrieve it later in Claude or Windsurf without repeating yourself. * Fully Local Memo…
agent as a judge这个框架本身是用来评估代码生成agent的效果的，并且提出了名为DevAI的测试集，用来评测AI开发任务的效果 https://deepwiki.com/metauto-ai/agent-as-a-judge/2-usage-guide 现成的codebase中，主要有3个feature可以用： * ask anything * 用自然语言去query codebase * agent evaluation * 使用AaaJ来评估developer agent的效果。这里有两种方式，…