More than code

未分类
未分类

Enhancing Cache-Augmented Generation (CAG) with Adaptive Contextual Compression for Scalable Knowledge Integration

论文问题与解答 1. 论文要解决的是什么样的问题? 论文旨在解决大规模语言模型在处理知识密集型任务时面临的上下文窗口容量限制与动态知识管理的挑战。具体来说,Cache-Augmented Generation (CAG) 方法虽然通过预加载知识减少检索延迟,但难以应对大规模或频繁更新的知识库,且固定上下文窗口无法高效管理信息的相关性。 2. 前人是怎么研究这个问题的,现在水平如何? Retrieval-Augmented Generation (RAG):通过动态检索外部文档提升生成准确性,但存在延迟高、噪声敏感和…

2025年5月18日 0条评论 188点热度 0人点赞 sheep 阅读全文
未分类

OpenMemoryMCP

https://docs.mem0.ai/openmemory/overview Mem0这边推出了一个用来管理memory的MCP server,应该是希望通过这套接口统一一下Memory相关场景的接口。 文档中写了他的特点: * Cross-Client Memory Access * Store context in Cursor and retrieve it later in Claude or Windsurf without repeating yourself. * Fully Local Memo…

2025年5月18日 0条评论 263点热度 0人点赞 sheep 阅读全文
未分类

Agent-as-a-Judge

agent as a judge这个框架本身是用来评估代码生成agent的效果的,并且提出了名为DevAI的测试集,用来评测AI开发任务的效果 https://deepwiki.com/metauto-ai/agent-as-a-judge/2-usage-guide 现成的codebase中,主要有3个feature可以用: * ask anything * 用自然语言去query codebase * agent evaluation * 使用AaaJ来评估developer agent的效果。这里有两种方式,…

2025年5月12日 0条评论 229点热度 0人点赞 sheep 阅读全文
未分类

PocketFlow-Codebase Knowledge

PocketFlow的作者基于PocketFlow做了一个用来给Codebase生成文档的项目,算是简化版本的DeepWiki,这里介绍一下基本思路 核心代码就在nodes.py中 看deepwiki的流程图,这里的node都是串行执行的: IdentifyAbstractions 是把整个codebase丢给LLM,给的格式是文件目录,文件内容的tuple 输出若干个abstraction,对应的解释,以及相关的文件索引 输出格式是YAML 为了避免模型输出文件路径出问题,这里是让他输出文件路径对应的index,…

2025年5月11日 0条评论 233点热度 0人点赞 sheep 阅读全文
未分类

PocketFlow

一个极简的Agent框架,核心点在于定义了节点的执行逻辑和转移逻辑 中文的可以看看这个 https://www.zhihu.com/question/1898055391348238271/answer/1898075972873491235 框架 Node 节点之间通过share store通信 * prep是从share store中获取数据 * exec是执行 * post是写回share store node还提供了一些retry + fallback的逻辑 Flow 看一个例子就行 这里revise >>…

2025年5月11日 0条评论 217点热度 0人点赞 sheep 阅读全文
未分类

PolyG: Effective and Efficient GraphRAG with Adaptive Graph Traversal

PolyG: Effective and Efficient GraphRAG with Adaptive Graph Traversal 论文介绍 《PolyG: Effective and Efficient GraphRAG with Adaptive Graph Traversal》提出了一种自适应的图遍历策略,用于增强基于知识图谱的检索增强生成(GraphRAG)系统。传统的GraphRAG方法采用固定的图遍历策略(如广度优先搜索或随机游走),但不同问题类型需要不同的遍历策略,导致生成答案的质量和效率受限…

2025年4月7日 0条评论 354点热度 0人点赞 sheep 阅读全文
未分类

Contextual Retrieval

https://www.anthropic.com/news/contextual-retrieval 这篇文章介绍了一种名为“Contextual Retrieval”的新方法,用于改进基于检索增强生成(Retrieval-Augmented Generation, RAG)的信息检索系统。以下是文章的主要内容概述: 背景 在许多应用场景中,AI模型需要访问特定的背景知识,例如客户支持需要了解业务信息,法律分析需要了解大量案例数据。RAG 是一种常用的方法,通过从知识库中检索相关信息并将其附加到用户的输入中,从而…

2025年4月7日 0条评论 271点热度 0人点赞 sheep 阅读全文
未分类

HiRAG

Retrieval-Augmented Generation with Hierarchical Knowledge * 基本思路是通过GMM对实体做聚类,在构图的时候额外增加了若干层的summarize的节点。 * 这里和社区总结是正交的,实现中这两个技术都会使用。 * 聚类出来的总结节点主要是为了连接语意相似,但是没有直接关系的点。 * 个人感觉,这个可能可以替换社区总结。把这种实体的summary扩充一些,然后global问答的时候针对这些实体做总结应该也是可以的 代码实现上是基于nano-graphrag的…

2025年3月17日 0条评论 316点热度 0人点赞 sheep 阅读全文
未分类

Cache-Augmented Generation

Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks 这个思路其实和之前的MemoRAG挺像的,只不过可能更简单一点? 其实这里说的零检索延迟的代价就是所有的文档必须能够放到上下文窗口中。其实感觉是不太可用的,并且这里还没有做MemoRAG那样的压缩 唯一的优势就是节省prefill这一段计算开销了。确实在长上下文下耗时比较多,但这块可能还不是瓶颈,用户现在已经认同生成高质量的问答是需要时间的。所以相对来说…

2025年3月12日 0条评论 243点热度 0人点赞 sheep 阅读全文
未分类

检索方式对比

在计算问题和文章相关性得分时,常见的几种方法(Bi-Encoder、Cross-Encoder、BM25、ColBERT)各有其特点。以下是它们的对比分析: 1. BM25(Best Matching 25) 原理:基于词频(TF)和逆文档频率(IDF)的统计模型,属于稀疏检索方法。 优点: - 速度快:适合大规模文档的快速召回(如百万级文档)。 - 无需训练:直接基于词频统计,无需标注数据或模型训练。 - 可解释性:得分基于词频和文档长度,结果易于理解。 缺点: - 语义缺失:无法捕捉同义词、上下文语义(如“苹果…

2025年3月11日 0条评论 331点热度 0人点赞 sheep 阅读全文
12345…10
分类
  • Agent/RAG
  • ARTS
  • C++
  • CSAPP
  • daily
  • database
  • leetcode
  • linux
  • ml
  • nlp
  • paper
  • RL
  • rocksdb
  • rust
  • ScummVM
  • tech
  • 其他
  • 周报
  • 未分类
  • 笔记
  • 算法
  • 计算机图形学
归档
  • 2025 年 9 月
  • 2025 年 8 月
  • 2025 年 7 月
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 10 月
  • 2024 年 9 月
  • 2024 年 8 月
  • 2024 年 7 月
  • 2024 年 6 月
  • 2024 年 5 月
  • 2024 年 4 月
  • 2024 年 3 月
  • 2024 年 2 月
  • 2023 年 12 月
  • 2023 年 11 月
  • 2023 年 9 月
  • 2023 年 7 月
  • 2023 年 6 月
  • 2023 年 5 月
  • 2023 年 4 月
  • 2023 年 2 月
  • 2023 年 1 月
  • 2022 年 9 月
  • 2022 年 7 月
  • 2022 年 6 月
  • 2022 年 5 月
  • 2022 年 4 月
  • 2022 年 3 月
  • 2022 年 2 月
  • 2022 年 1 月
  • 2021 年 12 月
  • 2021 年 11 月
  • 2021 年 10 月
  • 2021 年 9 月
  • 2021 年 8 月
  • 2021 年 7 月
  • 2021 年 6 月
  • 2021 年 5 月
  • 2021 年 4 月
  • 2021 年 3 月
  • 2021 年 1 月
  • 2020 年 12 月

COPYRIGHT © 2021 heavensheep.xyz. ALL RIGHTS RESERVED.

THEME KRATOS MADE BY VTROIS