More than code

未分类
未分类

GraphRAG V2 Notes

最近又重新看了看graphrag相关的一些东西,简单整理点内容。 目前能用的开源框架,graphrag相关的,除了ms的graphrag之外,还有ragflow,以及dbgpt。这里简单介绍一下他们graphrag的实现方式: RagFlow ragflow有多种类型的解析方法,比如paper/book等,然后KG是专门的一种,代码在rag/app/knowledge_graph.py里 index.py:build_knowledge_graph_chunks 看注释里基本流程是和ms的graphrag是一样的 …

2024年12月1日 0条评论 201点热度 0人点赞 sheep 阅读全文
未分类

Through the Looking Glass 16 Years Later

前文:OLTP Through the Looking Glass, and What We Found There中的结论: 给出了当时paper的缺陷: * 只计算了dbms的cycle,而非整个server的。 * remote communication没有计算。但remote communication开销比较大。 * 这里就是全链路观测/优化的思想。 * 深入点,解决问题如果有更加高的视角,就更容易发现瓶颈点,从而更高效的优化。这也是为什么要有高层次视角看问题。 然后在voltdb上跑了个有partit…

2024年10月20日 0条评论 288点热度 0人点赞 sheep 阅读全文
未分类

Amazon MemoryDB Notes

对MemoryDB的paper做一些总结 要了解做MemoryDB的目的,需要先明白原本的redis有哪些问题,那么首先要了解下redis 摘自原文中的redis的一些特点: * redis支持200+ commands,10种数据结构,包括hash table, sorted sets, stream, hyperloglogs等 * command可以被组合起来成为group,并有原子执行的能力 * redis支持水平拓展,通过crc16把key space编码成16384个slot。并把这些slot分布到若干…

2024年10月2日 0条评论 325点热度 2人点赞 sheep 阅读全文
未分类

More Modern B-Tree Techniques Notes

最近新出了一本书,是Modern B-Tree Techniques的续集,More Modern B-Tree Techniques。这里做一下简单的总结。 后面打算整理一下Btree相关技术,写一篇文章,会总结一下这本书,前作,一些相关的Paper,以及一些工业界的Btree实现。 TLDR tldr版,整体来说,我感觉书中细节的内容不多,基本上就是概括一下几个方向的技术,这里大概总结了一下,然后列了一些我觉得值得关注的paper: - btree结构,可能关注的点 - Write optimized btre…

2024年9月8日 0条评论 352点热度 0人点赞 sheep 阅读全文
未分类

Colossus Notes

three main building blocks: * Colossus is our cluster-level file system, successor to the Google File System (GFS). * Spanner is our globally-consistent, scalable relational database. * Borg is a scalable job scheduler that launches everything from compute to …

2024年8月3日 0条评论 320点热度 0人点赞 sheep 阅读全文
未分类

Draft--On Designing Storage-Disaggregated Databases

最近有一个新开源的仓库openaurora,以及对应的paper《Understanding the Performance Implications of the Design Principles in Storage-Disaggregated Databases》,讲了讲存算分离数据库的一些设计点,以及这些设计点的带来的效果。 周末有时间简单读了读,也引发了一些思考,这里就简单提一些我个人认为存算分离数据库的一些设计点吧。这里整体写的比较琐碎,可能后面会再写一个更加体系化的文章,提高下阅读体验。 论文整体的…

2024年7月28日 0条评论 339点热度 0人点赞 sheep 阅读全文
未分类

推理服务器折腾记录

从淘宝上搞得超微7048GR X99 双电源。 * 这里我以为是多一个电源可以多2000w,多更多的线。但实际上服务器发过来才发现这两个电源貌似是为容灾设计的,比如一个电源跪了,可以在不停机的情况下,动态切换新的电源。然后电源出来的接口还是那些。所以如果想搞4个8 + 8pin的显卡的话,还是需要自己搞6pin转8pin的转接线,然后每一个显卡都用一个8pin,一个6转8。 CPU是挑的便宜的,E5-2680 V4 两个 内存是三星32G DDR4 4个共计128G。后面估计还会拓展到256G * 插内存的时候记得…

2024年7月28日 0条评论 339点热度 1人点赞 sheep 阅读全文
未分类

GraphRAG

背景 最近微软开源了GraphRAG的实现,这里来介绍一下GraphRAG相关的技术。 RAG RAG(Retrieval-Augmented Generation)技术用于将信息检索的技术和大模型相结合,用来克服大模型的的静态限制,使其能够动态地集成来自外部信息的最新数据,从而提高其输出结果的准确性和可靠性。具体来说,RAG 旨在解决以下三个关键问题: 领域特化的知识问题 LLM 通常使用广泛而通用的数据进行训练,以最大限度地提高其适用性和可访问性。然而,这种方法导致 LLM 在特定领域的表现往往不尽如人意。 R…

2024年7月17日 0条评论 775点热度 1人点赞 sheep 阅读全文
未分类

半年review

今天是24年的7月7日,上周我们组刚刚做了上一个Q的季度总结,也相当于正式宣告了上半年的结束。在GTD的实践中我也有提到,需要针对长期目标进行投入,看一看自己的各个层次的目标,看看自己目前在做的是否有达到预期,是否需要进行调整。 23年的年终总结的时候我也大概说了说24年的目标,希望24年是一个积累知识的一年。希望自己提高阅读时间,提高自己在目前工作领域的深度和广度bulabula。 目前看的话,读书的进度整体来说并不算是很符合我的目标,至少我定的开始的500小时,在上半年并没有达到250小时。甚至感觉100小时也…

2024年7月7日 1条评论 433点热度 2人点赞 sheep 阅读全文
未分类

有关rpc的一些疑惑

最近在读一个存储系统的代码的时候,产生了一些疑惑。背景是,这个存储系统对于一些重试的请求处理的比较敏感,(应该是写数据的系统都会敏感一些,因为要避免数据写错了),所以就涉及到一些RPC重试的语意的问题。 一个最基本的问题是,当我们发出一个RPC的时候,预期对端作出的行为是什么: * 如果RPC超时了,对端可能执行了rpc,也可能没有执行rpc * 如果我们不做重试的话,对端是否只会执行一次rpc呢 * 如果我们做了重试的话,对端的行为预期是什么样的,会过滤掉重试的请求吗 * 如果重试的response和之前的res…

2024年7月6日 0条评论 350点热度 0人点赞 sheep 阅读全文
12345…9
分类
  • ARTS
  • C++
  • CSAPP
  • daily
  • database
  • leetcode
  • linux
  • ml
  • nlp
  • paper
  • rocksdb
  • rust
  • ScummVM
  • tech
  • 其他
  • 周报
  • 未分类
  • 笔记
  • 算法
  • 计算机图形学
归档
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 10 月
  • 2024 年 9 月
  • 2024 年 8 月
  • 2024 年 7 月
  • 2024 年 6 月
  • 2024 年 5 月
  • 2024 年 4 月
  • 2024 年 3 月
  • 2024 年 2 月
  • 2023 年 12 月
  • 2023 年 11 月
  • 2023 年 9 月
  • 2023 年 7 月
  • 2023 年 6 月
  • 2023 年 5 月
  • 2023 年 4 月
  • 2023 年 2 月
  • 2023 年 1 月
  • 2022 年 9 月
  • 2022 年 7 月
  • 2022 年 6 月
  • 2022 年 5 月
  • 2022 年 4 月
  • 2022 年 3 月
  • 2022 年 2 月
  • 2022 年 1 月
  • 2021 年 12 月
  • 2021 年 11 月
  • 2021 年 10 月
  • 2021 年 9 月
  • 2021 年 8 月
  • 2021 年 7 月
  • 2021 年 6 月
  • 2021 年 5 月
  • 2021 年 4 月
  • 2021 年 3 月
  • 2021 年 1 月
  • 2020 年 12 月

COPYRIGHT © 2021 heavensheep.xyz. ALL RIGHTS RESERVED.

THEME KRATOS MADE BY VTROIS