最近又重新看了看graphrag相关的一些东西，简单整理点内容。 目前能用的开源框架，graphrag相关的，除了ms的graphrag之外，还有ragflow，以及dbgpt。这里简单介绍一下他们graphrag的实现方式： RagFlow ragflow有多种类型的解析方法，比如paper/book等，然后KG是专门的一种，代码在rag/app/knowledge_graph.py里 index.py:build_knowledge_graph_chunks 看注释里基本流程是和ms的graphrag是一样的 …
前文：OLTP Through the Looking Glass, and What We Found There中的结论： 给出了当时paper的缺陷： * 只计算了dbms的cycle，而非整个server的。 * remote communication没有计算。但remote communication开销比较大。 * 这里就是全链路观测/优化的思想。 * 深入点，解决问题如果有更加高的视角，就更容易发现瓶颈点，从而更高效的优化。这也是为什么要有高层次视角看问题。 然后在voltdb上跑了个有partit…
对MemoryDB的paper做一些总结 要了解做MemoryDB的目的，需要先明白原本的redis有哪些问题，那么首先要了解下redis 摘自原文中的redis的一些特点： * redis支持200+ commands，10种数据结构，包括hash table, sorted sets, stream, hyperloglogs等 * command可以被组合起来成为group，并有原子执行的能力 * redis支持水平拓展，通过crc16把key space编码成16384个slot。并把这些slot分布到若干…
Introduction Goetz哥最近出了一本新书: More Modern Btree Techniques，里面多次提到了有关Btree/排序结构的压缩技术，比较关键的一个就是offset value encoding，并且也提到了Google的Napa/F1 Query使用了这种技术来加速查询。这篇文章就来介绍一下offset value encoding具体是怎么做的，以及这个技术如何能够加速查询。 在介绍Offset Value Encoding之前，先大概了解一下他的基本思路，Goetz哥在老版本的…
最近新出了一本书，是Modern B-Tree Techniques的续集，More Modern B-Tree Techniques。这里做一下简单的总结。 后面打算整理一下Btree相关技术，写一篇文章，会总结一下这本书，前作，一些相关的Paper，以及一些工业界的Btree实现。 TLDR tldr版，整体来说，我感觉书中细节的内容不多，基本上就是概括一下几个方向的技术，这里大概总结了一下，然后列了一些我觉得值得关注的paper： - btree结构，可能关注的点 - Write optimized btre…
three main building blocks: * Colossus is our cluster-level file system, successor to the Google File System (GFS). * Spanner is our globally-consistent, scalable relational database. * Borg is a scalable job scheduler that launches everything from compute to …
最近有一个新开源的仓库openaurora，以及对应的paper《Understanding the Performance Implications of the Design Principles in Storage-Disaggregated Databases》，讲了讲存算分离数据库的一些设计点，以及这些设计点的带来的效果。 周末有时间简单读了读，也引发了一些思考，这里就简单提一些我个人认为存算分离数据库的一些设计点吧。这里整体写的比较琐碎，可能后面会再写一个更加体系化的文章，提高下阅读体验。 论文整体的…