最近买了一本《从零构建向量数据库》读了一下，这里简单记录一些笔记。 TLDR： 我感觉整体内容不多，尤其是我比较关注的向量算法/存储格式各种相关的地方。但是这本书讲的比较全，抛去向量的地方，还有挺多周边的工作，但是和向量关联都不大了。 整体来说适合刚对数据库有一定了解的人读一读，如果对这块比较熟悉的话，基本上就不用看了，或者速度一下2H也够了。 chp2 向量数据库的发展受益于深度学习的发展，让embedding这个技术有了更好的发挥空间 深度学习模型可以比较好的处理非结构化的数据（通过转化成embedding），…
最近又重新看了看graphrag相关的一些东西，简单整理点内容。 目前能用的开源框架，graphrag相关的，除了ms的graphrag之外，还有ragflow，以及dbgpt。这里简单介绍一下他们graphrag的实现方式： RagFlow ragflow有多种类型的解析方法，比如paper/book等，然后KG是专门的一种，代码在rag/app/knowledge_graph.py里 index.py:build_knowledge_graph_chunks 看注释里基本流程是和ms的graphrag是一样的 …
前文：OLTP Through the Looking Glass, and What We Found There中的结论： 给出了当时paper的缺陷： * 只计算了dbms的cycle，而非整个server的。 * remote communication没有计算。但remote communication开销比较大。 * 这里就是全链路观测/优化的思想。 * 深入点，解决问题如果有更加高的视角，就更容易发现瓶颈点，从而更高效的优化。这也是为什么要有高层次视角看问题。 然后在voltdb上跑了个有partit…
对MemoryDB的paper做一些总结 要了解做MemoryDB的目的，需要先明白原本的redis有哪些问题，那么首先要了解下redis 摘自原文中的redis的一些特点： * redis支持200+ commands，10种数据结构，包括hash table, sorted sets, stream, hyperloglogs等 * command可以被组合起来成为group，并有原子执行的能力 * redis支持水平拓展，通过crc16把key space编码成16384个slot。并把这些slot分布到若干…
Introduction Goetz哥最近出了一本新书: More Modern Btree Techniques，里面多次提到了有关Btree/排序结构的压缩技术，比较关键的一个就是offset value encoding，并且也提到了Google的Napa/F1 Query使用了这种技术来加速查询。这篇文章就来介绍一下offset value encoding具体是怎么做的，以及这个技术如何能够加速查询。 在介绍Offset Value Encoding之前，先大概了解一下他的基本思路，Goetz哥在老版本的…
最近新出了一本书，是Modern B-Tree Techniques的续集，More Modern B-Tree Techniques。这里做一下简单的总结。 后面打算整理一下Btree相关技术，写一篇文章，会总结一下这本书，前作，一些相关的Paper，以及一些工业界的Btree实现。 TLDR tldr版，整体来说，我感觉书中细节的内容不多，基本上就是概括一下几个方向的技术，这里大概总结了一下，然后列了一些我觉得值得关注的paper： - btree结构，可能关注的点 - Write optimized btre…
three main building blocks: * Colossus is our cluster-level file system, successor to the Google File System (GFS). * Spanner is our globally-consistent, scalable relational database. * Borg is a scalable job scheduler that launches everything from compute to …
最近有一个新开源的仓库openaurora，以及对应的paper《Understanding the Performance Implications of the Design Principles in Storage-Disaggregated Databases》，讲了讲存算分离数据库的一些设计点，以及这些设计点的带来的效果。 周末有时间简单读了读，也引发了一些思考，这里就简单提一些我个人认为存算分离数据库的一些设计点吧。这里整体写的比较琐碎，可能后面会再写一个更加体系化的文章，提高下阅读体验。 论文整体的…