前文：OLTP Through the Looking Glass, and What We Found There中的结论： 给出了当时paper的缺陷： * 只计算了dbms的cycle，而非整个server的。 * remote communication没有计算。但remote communication开销比较大。 * 这里就是全链路观测/优化的思想。 * 深入点，解决问题如果有更加高的视角，就更容易发现瓶颈点，从而更高效的优化。这也是为什么要有高层次视角看问题。 然后在voltdb上跑了个有partit…
对MemoryDB的paper做一些总结 要了解做MemoryDB的目的，需要先明白原本的redis有哪些问题，那么首先要了解下redis 摘自原文中的redis的一些特点： * redis支持200+ commands，10种数据结构，包括hash table, sorted sets, stream, hyperloglogs等 * command可以被组合起来成为group，并有原子执行的能力 * redis支持水平拓展，通过crc16把key space编码成16384个slot。并把这些slot分布到若干…
最近新出了一本书，是Modern B-Tree Techniques的续集，More Modern B-Tree Techniques。这里做一下简单的总结。 后面打算整理一下Btree相关技术，写一篇文章，会总结一下这本书，前作，一些相关的Paper，以及一些工业界的Btree实现。 TLDR tldr版，整体来说，我感觉书中细节的内容不多，基本上就是概括一下几个方向的技术，这里大概总结了一下，然后列了一些我觉得值得关注的paper： - btree结构，可能关注的点 - Write optimized btre…
three main building blocks: * Colossus is our cluster-level file system, successor to the Google File System (GFS). * Spanner is our globally-consistent, scalable relational database. * Borg is a scalable job scheduler that launches everything from compute to …
最近有一个新开源的仓库openaurora，以及对应的paper《Understanding the Performance Implications of the Design Principles in Storage-Disaggregated Databases》，讲了讲存算分离数据库的一些设计点，以及这些设计点的带来的效果。 周末有时间简单读了读，也引发了一些思考，这里就简单提一些我个人认为存算分离数据库的一些设计点吧。这里整体写的比较琐碎，可能后面会再写一个更加体系化的文章，提高下阅读体验。 论文整体的…
最近在读一个存储系统的代码的时候，产生了一些疑惑。背景是，这个存储系统对于一些重试的请求处理的比较敏感，（应该是写数据的系统都会敏感一些，因为要避免数据写错了），所以就涉及到一些RPC重试的语意的问题。 一个最基本的问题是，当我们发出一个RPC的时候，预期对端作出的行为是什么： * 如果RPC超时了，对端可能执行了rpc，也可能没有执行rpc * 如果我们不做重试的话，对端是否只会执行一次rpc呢 * 如果我们做了重试的话，对端的行为预期是什么样的，会过滤掉重试的请求吗 * 如果重试的response和之前的res…
给一个EC情况下的copyset容错能力以及scatter width的计算方法。因为看原文中假设的都是副本级别的复制 这里假设EC的方案是fragment = 6, parities = 3. 比如经典的RS(6, 3)，这里令R = k + r 那么对于一个copyset来说，他的大小就是9。而任意一个copyset中丢掉的数据如果大于parities的数量，这里是4，就会出现丢数据的现象。 按照copyset的算法，任意一种permutation生成的copyset的数量是 N / R个 如果出现任意的r +…