LevelDB Read 读链路主要分为两个，一个是点读，一个是RangeScan。 点读的接口是Get DBImpl::Get ref住当前的mem table，immmutable mem table，以及version 先读mem table，再读immutable memtable，最后调version->Get() 读完后更新统计信息，可能触发SeekCompaction Unref 读MemTable的时候会构建LookupKey。这是因为写入MemTable的时候会用一个varint作为leng…
LevelDB Compaction Compaction分为MinorCompaction和MajorCompaction。我们就直接叫Flush Memtable和Compaction SST。 LevelDB的Immutable memtable只能由一个。Flush Memtable优先级比较高，因为会影响前台写链路。 Flush memtable的调用点为CompactMemTable()。有两个调用点，不过都是后台线程做Compaction，所以不会出现并发Compaction的情况。 调用链路如下： …
RocksDB-1 HyperClockCache 接口 目前有两类Cache。分别是LRUCache，以及HyperClockCache。（还有一个CompressedSecondaryCache，注释中写是experimental的，就不看了。） 两种CacheOptions都会继承一个ShardedCacheOptions，说明都是分shard的cache 比较有意思的是RocksDB支持一个叫SecondaryCache的东西，是在In-memory Cache和磁盘层中间的又一层Cache，有点Cache…
Innodb-1 Linkbuf 代码主要在innobase/include/ut0link_buf.h中 link buf的作用在注释中有写到 Link buffer - concurrent data structure which allows: concurrent addition of links single-threaded tracking of connected path created by links limited size of window with holes (missing l…
brpc doubly buffered data doubly buffered data提供两个接口，Read和Modify This data structure makes Read() almost lock-free by making Modify() much slower. It's very suitable for implementing LoadBalancers which have a lot of concurrent read-only ops from many threads …
HTAP Databases notes Preliminary Gartner’s definition in 2014: utilizes in-memory computing technologies to enable concurrent analytical and transaction processing on the same in-memory data store Gartner’s new definition in 2018: supports weaving analytical a…
ERMIA: Fast Memory-Optimized Database System for Heterogeneous Workloads Desired properties: * To provide robust and balanced concurrency control for the logical interactions over heterogeneous transactions. * To address the physical interactions between threa…
An Analysis of Concurrency Control Protocols for In-Memory Databases with CCBench 本文就是总结了一下之前比较经典的CC protocol，以及他们使用的优化。并将他们集成到了一个统一的CCBench中来做测试。 但是作为读者来说我们读的核心不在于他的bench，而是他所提炼出的这些cc protocol的关键点 Preliminaries 先回顾一下这几个协议 Silo Silo的核心有两个，一个是避免读对内存造成影响（比如TO会在读…