RocksDB WritePath概览 简单过一遍RocksDB前台的写链路。 忽略这些，从下面的第一张写链路图开始看。。 DB::Put 没给CF的话会用DefaultCF 构造一个WriteBatch，把key，value，以及column family塞进去 这里有个Comparator的timestamp size，还不知道是干啥的 DBImpl::Write 先走到没有Callback的版本 然后有一堆InvalidArg的检查。disable memtable先不看，pipelined write先不看…
LevelDB Recover 过一遍LevelDB的Recover流程。 DB::Open DBImpl::Recover 给当前的db上锁。防止有什么并发的OpenDB之类的。 看看有没有CurrentFile，没有的话打开一个新的DB。 VersionSet::Recover 读取Current，找到Manifest文件。 读取Manifest，重放VersionEdit。 如果Manifest过大，或者是重新将Manifest文件通过Append的方式打开的时候失败了，就会放弃Reuse Manifest。…
LevelDB Read 读链路主要分为两个，一个是点读，一个是RangeScan。 点读的接口是Get DBImpl::Get ref住当前的mem table，immmutable mem table，以及version 先读mem table，再读immutable memtable，最后调version->Get() 读完后更新统计信息，可能触发SeekCompaction Unref 读MemTable的时候会构建LookupKey。这是因为写入MemTable的时候会用一个varint作为leng…
LevelDB Compaction Compaction分为MinorCompaction和MajorCompaction。我们就直接叫Flush Memtable和Compaction SST。 LevelDB的Immutable memtable只能由一个。Flush Memtable优先级比较高，因为会影响前台写链路。 Flush memtable的调用点为CompactMemTable()。有两个调用点，不过都是后台线程做Compaction，所以不会出现并发Compaction的情况。 调用链路如下： …
RocksDB-1 HyperClockCache 接口 目前有两类Cache。分别是LRUCache，以及HyperClockCache。（还有一个CompressedSecondaryCache，注释中写是experimental的，就不看了。） 两种CacheOptions都会继承一个ShardedCacheOptions，说明都是分shard的cache 比较有意思的是RocksDB支持一个叫SecondaryCache的东西，是在In-memory Cache和磁盘层中间的又一层Cache，有点Cache…
Innodb-1 Linkbuf 代码主要在innobase/include/ut0link_buf.h中 link buf的作用在注释中有写到 Link buffer - concurrent data structure which allows: concurrent addition of links single-threaded tracking of connected path created by links limited size of window with holes (missing l…
brpc doubly buffered data doubly buffered data提供两个接口，Read和Modify This data structure makes Read() almost lock-free by making Modify() much slower. It's very suitable for implementing LoadBalancers which have a lot of concurrent read-only ops from many threads …
HTAP Databases notes Preliminary Gartner’s definition in 2014: utilizes in-memory computing technologies to enable concurrent analytical and transaction processing on the same in-memory data store Gartner’s new definition in 2018: supports weaving analytical a…