HTAP Databases notes Preliminary Gartner’s definition in 2014: utilizes in-memory computing technologies to enable concurrent analytical and transaction processing on the same in-memory data store Gartner’s new definition in 2018: supports weaving analytical a…
ERMIA: Fast Memory-Optimized Database System for Heterogeneous Workloads Desired properties: * To provide robust and balanced concurrency control for the logical interactions over heterogeneous transactions. * To address the physical interactions between threa…
An Analysis of Concurrency Control Protocols for In-Memory Databases with CCBench 本文就是总结了一下之前比较经典的CC protocol，以及他们使用的优化。并将他们集成到了一个统一的CCBench中来做测试。 但是作为读者来说我们读的核心不在于他的bench，而是他所提炼出的这些cc protocol的关键点 Preliminaries 先回顾一下这几个协议 Silo Silo的核心有两个，一个是避免读对内存造成影响（比如TO会在读…
High-Performance Concurrency Control Mechanisms for Main-Memory Databases 这次换一个记录的方式。点出思考和关键点，而不是类似翻译似的看文章 single version locking works well when transaction are short and contention is low The multiversion schemes have higher overhead but are much less sensit…
Opportunities for Optimism in Contended Main-Memory Multicore Transactions 看这篇文章主要是看看各种并发控制的protocol Abstract 他提到那些与concurrency control无关的implementation choices是导致性能下降原因。 Intrudoction partially-pessimistic concurrency control, dynamic transaction reordering以及M…
Serializable Snapshot Isolation in PostgreSQL Abstract 就是SSI在Postgres中的实现 Overview Postgres之前只有snapshot isolation。9.1版本提供了SSI的实现。 Postgres的SSI实现必须要和现有的特性结合，而不能像research prototype一样忽略很多细节。比如要支持replication，two phase commit，subtransaction。还有控制memory useage。 和之前的系…
Efficiently Compiling Efficient Query Plans for Modern Hardware Abstract 这个Abstract写的很清楚。现有的iterator model在执行的时候对locality，以及instruction prediction利用率很差。导致执行性能比不上hand-written的代码。即便是有vectorized tuple processing，只能缓解这个问题，但是性能还是不够。 本文提出了一种基于LLVM框架的将query翻译成机器码的方法。…
database
Access Path Selection in Main-Memory Optimized Data Systems: Should I Scan or Should I Probe?
Access Path Selection in Main-Memory Optimized Data Systems: Should I Scan or Should I Probe? Abstract 列式数据分析引擎的发展引起了一系列对scan operator的优化。比如column-group storage, vectorized execution, shared scans, working directly over compressed data, using SIMD and multi-co…
Morsel-Driven Parallelism: A NUMA-Aware Query Evaluation Framework for the Many-Core Age Abstract 随着计算机架构的发展，在parallel query execution中出现了两个问题： * 为了利用好多核的优势，每个查询需要被均匀的分布到每个线程中 * 即便是我们拥有相当准确的统计数据，也很难将负载均匀的划分开 这两个问题导致了目前的plan-driven parallelism陷入了负载均衡和上下文切换的瓶颈中 …
GentleRain tutorial 首先要知道最简单的causal consistency是怎么实现的 在论文Session Guarantees For Weak Consistent Replicated Data中有详细的说明 每一个更新都附带一个version vector，当远端数据中心的version vector大于这个更新的version vector的时候，这个更新才能被安装到远端数据库中。从而保证因果一致性。 下一个问题，当数据中心内进行数据分区的时候，我们要怎么处理？ 每个分区内部都维护一…