IO 文档 dispatcher在event_dispatcher.h中 当新的连接出现的时候，dispatcher就负责将fd分发给bthread epoll out在我们可以向对端写入数据的时候会触发 epoll in则是在对端有数据写入时会触发。触发一次后需要不断的读取所有数据直到EAGAIN为止。 EPOLLIN connection arrives; data is coming; The associated file is available for read operations EPOLLOUT …
记录一下在读brpc的时候学习到的点 ResourcePool ResourceID来标识资源。虽然不同的类型有不同类型的ResourcID，但是内部都是一个uint64 存储数据的是Block。当线程需要内存的时候，他就会分配一个block。每个block内部的数据只会被一个线程使用 一个block就相当于是一个小的DataPool 若干个block组成一个block group。BlockGroup通过指针数组索引block LocalPool是thread local的data pool 一个比较有意思的点就…
Morsel-Driven Parallelism: A NUMA-Aware Query Evaluation Framework for the Many-Core Age Abstract 随着计算机架构的发展，在parallel query execution中出现了两个问题： * 为了利用好多核的优势，每个查询需要被均匀的分布到每个线程中 * 即便是我们拥有相当准确的统计数据，也很难将负载均匀的划分开 这两个问题导致了目前的plan-driven parallelism陷入了负载均衡和上下文切换的瓶颈中 …
GentleRain tutorial 首先要知道最简单的causal consistency是怎么实现的 在论文Session Guarantees For Weak Consistent Replicated Data中有详细的说明 每一个更新都附带一个version vector，当远端数据中心的version vector大于这个更新的version vector的时候，这个更新才能被安装到远端数据库中。从而保证因果一致性。 下一个问题，当数据中心内进行数据分区的时候，我们要怎么处理？ 每个分区内部都维护一…
GentleRain: Cheap and Scalable Causal Consistency with Physical Clocks Abstract GentleRain是geo-replicated data store，提供因果一致性 GentleRain用periodic aggregation protocol来决定更新是否能被其他人看到 GentleRain通过一个标量的时间戳来实现因果一致性。时间戳是从loosely synchronized physical clocks导出的，时钟漂移不会…
Percolator Tutorial Percolator是google推出的用来做增量计算的系统，主要用来替换MapReduce在Google Indexing System中的作用 这里我们只关注Percolator中的事务模型 前置知识: * 2PC - 保证跨分区事务的原子提交 * Bigtable - 底层存储，可以看作是分布式KVS * MVOCC - 并发控制算法 Bigtable Bigtable是Google基于GFS的一个存储系统 不看容错的话，就是一个LSM-Tree 和现代KVS不同的是，…
Don't Hold My Data Hostage - A Case For Client Protocol Redesign Abstract 我感觉之后我还是把摘要整个写一下 从数据库传输大量的数据到客户端是一个相当昂贵的操作。这个传输时间可以很容易就占有整个语句执行时间的主导部分。这对于一些外部数据分析的工具来说是一个很大的影响。在这篇论文中，我们将分析并探索将结果集序列化的设计空间。通过实现表明现有的方法都会有性能不足的情况。然后我们提出了一种列式的序列化方法。 （我猜测是不是通过列式存储提高压缩率，从而…
Constant Time Recovery in Azure SQL Database Abstract 这个恢复机制结合了ARIES和MVCC，从而实现了常数时间的恢复。 允许连续的log trucation，从而减少了日志空间的使用量，即使是有长事务的存在（对比Innodb，如果Undo table用完了就不能开新的事务了） 对于云数据库（Cloud database，应该是DBaaS）来说，这个能力是相当重要的，因为： 1. 数据库大小是不断增加的 2. 对于commodity hardware来说，fai…
Integrating Compress and Execution in Column-Oriented Database Systems Abstract 列存储的数据库可以提高相邻数据项之间的相似度，从而带来更好的压缩效果。 压缩的最好方式不仅取决于数据的属性，还取决于查询的workload（sql workload） Introduction 列存压缩的一个优势就是我们可以在压缩的数据上直接应用算子，从而提高CPU的性能。对于RLE（游程编码）来说，比如他把数据压缩成（42,1000），表示有1000个值为…
Optimal Column Layout for Hybrid Workloads Abstract 现代的analytical system是基于列存储。然后通过delta store来进行插入和更新 我们通过确定分区的数量，他们的大小和范围，以及缓冲区大小以及他们是如何分配的来组织数据的分布。 给出workload knowledge以及performance requirements，给出一个优化的物理布局 Introduction 目前的系统对于数据的布局都是固定的，这意味着他们会被局限在某个地方，而不能…