这个paper提出了session guarantee从而可以避免弱一致性级别带来的问题，同时还可以保持弱隔离级别的优势 A session is an abstraction for the sequence of read and write operations performed during the execution of an application 提出session的目的不是为了和事务对应（事务是用来保证ACID的），session的目的则是为了给用户提供一个一致性的视角。 贴一下原文：Sessi…
这篇论文讲的就是lamport的logic lock The Partial Ordering 如果一个事件A发生早于B，大多数人会说A发生在B之前。因为他们会用物理时间来证明这个定义。然而，如果一个系统要满足规范，那么这个规范就必须根据系统内可观察到的事件给出。如果我们的规格是物理时间，那么系统必须包含真正的时钟，而且就算是他包含了真正的时钟，我们也会遇到时钟不准确的可能性。所以我们不通过物理时钟定义“happened before“ 我们假设一个系统由若干个进程组成，每个进程包含了具有全序关系的若干个事件。同时…
Abstraction 论文中说这个percolator是用来进行增量处理的一个系统，用来替换MapReduce在google indexing system中的作用 但是没有提到transaction相关的东西 Introduction 考虑我们为网页构建索引的任务。索引系统首先会把每个网页都爬下来，如果有多个URL都指向了相同的内容，那么拥有最高的PageRank的URL会被保留下来放到索引中。我们还会把每一个链接对应的anchor text附在他指向的页面中。同时要保证对于链接指向的重复的内容，我们也会把它转…
Chubby lock service chubby的目的就是为一些低耦合的分布式系统提供粗粒度的锁服务，以及可靠（但是低容量）的存储。 chubby提供的接口则类似于一个带有锁的分布式文件系统。但是chubby的设计重点在于可用性以及可靠性。而非高性能。 Introduction lock service的目的是让客户去同步他们的活动，并且对一些信息达成一致。 我们希望chubby为一些系统提供粗粒度的锁服务，特别的是处理选主的问题。比如GFS通过chubby来指定一个master。bigtable也通过chub…
首先明确，bigtable是一个用来管理结构化数据的分布式存储系统 Introduciton bigtable的目标就是去scale到大数据的规模。并且应用范围比较广，从面向吞吐量的批处理任务到延迟敏感的用户服务。 bigtable并不提供完整的关系数据模型。而是提供了一个较为简单的数据模型，并且支持动态的控制数据的布局以及格式。从而让客户去推断数据的位置属性。 数据通过行和列名来进行索引。 bigtable将数据看作是未解析的字符串。 用户可以通过他们定义的schema来控制他们数据的位置。并且bigtable还…
就把这篇论文当作图计算的入门论文了 GNN中一个顶点的计算过程 要收集他的邻居的信息，然后aggregation，再传入到传统的DNN中做分类/回归 Roc用了一个linear regression model做partition 通过dp来最小化数据传输的代价 GNN对于每一个vertex学习一个vector representation，并可以用这个representation给下游任务。比如做vertex classification, graph classification, link predictio…
NeuGraph Programming Abstraction GCN: 初始情况下，每个vertex都有一个feature vector 每一个顶点都收集他邻居的特征向量，然后根据边上的权重进行加和。 然后一个全连接的NN来计算新一层的特征向量 比如在推荐系统中，如果用户对某一个item进行评分，就可以在用户顶点和item顶点之间连边，评分即作为边值。然后GCN可以从graph以及用户和item的特征中学习用户和item的embeddings。最后通过这些embedding来预测缺失的user-item评分 G…
Introduction pregel的program model类似BSP。每一个iteration叫做一个superstep。每一个superstep，系统会在读取上一个superstep传给顶点的数据，并应用user-defined function，然后他会沿边将数据传输出去，从而让他的邻居在下一个superstep使用这些数据 这种做法和MapReduce非常像，用户给出处理每个顶点的逻辑，然后系统会将这个操作应用到大规模的数据集上，并且不会暴露出执行顺序以及superstep之间的通信细节。 Model…
1 通过算法分解（leader选举，日志复制和安全）和减少状态机的状态来提升Raft的可理解性 Raft独特的特性 强leader： 日志只从leader发送给其他的服务器 leader选举： 使用随机计时器来选举领导人，在解决冲突的时候更加简单 成员关系调整： 使用共同一致(Joint Consensus)的方法来处理集群成员变化的问题，处于调整过程中的两种不同配置的集群中大多数会有重叠，让我们可以在集群变化的时候保证可用性 2 Replicated state machine 在一组服务器上的状态机具有相同状态…
通过functional model和用户指定的map和reduce操作，我们可以很容易的将这些计算并行化。 通过re-execution作为主要的fault tolerance的手段 2 programming model map接受input pair，并生成一组中间键值对。MapReduce Library会把相同key的键值对的所有value组合在一起，并把他们传给reduce reduce接受一个key以及对应的一组value，他将这一组值合并到一起，并返回给用户 一个计算每个document的单词数的例…