First pass The design of GFS has been driven by key observations of google application workloads and technological environment 在分布式系统的环境中，component failures are the norm rather than the exception. 当数据快速增长，去管理billions级别的kb大小的文件是unwise的（因为我们需要管理大量的inode，并且读写文件以及…
How to Read a Paper Just a note for convenience. First pass, get a bird's eye view of the paper Carefully read the title, abstract, and introduction Read the section and sub-section headings, but ignore everything else Read the conclusions Glance over the refe…
多核架构下的中断处理 来一句题外话，本以为我目前的体系结构相关的知识已经足够充分了，但没想到还是不够细节。在理解xv6的过程中，通过教授的一些assertion，我才找到了自己对于中断理解的一些错误，这里特此记录下来。 问题的起因是这样的，在xv6中，中断处理程序一般都需要用lock来防止race condition，所以我就理解成了lock是用来防止多核同时执行一个中断处理程序时，在操作共享数据结构的时候导致的race 但是xv6的net lab中，教授的solution在中断处理程序中没有用lock。同时在课上…
Daily Rust 有关所有权和生命周期的一些问题 首先看一段代码 use std::rc::Rc; #[derive(Debug)] struct Node { id: usize, downstream: Option<Rc<Node>>, } impl Node { pub fn new(id: usize) -> Self { Self { id, downstream: None, } } pub fn update_downstream(&mut self, do…
Lecture 16 run一个thread都涉及到了什么 比较常规的知识点，选择一个execution context，设置状态（pc， stack等），然后开始执行 对于同一个core上的multithread来说，os并不负责 os只负责粗粒度的调度，保证每个进程都能分享硬件资源 但是在硬件中利用多线程隐藏访存延迟的角度来说，用os调度代价太高了。所以在一个核上的若干个execution context，是由硬件来调度的 比如数据库中的latch，利用自旋锁实现就更好一些。因为这些都是轻量级的短时锁，不会等待…
Lecture 13 cache之间用队列，可能当队列满的时候导致死锁 因为一个队列中的request会需要在另一个队列中进行response，也就是一个队列中的work的完成需要另一个队列的resource 当队列满的时候，两个queue都需要对方queue的resource，导致了死锁 一个解决办法是可以扩大queue的容量，到系统最大事务数量 第二种方法是消除依赖 一个队列依赖另一个队列的空间，实际上是一个队列中的request依赖另一个队列的response 所以我们将request和response拆开，…
通过链表理解Rust中的Ownership 我们通过leetcode中的一道链表题来理解rust中的链表 #[derive(PartialEq, Eq, Clone, Debug)] pub struct ListNode { pub val: i32, pub next: Option<Box<ListNode>> } leetcode中rust的链表定义是这样的 可以看到，我们有clone的属性，但没有copy的属性，也就是说我们在赋值的时候的语义是移动，而非复制 而根据结构体的定义来看…
Lecture 10 一个小复习，执行一个写操作在cache层面会发生什么 我们要考虑该地址不在cache中，以及cache满时要evicit一个cache line，并且如果该cache line是dirty的，我们还需要将该cache line写回 单核系统上也会有cache coherence问题 发生在CPU和其他设备通讯的过程中 这也就是为什么有的设备IO空间是不可缓存的 或者需要让操作系统显式的flush这些page，或者这些cache line 所谓的sufficiently separated ti…
Lecture 7 异步的send和recv，我们需要返回一个handle来检查数据是否已经被正确的发送/接收了，这样我们才能安全的继续操作数据 即便我们用了pipelined的方法来传递消息，只要缓冲区不是无限大的，我们还是会得到一个没有流水化的执行过程 计算强度，computation / commnunication，越高越好 说明算法的限制在计算，而非通讯 inherent communication，取决于我们的算法，通过优化算法来优化通讯成本 artifactual communication，取决于算…