最近在用python处理一些大数据相关的工作，就无可避免的涉及到了pandas。迟早还是要学一下的，就在这里简单看一看。 pandas的核心数据结构： * DataFrame，二维表格，由Series组成。和关系表一样。行列组成，列是有相同的schema * Series：一维表格 在此之上提供了： * 数据对齐，用来做数据的合并和join * 数据清洗：做数据类型转化，异常值处理，处理缺失数据 * 可视化：与Matplotib等库无缝集成 * 性能：内部使用numpy，性能比较好 * 生态：与其他数据科学相关的库…
干煸豆角 感觉焯水了还是不如油炸的来的好吃。 以及焯水也要多焯一会，否则还是有点生。 料后面感觉可以再放足一点，貌似把味道炒到豆角里还有点困难 猪蹄 用炖一切的方法炖的。猪蹄要炖烂点好吃。我这个炖了两次，一共70分钟。下次做需要选一个时间长一点的方式，然后多用压力锅焖一下，不要很快放气 后面还可以再放到炒锅里，大火收个汁 凉拌手撕鸡腿 * 放葱姜料酒，煮鸡腿 * 多煮一会，大鸡腿里面不是很容易熟。我最后煮出来里面还有点血 * 可能切一切再煮也可以。 * 葱丝，香菜，花生米准备一些 * 小米辣，蒜末，葱末，辣椒面准备…
这周搞了5个菜： 烤肉饭 * 鸡胸肉切大片。放料酒，烧烤料，老抽腌一下 * 这里看自己的口味了，也可以多放点别的，比如奥尔良料啥的 * 黄瓜擦丝，生菜切成小段 * 空气炸锅，180度18分钟（火候自己控制，我看其他人说是200度20分钟，我那样做出来肉非常的干。）喷点油，中间翻面。 * 放到米饭上就好了。 干煸豆角 * 这个其实做着有点失败。 * 准备豆角，切成段 * 蒜末，花椒，红干辣椒 * 豆角要先用油炸一下，直到有皱纹（虎皮状）。 * 这一步我放油少了，火小。导致后面没熟 * 后面尝试下焯一下水 * 爆香蒜，…
这一周探索了4个菜： 麦芬 提前一晚上取出牛肉饼放到冷藏箱中 提前一晚上取出麦芬放到冷藏箱中 锡纸碗里喷点油，打个鸡蛋，放点盐 麦芬拿出来冲一遍水，避免烤干 牛肉饼拿出来用吸水纸吸一下水 牛肉饼和麦芬一起放到空气炸锅中，180度8分钟。 牛肉饼翻面，此时鸡蛋应该已经熟了（如果是两个蛋就没有，继续烤就行） 放入麦芬，180度5～8分钟 出锅，夹个菜叶子，可以放点自己喜欢的料，比如番茄酱沙拉酱，番茄片等 土豆丝饼 这个我目前是做翻车了，做成了鸡蛋饼，先说一下现在的流程： * 土豆丝，萝卜丝，火腿丝 * 放到碗里，加一个…
记录一下菜谱，以及一些可能的关键点： 煎牛肉饼 不用油煎 放到锅里后，先煎一面让牛肉饼定型，然后再翻面 用中火/小火就行 红烧排骨 先把排骨解冻，用盐水泡20分钟，把血析出来。盐不用放非常多 葱白半根就够，切葱段 蒜大概1个，切蒜片 姜半个，切姜片 大料2/3个，香叶4/5片 烧一壶开水备用 放一锅开水，把刚刚的排骨捞出来放进去 切少数的姜片和葱叶，放到锅中和排骨一起煮 等到水烧开，锅中会有排骨的血凝固起来的物质（应该是蛋白什么的） 这一步主要的目的是把血去干净，否则排骨会有腥味 把排骨捞出来，注意避开凝固的蛋白。…
最近偶然才读到了这篇paper，不得不说sql server还是太先进了，当时的设计影响了后面系统的决策。给出了一份比较好的，从传统数据库集成AP能力的答卷。 这篇文章是sql server在2014版本引入列存的能力后，在2016版本继续强化列存能力的方法，核心有4大块： * 支持在in-memory table上增加列式的二级索引 * 列式二级索引支持更新 * 在主索引是列式索引的时候，支持增加btree索引作为二级索引 * 列式扫描的性能优化 上面这几点支持的能力虽然看上去没有什么太值得关注的，但实际上sql…
最近买了一本《从零构建向量数据库》读了一下，这里简单记录一些笔记。 TLDR： 我感觉整体内容不多，尤其是我比较关注的向量算法/存储格式各种相关的地方。但是这本书讲的比较全，抛去向量的地方，还有挺多周边的工作，但是和向量关联都不大了。 整体来说适合刚对数据库有一定了解的人读一读，如果对这块比较熟悉的话，基本上就不用看了，或者速度一下2H也够了。 chp2 向量数据库的发展受益于深度学习的发展，让embedding这个技术有了更好的发挥空间 深度学习模型可以比较好的处理非结构化的数据（通过转化成embedding），…
最近又重新看了看graphrag相关的一些东西，简单整理点内容。 目前能用的开源框架，graphrag相关的，除了ms的graphrag之外，还有ragflow，以及dbgpt。这里简单介绍一下他们graphrag的实现方式： RagFlow ragflow有多种类型的解析方法，比如paper/book等，然后KG是专门的一种，代码在rag/app/knowledge_graph.py里 index.py:build_knowledge_graph_chunks 看注释里基本流程是和ms的graphrag是一样的 …