大语言模型（LLMBook） 记录一下读这本书的一些Notes https://github.com/RUCAIBox/LLMSurvey 前言 反观 GPT 系列模型的发展历程，有两点令人印象深刻。第一点是可拓展的训 练架构与学习范式：Transformer 架构能够拓展到百亿、千亿甚至万亿参数规模，并 且将预训练任务统一为预测下一个词这一通用学习范式；第二点是对于数据质量 与数据规模的重视：不同于 BERT 时代的预训练语言模型，这次大语言模型的成 功与数据有着更为紧密的关系，高质量数据、超大规模数据成为大语言…

有一篇不错的知乎文章：https://zhuanlan.zhihu.com/p/688133363 colbert的核心在于，为文档和query分别做编码。并且是token级别的编码 直观来讲是一种tradeoff，token级别的编码肯定存储空间会上升，带来的好处是细粒度的检索。 如果用过vector rag的人可能知道，vector rag的检索能力是非常弱的，文档长一点，很容易就召回一堆奇奇怪怪的东西。 这里让DS帮忙总结了一下colbert的优缺点，比较全面： ColBERT的Late Interactio…

这篇论文介绍了一种名为HippoRAG的新型检索框架，旨在解决大语言模型（LLMs）在整合新知识时的效率问题。以下是文章的核心内容概述： 核心创新：受神经生物学启发的长期记忆机制 HippoRAG的灵感来源于人类大脑的海马索引理论。人脑通过海马区（负责关联索引）和新皮质（负责存储具体记忆）的协作实现高效记忆整合。HippoRAG模仿这一机制： - 海马索引的模拟：构建一个开放式的知识图谱（KG），存储文本中的实体和关系。 - 新皮质的模拟：利用LLM解析文本并提取知识。 - 个性化PageRank（PPR）算法：模…

AI is Creating a Generation of Illiterate Programmers https://nmn.gl/blog/ai-illiterate-programmers 这篇文章，下面可以看我和ds的对话 帮我总结一下这篇文章 以下是文章的总结： 核心论点 AI工具虽提升开发效率，但导致程序员技能退化，形成过度依赖，威胁行业长期发展。 关键问题与影响 技能衰退过程 文档阅读消失：依赖AI即时解释，失去自主查阅能力。 调试能力弱化：错误日志直接抛给AI，不再分析堆栈跟踪。 浅层理解：机械…

AdaLoRA（Adaptive Low-Rank Adaptation）是一种改进的低秩自适应方法，旨在动态调整参数矩阵的秩（rank），以在模型微调过程中更高效地分配参数资源。其核心思想是通过自适应地分配不同参数矩阵的秩，使得重要的参数更新获得更高的秩（更多表达能力），而不重要的部分秩较低（节省计算资源）。以下是其动态调整秩的关键机制： 1. 参数矩阵的低秩分解 AdaLoRA基于低秩分解（类似LoRA），将待更新的权重矩阵 W 分解为两个低秩矩阵的乘积： W = W_0 + \Delta W = W_0 + …

用deepseek生成的，感觉挺有意思的 好的，我将以统一的克苏鲁式神秘学风格重新构建完整序列体系，融入更强烈的认知异化与数字炼金术元素： 序列9：调试学徒 别称：漏洞牧羊人 象征烙印：龟裂屏幕上跳动的血色光标 能力具现： - 断点凝视（在视网膜投射蓝屏死光，冻结目标的逻辑流动） - 咖啡因通灵（从冷萃残渣中读取未成形的错误预兆） - 异常献祭（将三个warning炼成可投掷的运行时炸弹） 晋升仪式： "在七次月相轮回间，收集同事的叹息凝成固态日志。于午夜零误差时刻，用未保存的代码作祭坛，以左手小指蘸取NaN（非存…

读一下知乎这篇文章：https://zhuanlan.zhihu.com/p/456863215 在GPT2中，对layer normalization做了优化 把layer norm从残差层后面放到了残差层内部。 总结看来，Pre-LN带来的好处，基本都是因为不需要做warm-up引起的。而引起这一差异的根本原因是： - Post-LN在输出层的gradient norm较大，且越往下层走，gradient norm呈现下降趋势。这种情况下，在训练初期若采用一个较大的学习率，容易引起模型的震荡。 - Pre-LN…

Improving Language Understanding by Generative Pre-Training Language Models are Unsupervised Multitask Learners Language Models are Few-Shot Learners 对应这三篇paper https://zhuanlan.zhihu.com/p/609367098 知乎上有对应的讲解 GPT1的核心思路是，通过language model做预训练，然后再针对下游的任务做fine tu…

知乎这里有一篇不错的文章讲这块：https://zhuanlan.zhihu.com/p/460678461 基本介绍 deepseek给了一个基本的介绍： 好的！以下是对语言模型 Tokenizer 的详细解释，涵盖你的问题： 1. Tokenizer 的作用与使用方式 Tokenizer（分词器） 是语言模型的核心组件之一，负责将原始文本拆分成模型能处理的单元（Token），同时将 Token 转换为对应的数字 ID（或向量）。它的使用分两个方向： 预处理（Preprocessing）： 将输入文本（如句子、段…

这里有一个很不错的图讲bert的用法的： * 先通过完形填空的方式，用大量的语料做预训练。 * 然后针对特定的任务，做微调 Introduction BERT：Bidirectional Encoder Representation from Transformer 用来预训练bidirectional representation，也就是说，bert输出的是每一个token对应的bidirectional representation，用来后续做其他任务。 这里有一个新的名词：pretrain的过程是通过join…