有一篇不错的知乎文章：https://zhuanlan.zhihu.com/p/688133363 colbert的核心在于，为文档和query分别做编码。并且是token级别的编码 直观来讲是一种tradeoff，token级别的编码肯定存储空间会上升，带来的好处是细粒度的检索。 如果用过vector rag的人可能知道，vector rag的检索能力是非常弱的，文档长一点，很容易就召回一堆奇奇怪怪的东西。 这里让DS帮忙总结了一下colbert的优缺点，比较全面： ColBERT的Late Interactio…
AI is Creating a Generation of Illiterate Programmers https://nmn.gl/blog/ai-illiterate-programmers 这篇文章，下面可以看我和ds的对话 帮我总结一下这篇文章 以下是文章的总结： 核心论点 AI工具虽提升开发效率，但导致程序员技能退化，形成过度依赖，威胁行业长期发展。 关键问题与影响 技能衰退过程 文档阅读消失：依赖AI即时解释，失去自主查阅能力。 调试能力弱化：错误日志直接抛给AI，不再分析堆栈跟踪。 浅层理解：机械…
读一下知乎这篇文章：https://zhuanlan.zhihu.com/p/456863215 在GPT2中，对layer normalization做了优化 把layer norm从残差层后面放到了残差层内部。 总结看来，Pre-LN带来的好处，基本都是因为不需要做warm-up引起的。而引起这一差异的根本原因是： - Post-LN在输出层的gradient norm较大，且越往下层走，gradient norm呈现下降趋势。这种情况下，在训练初期若采用一个较大的学习率，容易引起模型的震荡。 - Pre-LN…
Improving Language Understanding by Generative Pre-Training Language Models are Unsupervised Multitask Learners Language Models are Few-Shot Learners 对应这三篇paper https://zhuanlan.zhihu.com/p/609367098 知乎上有对应的讲解 GPT1的核心思路是，通过language model做预训练，然后再针对下游的任务做fine tu…
知乎这里有一篇不错的文章讲这块：https://zhuanlan.zhihu.com/p/460678461 基本介绍 deepseek给了一个基本的介绍： 好的！以下是对语言模型 Tokenizer 的详细解释，涵盖你的问题： 1. Tokenizer 的作用与使用方式 Tokenizer（分词器） 是语言模型的核心组件之一，负责将原始文本拆分成模型能处理的单元（Token），同时将 Token 转换为对应的数字 ID（或向量）。它的使用分两个方向： 预处理（Preprocessing）： 将输入文本（如句子、段…
这里有一个很不错的图讲bert的用法的： * 先通过完形填空的方式，用大量的语料做预训练。 * 然后针对特定的任务，做微调 Introduction BERT：Bidirectional Encoder Representation from Transformer 用来预训练bidirectional representation，也就是说，bert输出的是每一个token对应的bidirectional representation，用来后续做其他任务。 这里有一个新的名词：pretrain的过程是通过join…
有关这块，还有一些相关的paper，后续可以读一读： 以下是几篇关键论文，从不同角度解释了为何Transformer模型采用多头注意力（Multi-Head Attention, MHA）机制，以及其优势与必要性： 1. **原始Transformer论文 核心观点： Vaswani等人在2017年的开创性论文中首次提出MHA，认为并行化多个独立注意力头可以增强模型对不同子空间特征的捕捉能力。每个头通过独立的线性变换生成查询（Q）、键（K）、值（V），允许模型从多个角度关注输入的不同语义或语法模式（如局部依赖、长程…