读一下知乎这篇文章：https://zhuanlan.zhihu.com/p/456863215 在GPT2中，对layer normalization做了优化 把layer norm从残差层后面放到了残差层内部。 总结看来，Pre-LN带来的好处，基本都是因为不需要做warm-up引起的。而引起这一差异的根本原因是： - Post-LN在输出层的gradient norm较大，且越往下层走，gradient norm呈现下降趋势。这种情况下，在训练初期若采用一个较大的学习率，容易引起模型的震荡。 - Pre-LN…
Improving Language Understanding by Generative Pre-Training Language Models are Unsupervised Multitask Learners Language Models are Few-Shot Learners 对应这三篇paper https://zhuanlan.zhihu.com/p/609367098 知乎上有对应的讲解 GPT1的核心思路是，通过language model做预训练，然后再针对下游的任务做fine tu…
知乎这里有一篇不错的文章讲这块：https://zhuanlan.zhihu.com/p/460678461 基本介绍 deepseek给了一个基本的介绍： 好的！以下是对语言模型 Tokenizer 的详细解释，涵盖你的问题： 1. Tokenizer 的作用与使用方式 Tokenizer（分词器） 是语言模型的核心组件之一，负责将原始文本拆分成模型能处理的单元（Token），同时将 Token 转换为对应的数字 ID（或向量）。它的使用分两个方向： 预处理（Preprocessing）： 将输入文本（如句子、段…
这里有一个很不错的图讲bert的用法的： * 先通过完形填空的方式，用大量的语料做预训练。 * 然后针对特定的任务，做微调 Introduction BERT：Bidirectional Encoder Representation from Transformer 用来预训练bidirectional representation，也就是说，bert输出的是每一个token对应的bidirectional representation，用来后续做其他任务。 这里有一个新的名词：pretrain的过程是通过join…
有关这块，还有一些相关的paper，后续可以读一读： 以下是几篇关键论文，从不同角度解释了为何Transformer模型采用多头注意力（Multi-Head Attention, MHA）机制，以及其优势与必要性： 1. **原始Transformer论文 核心观点： Vaswani等人在2017年的开创性论文中首次提出MHA，认为并行化多个独立注意力头可以增强模型对不同子空间特征的捕捉能力。每个头通过独立的线性变换生成查询（Q）、键（K）、值（V），允许模型从多个角度关注输入的不同语义或语法模式（如局部依赖、长程…
终于来学习transformer了 seq2seq就是一种实现。这里的区别是： * seq2seq特指 encoder/decoder的架构，先encoder编码成一个vector，再用decoder生成输出 * transformer就是这种 * Transduction Model 不仅限于编码器-解码器架构，还可以包括其他形式的序列转换方法。 - 例如，基于规则的系统、统计模型或端到端的神经网络模型。 attention的作用是用来捕获长距离依赖关系，这里再来解释一下： To the best of our …
意面+牛排 牛排我还是搞了个平底锅，效果确实比圆形的好一些 牛排提前解冻很关键 试了试用牛油，效果还不错，切一块放到锅里化开 牛排放锅里定时就行。2cm厚的西冷，一面1m30s，全程大火 最后关了火简单翻一下，醒肉就行。 如果要放百里香，黄油什么的，就最后小火把其他的料放一放 意面，先煮开水，放一些油和盐 放意面，大火慢慢煮 熟度我一般是靠自己尝一尝，感觉软了就可以拿出来了 过两遍冷水，把意面上的淀粉洗一洗。这样可以让意面更劲道一些，不会粘 小火放点油，把意面的酱挤进去，化开，然后放意面搅合一下就行 葱爆羊肉 羊肉…
https://github.com/SuperMedIntel/Medical-Graph-RAG 这里的文章，简单看了一下： 是针对医疗数据做的GraphRAG。核心目的是为了提高生成内容的准确性，即不能让大模型胡说。 为了做到这一点，MedGraphRAG在graphrag上做了两点改进： * 在实体提取的时候，会把实体和可信医疗源，以及受控词汇表连接起来 * 针对医疗标签做总结，而非使用通用的社区总结 具体来说： 会有一些置信程度比较高的资料，在RAG的时候，会把实体和这些置信程度比较高的资料链接到一起。 …
排骨，小炒肉什么的之前说过了就不说了。 干煸豆角这次焯水太过头了，成炖豆角了。下次还是要试试油炸 油淋生菜 烧开水，放点油和盐。生菜焯水。不要放过久，一下就可以 蒜末，红椒丝，葱段。热油浇一下 加蒸鱼豉油，芝麻油，陈醋。香醋/生抽啥的也可以自己加点，调成自己喜欢的味道就行。这里和调火锅料差不多 淋到生菜上就行 排骨面 放一锅水，放挂面 等开锅，打一个鸡蛋 然后放排骨，排骨汤 稍微煮一煮就可以关火了，关火之前放点菜叶子就行 根据喜好可以加点葱花，香油啥的就好 辣炒花蛤 买蛤蜊，这次我买的是无沙的，如果有沙子的话，可以…
最近在用python处理一些大数据相关的工作，就无可避免的涉及到了pandas。迟早还是要学一下的，就在这里简单看一看。 pandas的核心数据结构： * DataFrame，二维表格，由Series组成。和关系表一样。行列组成，列是有相同的schema * Series：一维表格 在此之上提供了： * 数据对齐，用来做数据的合并和join * 数据清洗：做数据类型转化，异常值处理，处理缺失数据 * 可视化：与Matplotib等库无缝集成 * 性能：内部使用numpy，性能比较好 * 生态：与其他数据科学相关的库…