AdaLoRA（Adaptive Low-Rank Adaptation）是一种改进的低秩自适应方法，旨在动态调整参数矩阵的秩（rank），以在模型微调过程中更高效地分配参数资源。其核心思想是通过自适应地分配不同参数矩阵的秩，使得重要的参数更新获得更高的秩（更多表达能力），而不重要的部分秩较低（节省计算资源）。以下是其动态调整秩的关键机制： 1. 参数矩阵的低秩分解 AdaLoRA基于低秩分解（类似LoRA），将待更新的权重矩阵 W 分解为两个低秩矩阵的乘积： W = W_0 + \Delta W = W_0 + …
读一下知乎这篇文章：https://zhuanlan.zhihu.com/p/456863215 在GPT2中，对layer normalization做了优化 把layer norm从残差层后面放到了残差层内部。 总结看来，Pre-LN带来的好处，基本都是因为不需要做warm-up引起的。而引起这一差异的根本原因是： - Post-LN在输出层的gradient norm较大，且越往下层走，gradient norm呈现下降趋势。这种情况下，在训练初期若采用一个较大的学习率，容易引起模型的震荡。 - Pre-LN…
Improving Language Understanding by Generative Pre-Training Language Models are Unsupervised Multitask Learners Language Models are Few-Shot Learners 对应这三篇paper https://zhuanlan.zhihu.com/p/609367098 知乎上有对应的讲解 GPT1的核心思路是，通过language model做预训练，然后再针对下游的任务做fine tu…
知乎这里有一篇不错的文章讲这块：https://zhuanlan.zhihu.com/p/460678461 基本介绍 deepseek给了一个基本的介绍： 好的！以下是对语言模型 Tokenizer 的详细解释，涵盖你的问题： 1. Tokenizer 的作用与使用方式 Tokenizer（分词器） 是语言模型的核心组件之一，负责将原始文本拆分成模型能处理的单元（Token），同时将 Token 转换为对应的数字 ID（或向量）。它的使用分两个方向： 预处理（Preprocessing）： 将输入文本（如句子、段…
这里有一个很不错的图讲bert的用法的： * 先通过完形填空的方式，用大量的语料做预训练。 * 然后针对特定的任务，做微调 Introduction BERT：Bidirectional Encoder Representation from Transformer 用来预训练bidirectional representation，也就是说，bert输出的是每一个token对应的bidirectional representation，用来后续做其他任务。 这里有一个新的名词：pretrain的过程是通过join…
有关这块，还有一些相关的paper，后续可以读一读： 以下是几篇关键论文，从不同角度解释了为何Transformer模型采用多头注意力（Multi-Head Attention, MHA）机制，以及其优势与必要性： 1. **原始Transformer论文 核心观点： Vaswani等人在2017年的开创性论文中首次提出MHA，认为并行化多个独立注意力头可以增强模型对不同子空间特征的捕捉能力。每个头通过独立的线性变换生成查询（Q）、键（K）、值（V），允许模型从多个角度关注输入的不同语义或语法模式（如局部依赖、长程…
终于来学习transformer了 seq2seq就是一种实现。这里的区别是： * seq2seq特指 encoder/decoder的架构，先encoder编码成一个vector，再用decoder生成输出 * transformer就是这种 * Transduction Model 不仅限于编码器-解码器架构，还可以包括其他形式的序列转换方法。 - 例如，基于规则的系统、统计模型或端到端的神经网络模型。 attention的作用是用来捕获长距离依赖关系，这里再来解释一下： To the best of our …
意面+牛排 牛排我还是搞了个平底锅，效果确实比圆形的好一些 牛排提前解冻很关键 试了试用牛油，效果还不错，切一块放到锅里化开 牛排放锅里定时就行。2cm厚的西冷，一面1m30s，全程大火 最后关了火简单翻一下，醒肉就行。 如果要放百里香，黄油什么的，就最后小火把其他的料放一放 意面，先煮开水，放一些油和盐 放意面，大火慢慢煮 熟度我一般是靠自己尝一尝，感觉软了就可以拿出来了 过两遍冷水，把意面上的淀粉洗一洗。这样可以让意面更劲道一些，不会粘 小火放点油，把意面的酱挤进去，化开，然后放意面搅合一下就行 葱爆羊肉 羊肉…
https://github.com/SuperMedIntel/Medical-Graph-RAG 这里的文章，简单看了一下： 是针对医疗数据做的GraphRAG。核心目的是为了提高生成内容的准确性，即不能让大模型胡说。 为了做到这一点，MedGraphRAG在graphrag上做了两点改进： * 在实体提取的时候，会把实体和可信医疗源，以及受控词汇表连接起来 * 针对医疗标签做总结，而非使用通用的社区总结 具体来说： 会有一些置信程度比较高的资料，在RAG的时候，会把实体和这些置信程度比较高的资料链接到一起。 …