代码结构 Chunk ChunkFactory.py，通过decorator注册chunking method * chunking_by_seperators * 定义了一些default text separator（如果希望自定义应该怎么做？传入不同的参数？) * chunking_by_token_size 有一个通用的DocChunk类，用来包装不同的chunking method。他会吃config中的chunk_method。 也负责做Chunk的存储和读取。 * build_chunks * 输入为…
https://huggingface.co/blog/open-deep-research https://huggingface.co/datasets/gaia-benchmark/GAIA agent考试用，GAIA(General AI Assistant)数据集。 GAIA is a benchmark which aims at evaluating next-generation LLMs (LLMs with augmented capabilities due to added tooling,…
大语言模型（LLMBook） 记录一下读这本书的一些Notes https://github.com/RUCAIBox/LLMSurvey 前言 反观 GPT 系列模型的发展历程，有两点令人印象深刻。第一点是可拓展的训 练架构与学习范式：Transformer 架构能够拓展到百亿、千亿甚至万亿参数规模，并 且将预训练任务统一为预测下一个词这一通用学习范式；第二点是对于数据质量 与数据规模的重视：不同于 BERT 时代的预训练语言模型，这次大语言模型的成 功与数据有着更为紧密的关系，高质量数据、超大规模数据成为大语言…
读一下知乎这篇文章：https://zhuanlan.zhihu.com/p/456863215 在GPT2中，对layer normalization做了优化 把layer norm从残差层后面放到了残差层内部。 总结看来，Pre-LN带来的好处，基本都是因为不需要做warm-up引起的。而引起这一差异的根本原因是： - Post-LN在输出层的gradient norm较大，且越往下层走，gradient norm呈现下降趋势。这种情况下，在训练初期若采用一个较大的学习率，容易引起模型的震荡。 - Pre-LN…
知乎这里有一篇不错的文章讲这块：https://zhuanlan.zhihu.com/p/460678461 基本介绍 deepseek给了一个基本的介绍： 好的！以下是对语言模型 Tokenizer 的详细解释，涵盖你的问题： 1. Tokenizer 的作用与使用方式 Tokenizer（分词器） 是语言模型的核心组件之一，负责将原始文本拆分成模型能处理的单元（Token），同时将 Token 转换为对应的数字 ID（或向量）。它的使用分两个方向： 预处理（Preprocessing）： 将输入文本（如句子、段…
这里有一个很不错的图讲bert的用法的： * 先通过完形填空的方式，用大量的语料做预训练。 * 然后针对特定的任务，做微调 Introduction BERT：Bidirectional Encoder Representation from Transformer 用来预训练bidirectional representation，也就是说，bert输出的是每一个token对应的bidirectional representation，用来后续做其他任务。 这里有一个新的名词：pretrain的过程是通过join…
有关这块，还有一些相关的paper，后续可以读一读： 以下是几篇关键论文，从不同角度解释了为何Transformer模型采用多头注意力（Multi-Head Attention, MHA）机制，以及其优势与必要性： 1. **原始Transformer论文 核心观点： Vaswani等人在2017年的开创性论文中首次提出MHA，认为并行化多个独立注意力头可以增强模型对不同子空间特征的捕捉能力。每个头通过独立的线性变换生成查询（Q）、键（K）、值（V），允许模型从多个角度关注输入的不同语义或语法模式（如局部依赖、长程…