现在是25年的2月14号，正好是情人节。趁着单身不便出行的时候，来写一写24年的年终总结 这次写的应该会比较随意一些，整体的思考更偏向我最近的一些思考，而非全年的。并且因为工作相对比较忙的原因，我没有腾出来很多时间给自己做一些回顾，这里也有一个原因是我感觉没必要了。 首先是一些可以看到的成果吧，整体进度虽然不符合我23年当时的规划，但是还是符合后面半年review的预期的。 * 读书线上200+小时，还有一些线下的就先不算上了 * 减肥，其实本来想减到150的，现在是160～170之间徘徊中 * 技术学习 * 数据…
大语言模型（LLMBook） 记录一下读这本书的一些Notes https://github.com/RUCAIBox/LLMSurvey 前言 反观 GPT 系列模型的发展历程，有两点令人印象深刻。第一点是可拓展的训 练架构与学习范式：Transformer 架构能够拓展到百亿、千亿甚至万亿参数规模，并 且将预训练任务统一为预测下一个词这一通用学习范式；第二点是对于数据质量 与数据规模的重视：不同于 BERT 时代的预训练语言模型，这次大语言模型的成 功与数据有着更为紧密的关系，高质量数据、超大规模数据成为大语言…
AI is Creating a Generation of Illiterate Programmers https://nmn.gl/blog/ai-illiterate-programmers 这篇文章，下面可以看我和ds的对话 帮我总结一下这篇文章 以下是文章的总结： 核心论点 AI工具虽提升开发效率，但导致程序员技能退化，形成过度依赖，威胁行业长期发展。 关键问题与影响 技能衰退过程 文档阅读消失：依赖AI即时解释，失去自主查阅能力。 调试能力弱化：错误日志直接抛给AI，不再分析堆栈跟踪。 浅层理解：机械…
读一下知乎这篇文章：https://zhuanlan.zhihu.com/p/456863215 在GPT2中，对layer normalization做了优化 把layer norm从残差层后面放到了残差层内部。 总结看来，Pre-LN带来的好处，基本都是因为不需要做warm-up引起的。而引起这一差异的根本原因是： - Post-LN在输出层的gradient norm较大，且越往下层走，gradient norm呈现下降趋势。这种情况下，在训练初期若采用一个较大的学习率，容易引起模型的震荡。 - Pre-LN…
Improving Language Understanding by Generative Pre-Training Language Models are Unsupervised Multitask Learners Language Models are Few-Shot Learners 对应这三篇paper https://zhuanlan.zhihu.com/p/609367098 知乎上有对应的讲解 GPT1的核心思路是，通过language model做预训练，然后再针对下游的任务做fine tu…
知乎这里有一篇不错的文章讲这块：https://zhuanlan.zhihu.com/p/460678461 基本介绍 deepseek给了一个基本的介绍： 好的！以下是对语言模型 Tokenizer 的详细解释，涵盖你的问题： 1. Tokenizer 的作用与使用方式 Tokenizer（分词器） 是语言模型的核心组件之一，负责将原始文本拆分成模型能处理的单元（Token），同时将 Token 转换为对应的数字 ID（或向量）。它的使用分两个方向： 预处理（Preprocessing）： 将输入文本（如句子、段…