LLM 算法演进路线

统计语言模型的标准范式，Kneser-Ney 平滑是 30 年的工业标配。

把词映射到稠密向量空间，是整个现代 NLP 的起点。

Mikolov 的两个简化模型（CBOW、Skip-gram）把词向量做成能工业化训练的工具。

把 softmax 替换成二分类，Skip-gram 训练从 O(V) 降到 O(k)。

基于全局共现矩阵的词向量方法，和 word2vec 互补。

Facebook 的子词（character n-gram）词向量，对形态丰富的语言和 OOV 都更友好。

更老的文本表示方法，今天在信息检索和文档聚类仍有一席之地。

用 MLP 做语言模型的开山之作，明确了"学词向量"这件事。

word2vec 第一篇：CBOW 和 Skip-gram 的原始论文。

第二篇：引入 negative sampling、hierarchical softmax、subsampling。

斯坦福的 GloVe 论文。

FastText 核心论文。

原始 C 实现，训练大规模语料仍很快。

Python 里做 word2vec、LDA、LSI 最方便的库。

工业级 NLP 流水线，预训练词向量和 pipeline 都很好用。

教学级 NLP 工具箱，N-gram、HMM、PCFG 都在里面。

NLP 教科书标杆，前几章讲 N-gram 和词向量最清楚。

斯坦福 NLP 课的前三讲专门讲词向量。

一篇博客把分布式表示的核心直觉讲透。

最原始的循环结构，实际训练效果受制于梯度消失。

Hochreiter & Schmidhuber 1997 的开山论文，门控 + 细胞状态（cell state）是关键。

Cho 2014 提出，把 LSTM 的三门合并成两门，参数更少、训练更快。

Sutskever 2014 的 encoder-decoder 翻译框架，是现代生成式模型的骨架。

让 decoder 按需回看 encoder 任意位置，直接铺垫了 Transformer。

Facebook 2017 用 CNN 做 Seq2Seq，比 RNN 并行化好但很快被 Transformer 盖过。

双向 LSTM 做 contextual embedding，是 pretrain 思想的早期工业化实现。

门控网络治疗梯度消失的原始论文。

Google 把 encoder-decoder 成功用在机器翻译。

attention 的原始提出。

Luong 式 attention（global / local）和 Bahdanau 式的对比。

ELMo 论文，大规模预训练在 NLP 里初露端倪。

早期 RNN 模型的主力实现框架；今天仍是教学起点。

开源神经机器翻译框架，RNN 时代的工业选择。

Facebook 的 Seq2Seq 工具箱，后来扩展到 Transformer。

围绕 PyTorch 生态的数据加载和模型组件。

一篇博客让几百万人理解 character-level RNN 为什么惊艳。

把 LSTM 门控结构画得最清楚的博客。

斯坦福 NLP 课里关于 RNN、LSTM、注意力的标准讲义。

Vaswani 2017 的原始论文，现代 LLM 的共同祖先。

Google 2018 的 encoder-only 预训练模型，MLM 目标。

OpenAI 2018 的 decoder-only 预训练 + 微调范式的首次确立。

Google 2019 的 text-to-text 框架，把所有 NLP 任务统一成文本生成。

FAIR 优化 BERT 的训练配方：更多数据、更长时间、去掉 NSP。

结合 AR 和 AE 的 Permutation LM，理论优雅但工程代价高。

FAIR 的 encoder-decoder 预训练模型，noise → denoising 目标。

并行算多个 "视角" 的 attention，是 Transformer 的计算核心。

sinusoidal（原论文）、learned、相对位置、RoPE——表达序列顺序的核心手段。

Transformer 稳定训练的关键组件；Pre-LN vs Post-LN 的选择影响深远。

BERT 的预训练目标，随机 mask 部分 token 让模型填空。

GPT 系列的预训练目标，也是所有现代生成式 LLM 的基础。

把文本切成子词的三种主流算法，决定 vocab 和 encoding 效率。

事实标准的预训练模型库，几乎所有 Transformer 模型都有官方移植。

Meta 的 Seq2Seq / Transformer 训练框架，学术圈常用。

Google 原始 Transformer 的参考实现，现在主要作为历史档案。

~300 行 PyTorch 的极简 GPT 实现，理解 Transformer 细节的最佳教材。

最受欢迎的 Transformer 图解博客。

BERT 和 GPT 的图解版本。

Lilian Weng 的 Transformer 变体综述。

斯坦福 NLP 课对 Transformer 的系统讲解。

Zero-shot 展示了 pretrain 的力量，当时引发 "too dangerous to release" 争议。

NVIDIA 的大模型训练系统论文，Tensor Parallel 的奠基。

Google 在 T5 论文里训练的最大版本。

微软一度最大 LLM，训练用了 DeepSpeed。

Few-shot in-context learning 正式登场，震惊整个 NLP 学界。

AI21 的 GPT-3 同量级模型。

Google 的 540B Pathways 训练模型，规模一度领先。

DeepMind 的 compute-optimal 实验：同算力下 70B 打败 280B。

Zero-shot 范式的首次系统展示。

Compute / data / params 三大幂律的原始论文。

Few-shot in-context learning 的经典论文。

修正 Kaplan 的结论，给出新的 20 tokens / param 比例。

系统化记录了 scale 到某阈值后"突然涌现"的能力。

NVIDIA 的大模型训练工具链，Tensor Parallel 的参考实现。

Microsoft 的训练优化库，ZeRO 优化器的主要实现。

EleutherAI 的开源复现项目，第一代"民间大模型"。

模型和 checkpoint 的事实中心仓库。

OpenAI 官方对 GPT-3 的介绍和早期应用案例。

"每 3.4 个月 AI 算力翻一倍"的原始分析。

对 scaling 现象最充分的外部论述，长但值得读。

Dwarkesh Patel 的播客访谈，AI 研究者对 scaling 的直接讨论。

用指令-响应对监督微调，是所有后续对齐的第一步。

输入回答对，输出偏好得分。RLHF 的 "referee"。

InstructGPT 使用的 RL 算法，核心是 clipped objective 限制更新幅度。

用闭式解替代 RL，一个交叉熵 loss 解决偏好优化。

Anthropic 的自我批判框架，用 AI 反馈代替部分人类标注。

2024 年一批 DPO 变种，继续简化和修正 loss 形式。

RLHF 工业化的标志性论文，给出了三步走配方。

Anthropic 的对齐方法论，强调可解释的价值原则。

把 RL 换成一个监督 loss，是 2023 年最重要的对齐论文。

DPO 的进一步简化，去掉 reference model。

基于 Kahneman-Tversky 前景理论的偏好学习。

把 GPT-3.5 变成对话伙伴的转折点。

OpenAI 的 flagship，多模态 + 对齐质量大幅提升。

Constitutional AI 和 RLHF 的结合，强调 helpful + harmless + honest。

Meta 的开源对齐模型，RLHF 训练细节在论文里最公开。

国内开源对齐模型代表，R1 把 RL on reasoning 推到开源前沿。

OpenAI 官方对齐研究页面。

Anthropic 对齐和可解释性研究的第一手博客。

RLHF 科普博客中流传最广的一篇。

Lil'Log 的对齐篇，技术细节最全。

Shazeer 2017 的稀疏门控专家层，是现代大模型效率的基础。

Google 的简化版 MoE，参数可到万亿级别。

让模型权重用 8-bit 或 4-bit 存储，推理成本下降一个数量级。

低秩适配让微调只需要训练 <1% 的参数。

Tri Dao 的 IO-aware kernel，让 attention 在 HBM 上近似 O(n)。

把 KV cache 当作虚拟内存分页管理，显存利用率从 20-40% 提升到 90%+。

减少 attention head 数或共享 KV 的优化，降低 KV cache 和带宽。

小模型起草 + 大模型验证，推理延迟下降 2-4x。

第一代大规模 MoE 论文。

Google 2021 把 MoE 做到 1.6T 参数。

Low-Rank Adaptation 的开山论文。

attention kernel 优化的标杆论文。

KV cache 管理革命的原始论文。

Mistral 的 8x7B MoE，开源 MoE 的里程碑。

MoE + MLA + FP8 同时运用的完整技术报告。

最早的万亿参数 MoE 模型。

Mistral 开源的 MoE，激活参数约 13B，推理效率接近 Llama-70B 水平。

国产开源旗舰，MLA + MoE 训练成本压到行业十分之一。

Google 把 context 推到 1M tokens 的旗舰模型。

阿里开源 + 闭源的 MoE 系列，注重效率工程。

FlashAttention 作者的技术博客。

PagedAttention 和 continuous batching 的权威说明。

ZeRO、MoE、inference 工程的公开文档。

效率相关章节整理了大量工程 trade-off。

图像-文本对比学习开启多模态时代，zero-shot classification 的 baseline。

把视觉 token 插入冻结的 LLM，实现 few-shot 视觉问答。

Q-Former 桥接 vision encoder 和 LLM，训练成本低。

OpenAI 的多模态旗舰，GPT-4o 做到原生文本/音频/视觉。

Google 的原生多模态模型家族。

Visual Instruction Tuning 的代表，开源社区的默认起点。

阿里的开源多模态系列，追赶 GPT-4V 的主力之一。

一行 "let's think step by step" 显著提升推理能力。

多次采样 + 多数投票，CoT 的强化版。

把 CoT 扩展成可搜索的思维树。

RL on reasoning 训练的模型，AIME / Codeforces 上接近专家水平。

开源首个复现 o1 级别推理的模型，GRPO 算法成为新的 RL 基线。

Anthropic 在 Claude 3.7 / 4 上的 "显式思考" 能力。

多模态学习的开山之作。

Few-shot visual language model 的代表。

首次系统化的 step-by-step 推理研究。

CoT → ToT 的扩展。

GRPO 训练、纯 RL 激活推理能力的开源典范。

OpenAI 给出的 "推理阶段算力" 的 scaling law。

o1 的官方能力、安全、基准报告。

GRPO 和多阶段 RL 训练的完整细节。

把 CoT、ToT、Agent 的关系讲清楚。

多模态 + reasoning 的日常评测和观察，工程角度最清晰。

选择性 SSM，线性复杂度 + 近似 Transformer 性能，是当前最有力的挑战者。

RNN 式训练 + Transformer 式表现，社区驱动的开源项目。

Retentive Network，微软提出的 attention 替代品。

用隐式长卷积替代 attention，标志着 "sub-quadratic" 浪潮。

Transformer + Mamba 的 hybrid，大 context 上有明显优势。

Reasoning + Acting 交替，是 Agent 设计最常用的骨架。

让模型学会自己决定什么时候调用 API 的开山论文。

2023 年引爆 Agent 想象力的社区项目。

Anthropic 主导的开放协议，把工具接入标准化。

Microsoft 和 LangChain 的多 agent 编排框架。

2025 年真正把 "模型操作电脑" 推向产品的两个标志。

Diffusion Transformer，把视频生成推到 60 秒分钟级质量。

从单张图生成可交互 2D / 3D 世界。

NVIDIA 面向机器人 / 自动驾驶的 World Foundation Model。

Google 的高质量视频生成模型。

商业视频生成产品的代表。

Chris Olah 主持的 Transformer Circuits 系列，尝试把 LLM 打开看。

"思考更久" 替代 "模型更大" 的新 scaling 曲线。

当公开数据接近枯竭时，用模型自己生成数据训练自己是热门路线。

多个专精模型 / agent 协作，已在代码、科研、谈判等场景显示优势。

RT-2、OpenVLA、Gemini Robotics 把 LLM 带到机器人领域。

Mamba 背后的系统工程细节。

机械式可解释性的主站。

追踪前沿产品和模型最勤奋的博客。

Anthropic 联合创始人的周报，政策 + 技术视角。

投资机构对 AI 行业演进的年度综述。