大模型发展可划分为三个时代,每个时代以关键技术突破为标志,代表了"模型能做什么"的范式迁移。

预训练时代(2017–2021)

核心命题:让模型从海量文本中自主学习语言规律,无需人工标注。

年份 事件 意义
2017 Transformer 架构发布 注意力机制取代 RNN/LSTM,奠定所有后续大模型的架构基础
2018 GPT-1 发布 验证了"预训练 + 微调"范式的可行性
2019 GPT-2 发布 展现了无监督学习的生成能力,OpenAI 一度因安全顾虑延迟开源
2020 GPT-3 发布 1750 亿参数,少样本(Few-Shot)能力涌现,证明了 Scaling Law

这一时代的产物是基础模型(Base Model):能力强大但"不听话"——不会拒绝不当请求,不懂对话交互,只会基于统计模式续写文本。

对齐时代(2022–2023)

核心命题:让模型从"会说话"变为"说对话",对齐人类意图与价值观。

年份 事件 意义
2022 Instruct-GPT 发布 首次引入 SFT + RLHF,实现指令跟随与人类偏好对齐
2022.11 ChatGPT(GPT-3.5)发布 大模型第一次走向大众,两个月破亿用户
2023 Claude(Anthropic)发布 Constitutional AI 路线——用原则集替代逐条人工标注

对齐技术的三条路线:SFT + RLHF(ChatGPT)、SFT + Constitutional AI(Claude)、纯强化学习(DeepSeek),详见大模型后训练

推理时代(2024–至今)

核心命题:从"给答案"到"会思考",模型具备链式推理和自主规划能力。

年份 事件 意义
2023–2024 GPT-4 / Claude 多模态版本 文本、图像、代码多模态理解与生成
2024 GPT-O 系列(o1/o3) "思考"能力——慢推理换高质量输出
2025 DeepSeek-R1 推理能力成为新范式,开源路线的标杆

推理时代的标志是模型不再只做"一步到位"的生成,而是展现出链式推理(Chain of Thought)、自我反思、多步规划等高阶认知能力。

三时代递进关系

预训练解决"模型会什么"(知识储备),对齐解决"模型怎么说"(行为规范),推理解决"模型怎么想"(思维深度)。PM 理解这个分层,才能判断一个模型的能力边界来自哪一层、该用什么方法补足。

相关页面

大模型预训练大模型后训练提示词工程四象限法则AIPM课程 Day3