011957
感知机
第一颗可学习的神经元，用错分样本调整权重。它不会思考，但证明了机器可以从数据里改自己。
连接主义可学习
1957 · 连接主义 · 模型 01
感知机 Perceptron
第一颗可学习的神经元：输入加权求和，超过阈值就点火；错了，就按误差转动旋钮。
- 提出者
- 弗兰克·罗森布拉特
- 时间
- 1957 提出，1958 公开展示
- 结构
- 单层线性分类器
- 学习
- 按错分样本调整权重
为什么重要
它把“学习”从哲学问题变成一条可以执行的更新规则。权重不再由人写死，而是由数据推动。后来的多层网络、反向传播、深度模型，都从这里长出来。
技术要点
- 加权和加阈值：输入乘以权重后求和，超过阈值输出 1，否则输出 0。
- 感知机规则：只有分错时才更新，权重朝减小误差的方向移动。
- Mark I：用 20×20 光电管读图，权重由电位器和电机实现，是真正的硬件神经网络。
局限与争议
它只能处理线性可分的问题。1969 年明斯基与佩珀特出版《感知机》，指出单层网络连 XOR 都学不会，连接主义随之退潮十几年。这个批评针对的是单层结构，却长期被读成对整个神经网络的否定。
1957 与 1958 是常见的两种年份口径：1957 为报告与模型提出，1958 为公开展示；本文并列标注。
021966
ELIZA
只会模式匹配的“心理治疗师”，却让人第一次向机器倾诉。被理解的错觉，从此有了名字。
对话拟人化
1966 · 符号主义 · 模型 02
ELIZA MIT · 1966
它不懂你在说什么，只用关键词匹配把你的话改写成更像“被理解”的回答。
- 作者
- 约瑟夫·魏泽鲍姆
- 机构
- MIT
- 方法
- 关键词匹配 + 脚本
- 代表脚本
- DOCTOR（罗杰式治疗师）
为什么重要
它是第一个让普通人愿意持续对话的程序。人们明知道对面是模板，仍会把自己的情绪投射进去，这种现象后来被称为“ELIZA 效应”。今天的大模型越像人，这个问题越值得记住。
技术要点
- 模式匹配：识别句子里的关键词，套用预写模板，再把代词和人称做简单转换。
- 脚本驱动：换一套脚本就换一个“人格”，但底层没有语义理解。
- 反问策略：当匹配不到时，用“这让你想到什么”之类的话把话题推回给用户。
局限与争议
回答是预写的，离开脚本覆盖的领域就迅速露馅。魏泽鲍姆本人对人们过度信任程序感到不安。ELIZA 提醒我们：流畅的对话感，不等于理解。
031980
XCON
用数千条规则为 DEC 配置机器。专家系统第一次证明，AI 不只是论文，还能直接省钱。
符号主义商业化
1980 · 专家系统 · 模型 03
XCON R1 · DEC
用几千条“如果—那么”规则替 DEC 配置 VAX 机器，把专家系统第一次变成能省钱的生意。
- 原名
- R1
- 开发者
- 约翰·麦克德莫特等，CMU
- 部署
- DEC，1980 年代
- 规模
- 数千条规则
为什么重要
它证明知识可以被编码、复用和商业化。企业愿意为“不会离职的专家”付钱，符号主义因此在 1980 年代达到顶峰，也埋下了后来泡沫的种子。
技术要点
- 规则库：把配置专家的判断写成条件—动作规则。
- 推理机：根据订单约束逐步选择部件，并在冲突时回溯。
- 可解释性：系统能说明为什么选某个配置，这是早期专家系统的卖点。
局限与争议
规则越多越难维护，知识获取成为瓶颈；领域一变就要重写。专家系统公司大量倒闭后，AI 进入第二次寒冬。XCON 的成功与失败，几乎是同一套机制的两面。
常被引用的“每年节省数千万美元”来自公开报道与案例估算，统计口径不一，不宜当作精确财务数字。
041989
LeNet-5
卷积网络读手写数字，后来撑起美国邮政与银行的支票识别。视觉 AI 的第一份正经工作。
CNN视觉
1989 / 1998 · 卷积网络 · 模型 04
LeNet-5 CNN 的第一个样板
把卷积、池化和全连接叠在一起，让网络自己从像素里学特征，而不是先手工设计边缘和角点。
- 作者
- 杨立昆等
- 时间
- 1989 雏形，1998 论文
- 参数量
- 约 6 万
- 落地
- 邮编、支票数字识别
为什么重要
它是 CNN 的第一个完整样板，也是深度学习少有的“先落地、后爆发”案例。美国邮政和银行支票识别用它工作了很多年，比 AlexNet 早了十几年。
技术要点
- 局部感受野：每个神经元只看图像的一小块，减少参数并保留空间结构。
- 权重共享：同一个卷积核扫过整张图，平移不变性由此而来。
- 下采样：逐层降低分辨率，最后交给全连接层分类。
局限与争议
数据和算力都太小，难以扩展到复杂视觉任务；1990—2000 年代，SVM 等浅层方法在多数基准上更省事。CNN 要等到 GPU 和大数据集齐备，才真正成为主线。
051997
深蓝
每秒两亿个局面的暴力搜索，3.5:2.5 击败卡斯帕罗夫。它靠的不是学习，是算力与工程。
博弈搜索
1997 · 搜索与工程 · 模型 05
深蓝 Deep Blue
它不学习，只靠专用芯片、评估函数和 α-β 搜索，在六局棋里压过了世界冠军。
- 开发者
- IBM
- 时间
- 1997 年 5 月
- 比分
- 3.5 : 2.5 胜卡斯帕罗夫
- 搜索
- 约每秒 2 亿个局面
为什么重要
它第一次让公众直面“机器在人类智力象征上获胜”。同时它也说明：在规则明确、可穷举评估的窄领域，专用工程可以打败通用智能的想象。
技术要点
- 专用硬件：数百颗 chess 芯片并行生成与评估走法。
- 搜索：α-β 剪枝把巨大的博弈树压到可计算范围。
- 知识：开局库、残局库与大师参与调校的评估函数。
局限与争议
它只懂国际象棋，不能迁移到别的任务；胜利来自搜索深度与工程调优，而不是通用推理。后来的 AlphaGo 走了另一条路：用学习缩小搜索空间。
061997
LSTM
给循环网络装上记忆闸门，长序列终于可学。二十年后，它还在语音与传感器里工作。
序列记忆
1997 · 序列模型 · 模型 06
LSTM Long Short-Term Memory
给循环网络装上“写、读、忘”三道门，让信息可以在很长时间里保留或丢弃。
- 作者
- 霍赫赖特、施密德胡伯
- 时间
- 1997
- 核心
- 门控 + 细胞状态
- 影响
- 语音、手写、机器翻译
为什么重要
它缓解了循环网络的梯度消失问题，让模型能记住几百步之前的信息。此后近二十年，LSTM 是序列建模的默认选择，直到 Transformer 用注意力改写规则。
技术要点
- 三道门：输入门决定写什么，遗忘门决定丢什么，输出门决定读什么。
- 细胞状态：像一条传送带，信息可以几乎无损耗地跨过很多时间步。
- 沿时间反传：训练时把网络按时间展开，再用梯度下降更新。
局限与争议
训练必须按时间步串行，难以并行；超长上下文仍会衰减。NLP 的主流后来转向注意力，但 LSTM 在边缘设备、传感器和实时语音里依然常见。
072012
AlexNet
两块 GPU、八层网络，把 ImageNet 错误率砸到 15.3%。深度学习从这一夜开始被认真对待。
拐点GPU
2012 · 深度学习 · 模型 07
AlexNet ILSVRC 2012
八层网络、两块 GTX 580、ReLU 与 Dropout，在 ImageNet 上把第二名甩开十个百分点。
- 作者
- 克里热夫斯基、苏茨克维、辛顿
- 时间
- 2012
- 参数量
- 约 6000 万
- 成绩
- top-5 错误率 15.3%
为什么重要
它让深度学习从边缘方法变成主线。GPU 训练、大数据、端到端学习三件事第一次同时成立，此后视觉、语音、语言研究迅速改道。
技术要点
- 结构：5 个卷积层加 3 个全连接层，两块 GPU 分担特征图。
- ReLU：比 sigmoid 收敛快得多，缓解深层网络的梯度问题。
- Dropout：随机关掉一部分神经元，抑制过拟合。
局限与争议
参数量大、显存吃紧，需要模型并行；对算力和数据的依赖从此成为门槛。它的胜利也放大了“堆规模就能赢”的叙事，而架构与数据质量同样关键。
082014
GAN
一个网络造假，一个网络鉴别。对抗训练让机器第一次“生成”得像模像样。
生成对抗
2014 · 生成模型 · 模型 08
GAN Generative Adversarial Network
一个网络负责造假，一个网络负责鉴别；两者互相逼着进步，直到假样本骗过判别器。
- 作者
- 伊恩·古德费洛等
- 时间
- 2014
- 结构
- 生成器 + 判别器
- 目标
- 极小极大博弈
为什么重要
它第一次把“生成”变成可训练的对抗过程。图像合成、风格迁移、数据增强、超分辨率都受它启发，也让“AI 生成的内容”成为公共议题。
技术要点
- 生成器：把随机噪声映射成样本，目标是骗过判别器。
- 判别器：判断样本来自真实数据还是生成器。
- 交替训练：两个网络轮流向对方施加压力。
局限与争议
训练不稳定、容易模式坍塌，生成内容也难以精确控制。它同时带来深度伪造与版权问题。后来扩散模型在质量与稳定性上接管了生成主舞台，但对抗训练的思想仍在。
092015
ResNet
152 层残差连接，错误率 3.57%，首次低于人类约 5.1%。“更深”从此有了工程答案。
深度超越人类
2015 · 残差网络 · 模型 09
ResNet Residual Network
残差连接让每一层只学“相对于输入的修正”，极深的网络终于可以稳定训练。
- 作者
- 何恺明等，微软亚洲研究院
- 时间
- 2015
- 深度
- ResNet-152
- 成绩
- ILSVRC 2015 top-5 3.57%
为什么重要
它回答了“网络能不能一直加深”的问题：可以，只要让优化变得容易。残差结构后来进入几乎所有的深度模型，成为现代网络的基本积木。
技术要点
- 恒等捷径：输出等于变换结果加输入，梯度可以沿捷径直接回传。
- 批归一化：稳定每层输入分布，允许更高的学习率。
- Bottleneck：用 1×1 卷积压缩再扩张，控制深层网络的计算量。
局限与争议
它仍是监督学习，依赖大量标注；计算成本高。视觉主干后来被 ViT 等架构分流，但残差连接本身留了下来。
3.57% 是当年 ResNet 集成模型在 ILSVRC 2015 的 top-5 错误率；单模型成绩略高。人类约 5.1% 为常用参考值。
102016
AlphaGo
4:1 击败李世石。第二局第 37 手，职业棋手以为是失误，事后被称为“来自未来的棋”。
强化学习围棋
2016 · 学习与搜索 · 模型 10
AlphaGo DeepMind
策略网络缩小搜索空间，价值网络评估局面，蒙特卡洛树搜索负责推演；三者接在一起。
- 开发者
- DeepMind
- 时间
- 2016 年 3 月
- 比分
- 4 : 1 胜李世石
- 方法
- 策略网络 + 价值网络 + MCTS
为什么重要
围棋的搜索空间大到无法暴力穷举，AlphaGo 证明了“学习 + 搜索”可以处理它。第二局第 37 手落在人类棋谱很少出现的位置，让公众第一次感到：机器的直觉可以不同于人类。
技术要点
- 策略网络：预测下一步该下哪里，优先展开有希望的走法。
- 价值网络：评估当前局面的胜率，减少无谓的深搜。
- 自我对弈：早期用人类棋谱监督学习，之后用强化学习继续提升。
局限与争议
规则明确、可自我对弈的封闭领域最容易成功；真实世界没有这么干净的奖励信号。AlphaGo Zero 后来证明，不用人类棋谱也能从零学会。
112017
Transformer
注意力取代循环，训练可以完全并行。它没有让模型立刻变聪明，却让“做大”变成路线。
架构地基
2017 · 架构 · 模型 11
Transformer Attention Is All You Need
用自注意力取代循环：每个 token 可以直接看向序列里的其他 token，训练按位置并行。
- 作者
- Vaswani 等，Google
- 时间
- 2017
- base 参数量
- 约 6500 万
- 核心
- 多头自注意力
为什么重要
它把“做大模型”从一种奢侈变成可复制的工程路线。GPT、BERT、ViT、AlphaFold 都建立在它之上。它最初只是机器翻译的一个架构，却成了通用底座。
技术要点
- Q / K / V：每个 token 发出查询，与所有键匹配，再按权重聚合值。
- 多头：同时学习多种关注模式，例如语法、指代和位置关系。
- 位置编码：注意力本身无序，需要额外注入顺序信息。
局限与争议
注意力计算随序列长度平方增长，长上下文昂贵。它擅长模式，但不自带事实与世界模型；参数里的知识仍是统计压缩，不是数据库。
122020
GPT-3
1750 亿参数。少样本提示展现出意料之外的能力，规模定律从经验变成信仰。
规模涌现
2020 · 规模 · 模型 12
GPT-3 OpenAI · 175B
1750 亿参数、海量文本上的下一个词预测；最意外的不是知识，而是给几个例子就能做新任务。
- 开发者
- OpenAI
- 时间
- 2020
- 参数
- 1750 亿
- 训练数据
- 约 3000 亿 token
为什么重要
少样本提示把交互从“训练一个专用模型”变成“写一段提示”。规模定律也从论文里的曲线，变成产业下注的理由：参数、数据、算力一起膨胀。
技术要点
- 上下文学习：在提示里给几个例子，模型就能模仿任务格式，无需更新参数。
- 自回归生成：每次预测下一个 token，再把它拼回输入。
- API 化：模型能力第一次以接口形式大规模分发。
局限与争议
它会一本正经地编造；没有检索与工具时，知识停留在训练数据里。推理成本高，上下文窗口有限。Chinchilla 后来提醒：数据规模也要跟上参数规模。
132020
AlphaFold 2
蛋白质结构预测接近实验精度。AI for Science 有了第一个无可争议的里程碑。
科学结构
2020 · AI for Science · 模型 13
AlphaFold 2 DeepMind
从氨基酸序列直接预测蛋白质三维结构，精度接近实验方法，解决了生物学五十年的难题。
- 开发者
- DeepMind
- 时间
- 2020，CASP14
- 成绩
- 中位 GDT 约 92
- 影响
- 2 亿+ 结构公开
为什么重要
它是 AI for Science 的第一个无可争议的里程碑，把“预测结构”变成可以大规模调用的服务。AlphaFold 数据库让大量此前需要多年实验的结构，变成可检索的公共资源。
技术要点
- Evoformer：同时处理多序列比对与结构模板，在残基之间传递几何约束。
- 端到端：从序列直接输出原子坐标，而不是分步拼接。
- 注意力：让每个残基根据进化信息关注相关残基。
局限与争议
静态结构不等于动态过程；蛋白复合物、构象变化、实验验证仍是难题。预测得准也不代表理解了折叠机制。它更像是极强的结构先验，而不是完整的生物学。
142022
ChatGPT
11 月 30 日上线，两个月一亿用户。生成式 AI 从实验室走进客厅。
破圈生成式
2022 · 产品化 · 模型 14
ChatGPT GPT-3.5 + RLHF
同一个基座模型，加一层对话界面和人类偏好训练，就从“API”变成客厅里的产品。
- 开发者
- OpenAI
- 上线
- 2022 年 11 月 30 日
- 基座
- GPT-3.5 + RLHF
- 用户
- 约两个月破亿（估算）
为什么重要
它让生成式 AI 完成破圈。RLHF 把“有用、无害、符合偏好”变成可优化的目标，对话界面则把模型能力翻译成普通人能用的产品。
技术要点
- 指令微调：用“指令—回答”样本教模型回应请求，而不是继续写文本。
- RLHF：人类对回答排序，训练奖励模型，再用强化学习优化策略。
- 流式输出：逐 token 返回，让等待变成阅读。
局限与争议
幻觉、知识截止、安全与版权争议都没有消失；产品体验反而掩盖了模型的不确定性。它擅长“像真的”，不保证“是真的”。
152024
GPT-4o
语音、视觉、文本压进同一个实时循环。与机器对话，第一次不再像在打字。
多模态实时
2024 · 多模态 · 模型 15
GPT-4o omni · 实时多模态
把文本、视觉和语音放进同一个实时循环，对话第一次不再像在打字。
- 开发者
- OpenAI
- 时间
- 2024 年 5 月
- 模态
- 文本、图像、音频
- 特点
- 低延迟实时语音
为什么重要
多模态从“拼接几个模型”走向“一个模型处理多种输入输出”。语音交互的延迟被压到接近真人，机器第一次更像对话者，而不是命令行。
技术要点
- 端到端多模态：文本、图像、音频在同一模型中表示与生成。
- 实时语音：减少“语音转文字—模型—文字转语音”的串联延迟。
- 视觉理解：可以读图、读屏、读手写内容。
局限与争议
闭源、细节不透明；基准饱和后难以比较。幻觉与安全风险仍在，实时语音也带来新的隐私与冒充问题。
162025
DeepSeek-R1
开放权重展示长链推理，把“前沿能力”变成可以下载的公共品。竞赛的规则被改写。
开源推理
2025 · 推理 · 模型 16
DeepSeek-R1 开放权重的推理模型
用强化学习让模型自己长出长链思考，再把权重开放出去；前沿推理能力第一次变成可下载的公共品。
- 开发者
- DeepSeek
- 时间
- 2025 年 1 月
- 权重
- 开放（MIT）
- 特点
- 长链推理与蒸馏小模型
为什么重要
它把“推理模型”的成本曲线拉低，也改变了开源与闭源的竞争叙事。R1-Zero 展示了纯强化学习也能长出推理行为；蒸馏模型则让普通团队也能本地部署。
技术要点
- 冷启动与 RL：先用少量高质量数据稳定格式，再用强化学习优化推理。
- 长链思维：回答前生成较长的中间推理，把算力从训练搬到推理时。
- 开放权重：权重可下载，允许私有化部署与二次训练。
局限与争议
蒸馏模型与原版有差距；推理链的可读性不等于可验证性。训练数据来源、安全对齐与出口管制仍是围绕它的争议点。
常被引用的“约 550 万美元”是 DeepSeek-V3 基座训练成本的口径，不等同于 R1 的全部投入。