深蓝击败卡斯帕罗夫：搜索与算力先到达终点。
Watson 赢下《危险边缘》：检索、知识库与语言理解。
AlphaGo 4:1 李世石：策略网络与树搜索，直觉被计算。
AlphaFold 2 接近实验精度：几何深度学习进入科学。
大模型通过代码面试：预训练、工具调用与长上下文。
推理模型在数学与科学题上跃迁：用更长的思考换正确率。
智能体开始连续操作软件：工具、记忆、计划与纠错。
MMLU：从不及格到接近专家
大规模多任务语言理解，5-shot 准确率，越高越好
数据：MMLU 论文与各模型公开技术报告
查看数据表
| 模型 / 基准 | 年份 | MMLU 准确率 |
|---|---|---|
| GPT-3 | 2020 | 43.9% |
| GPT-4 | 2023 | 86.4% |
| Llama 3 405B | 2024 | 88.6% |
| 人类专家（估计） | — | 89.8% |
MMLU 已接近饱和。新的前沿转向 GPQA、SWE-bench、ARC-AGI 这类更难的基准，而它们同样在被快速攻克。
六堵还在的墙
幻觉
模型优化的是“下一个词”，不是“事实”。越流畅，越容易骗过自己。
版权
训练语料来自整个人类文本，收益与补偿机制还没有建立。
能耗
推理规模越大，电表转得越快；算力集中也意味着能源集中。
就业
被替代的不是“工作”，而是任务；重组速度可能快过再培训。
对齐
模型会说它理解规则，但这不等于它会遵守规则。
权力集中
前沿训练的高门槛，可能把“智能”变成少数公司的基础设施。
三条监管路径
冷知识 · 细节里的历史
达特茅斯会议原计划开 8 周，实际参与者只有十来人。
“人工智能”这个词，直到 1956 年才被正式命名。
第一次 AI 寒冬，由一份英国报告点燃。
AlexNet 的训练只用了两块 GTX 580。
AlphaGo 第 37 手，被李世石称为“不属于人类的棋”。
ChatGPT 上线 5 天，用户破百万。
GPT-4 的参数量，至今没有公开。
DeepSeek-R1 发布后，英伟达单日市值蒸发约 5890 亿美元。
度量 · Benchmark Inflation
基准也会通货膨胀
当一个指标被当成目标，它就不再是一个好指标。基准的历史，就是不断饱和、不断换新的历史。
基准本来是代理指标：我们无法直接测量“智能”，于是测量错误率、准确率、通过率。问题在于，一旦整个行业围绕某个基准优化，分数就会脱离它原本代表的能力。
数据污染是最直接的问题。测试题可能出现在训练语料里，模型不是“学会了”，而是“见过了”。饱和是第二个问题：当所有前沿模型都在 88% 到 90% 之间，分数差异可能只是噪声，却仍然被当成排名。
于是行业不断发明更难的基准：从 ImageNet 到 MMLU，从 GPQA 到 SWE-bench，再到 ARC-AGI。每一个新基准都会经历同样的周期：先是少数模型挣扎，然后快速上升，最后接近饱和。真正有价值的，不是某个分数，而是失败案例的分布。
工具 · Launch Checklist
看发布会时，问这六个问题
不是要否定进步，而是把“演示”还原成可比较的证据。
01 · 哪个基准，哪个版本？
同名基准可能有不同版本、不同提示、不同采样设置。没有这些信息，分数无法比较。
02 · 基线是谁？
是和上一代模型比，还是和人类专家比？基线换了，结论可能完全相反。
03 · 测试集干净吗？
训练数据是否包含测试题？是否有去重与污染检查？这是最难验证、也最关键的一项。
04 · 失败率是多少？
一个 90% 成功的 demo，在真实工作流里可能意味着每十次就有一次需要人工兜底。失败如何被发现、如何恢复？
05 · 成本、延迟、稳定性如何？
能力相同，成本高十倍、延迟高五倍，产品体验就完全不同。推理成本与可用性是能力的一部分。
06 · 什么没有被展示？
发布会展示的是最好的一面。真正的问题往往在长尾、边界情况、异常输入和多轮任务里。