赛道上有三个变量：算法决定怎么学，数据决定拿什么学，算力决定能学多快。每一次浪潮，都是这三者同时越过某条门槛的结果。每一次寒冬，则几乎遵循同一个剧本：承诺先到，能力后到，资本撤退，研究者留下。
理解这条赛道，不需要记住每一个模型的名字。只需要看清：谁在解决过去解决不了的问题，成本往哪个方向走，瓶颈卡在谁手里。
01 / ALGORITHM
算法 · 把经验压成参数从逻辑规则到反向传播，再到注意力。每一次架构变化，都是在回答同一个问题：怎样更省地把经验存下来。
02 / DATA
数据 · 世界的采样从 WordNet 的词条到万亿级 token，语料就是新的油田。模型看到什么，就只可能成为什么。
03 / COMPUTE
算力 · 把时间折叠从 CPU 到 GPU 集群，训练一次前沿模型要烧掉一座小城的电。算力不是配角，它是这条赛道的发动机。
“智能，是对符号的操作。
SYMBOLISM · 1956 — 1990s
- 代表
- 逻辑理论家、ELIZA、专家系统
- 擅长
- 规则明确、推理链清晰、可解释
- 死穴
- 常识、歧义、组合爆炸
- 遗产
- 知识表示、搜索、形式化验证
“智能，从大量简单单元的连接中涌现。
CONNECTIONISM · 1943 — 今天
- 代表
- 感知机、CNN、Transformer
- 擅长
- 感知、模式识别、语言、规模化
- 死穴
- 数据与算力、黑箱、幻觉
- 遗产
- 今天几乎所有大模型的地基
“智能，是在与环境交互中学会的。
ACTIONISM · 1948 — 今天
- 代表
- 强化学习、AlphaGo、机器人
- 擅长
- 决策、控制、序列行动、试错
- 死穴
- 样本效率、真实世界的试错成本
- 遗产
- RLHF、智能体的行动框架
三派从未真正分出胜负。今天最强的模型是三者的混血：连接主义的骨架，符号主义的知识，行为主义的训练方式。
两个拐点 · Turning Points
2012 与 2017：看见，然后读懂
两次拐点，一次让机器看见，一次让机器读懂。它们之间隔了五年，却决定了此后十年的所有故事。
感知的突破
AlexNet 把 ImageNet 错误率从 26.2% 拉到 15.3%。关键不在网络有多深，而在两块 GPU 让“更深的网络 + 更多的数据”第一次算得起。
架构的突破
Transformer 用注意力替代循环，训练可以完全并行。它没有让模型立刻变聪明，却让“把模型做大”变成一条可执行的工程路线。
机器看图的八年
ImageNet 冠军模型的 Top-5 错误率，越低越好
数据：ILSVRC 历年公开结果
查看数据表
| 年份 | 冠军模型 | Top-5 错误率 |
|---|---|---|
| 2010 | NEC | 28.2% |
| 2011 | XRCE | 25.8% |
| 2012 | AlexNet | 15.3% |
| 2013 | ZFNet | 11.7% |
| 2014 | GoogLeNet | 6.7% |
| 2015 | ResNet | 3.57% |
| 2016 | 集成模型 | 2.99% |
| 2017 | 集成模型 | 2.25% |
横线为人类估计水平（约 5.1%）。2012 年是曲线的折断点：此前每年进步几个百分点，此后直接换了一个斜率。
把指针移到「它」上，看注意力落在了哪。注意力主要落在 奖杯：太大的是奖杯，不是行李箱。
同一个代词，换一个形容词，指向就变了。注意力主要落在 行李箱：太小的是行李箱。
注意力，让上下文变成一张图
在 Transformer 里，每个词都能直接“看到”序列中的其他所有词，并根据需要分配权重。代词指向谁，不再依赖顺序记忆，而是一次全局的加权查询。
上方的权重是教学示意，不是某个真实模型的内部数值。真实的注意力头有几十上百个，分工也远比这复杂。
技术谱系 · The Family Tree
三条支流，汇成同一条河
符号主义、连接主义、行为主义从未真正消失。它们只是换了名字，最后在同一个模型里握手。
SYMBOLISM
符号主义
智能是对符号的操作。
CONNECTIONISM
连接主义
智能从大量连接的涌现中来。
ACTIONISM
行为主义
智能是在环境里试错学会的。
拆解 · Inside a Token
一次回答，六步
当你在对话框里按下回车，模型做的不是“查资料”，而是反复预测下一个 token。
01 · 分词
文本被切成 token。中文可能一个字或半个词，英文可能是一个词根。模型看到的是整数 ID，不是文字。
02 · 嵌入
每个 token 变成一个高维向量。语义相近的词，向量距离更近；“国王 − 男人 + 女人 ≈ 女王”就是这一步的经典演示。
03 · 注意力
每个 token 向序列中的其他 token 发起查询，决定该看谁、看多重。代词指向谁，在这里被计算出来。
04 · 前馈网络
注意力负责“混合信息”，前馈层负责“逐位置变换”。几十层堆叠，特征被反复重组。
05 · 输出概率
最后一层给出词表上每个 token 的分数，softmax 变成概率。温度参数决定采样更保守还是更发散。
06 · 循环
选出一个 token，拼回序列，再预测下一个。所谓“生成”，就是把这个循环重复几百上千次。
这套流程解释了很多现象：为什么模型会“一本正经地胡说”（它在预测像真的文本，不是在检索事实）；为什么上下文窗口重要（它能看到的 token 有限）；为什么推理成本随输出长度上升（每个新 token 都要再跑一遍）。
也解释了为什么“更大的上下文”不等于“更好的记忆”。上下文是工作记忆，模型不会因为你放进一份文档就真正学会它；它只在这一次生成里参考它。
工程 · The Stack
从 Transformer 到可用产品
架构只是地基。真正把基座模型变成助手的，是后面这六道工序。
预训练
在万亿级 token 上做下一个词预测。模型学到语法、事实、风格与推理的雏形，但还不会听指令。
缩放定律
参数、数据、算力同时增加，损失会以可预测的方式下降。Chinchilla 给出经验比：每个参数约配 20 个 token。
指令微调
用“指令—回答”样本教模型听懂任务。它从“续写文本”变成“回应请求”。
RLHF
人类对回答排序，训练奖励模型，再用强化学习优化策略。模型学会更有用、更少有害、更符合偏好。
混合专家
把前馈层拆成多个专家，每个 token 只激活少数几个。总参数很大，单次计算量却可控。DeepSeek-V3 是 671B 总参数、37B 激活。
推理与智能体
让模型在回答前花更多算力思考，或调用工具、分解任务、检查结果。竞争焦点从“会说”转向“会做”。
祛魅 · Three Myths
三个常见误解
“参数越大越聪明”
参数只是容量。数据质量、训练配比、架构效率、后训练方法，都会显著改变能力。一个训练良好的中等模型，可能胜过一个训练粗糙的巨模型。
“模型知道事实”
模型学习的是文本的统计结构，不是结构化数据库。它可以把事实压缩进参数，也可以在不确定时编出一个流畅的答案。检索与工具调用，正是为了补这个洞。
“上下文就是记忆”
上下文窗口是这一次对话的工作台。对话结束，它不会自动变成长期记忆。真正的持续学习，仍然是未解的问题。