汽车行业点评报告：AI系列深度06期：Transformer如何从序列任务走向基座模型？

新一代人工智能正在把更会记长序列、更能并行计算的模型当成通用底座，就像把零散的记忆卡片换成一张能同时看清前后所有线索的大地图，老办法靠压缩记忆省力气但容易漏掉远距离关联。RNN像一条必须挨个翻页的笔记，只能一步一步推理，难以把很久之前的内容完整保留；Transformer则让所有信息彼此直接对话，训练更快、更容易把长距离关系串起来。GPT、BERT等大模型基本都采用这种结构，因为它撑得起更大规模的数据和算力扩张。代价是序列越长，计算量涨得飞快，超长上下文的成本明显偏高，因此推理成本恒定但记忆受限的老方法并未完全消失。长文本、低功耗和快速反应的场景里，状态空间模型、线性注意力等新思路开始回归并补位，更多时候是与Transformer混用，在关键回忆和计算效率之间做折中。纯数字世界的模型能力边界已经比较确定，却很难独自完成对真实物理世界的闭环理解与执行。物理世界的AI正在成为更大的增量，而智能驾驶因为能较早形成感知、决策到执行的完整闭环，是最值得关注的方向。

RNN与Transformer构成序列建模的两代核心架构，前者以定长隐藏状态和串行推理实现相对恒定的推理成本，却受限于训练并行度与长程依赖衰减；后者通过自注意力、位置编码与多头机制实现训练并行与短路径长程依赖，奠定GPT、BERT及后续LLM、VLM、VLA等通用基础模型的架构底座。两者在记忆容量、计算模式与长程建模上形成权衡：RNN牺牲记忆容量与并行性换取稳定推理成本，Transformer以全量缓存与平方级注意力计算换取更强表达与扩展性，由此引发Mamba、RWKV、线性注意力与混合架构对超长上下文效率约束的再平衡。2023年以来，状态空间模型与选择性状态更新在长上下文、端侧低功耗与低时延场景中体现补充价值，混合路径以少量注意力层保留精确回忆、多数高效层降低计算成本。Transformer仍主导通用基础模型主线，循环类方法更多作为约束场景的重要补充。数字AI底座模型发展路径趋于清晰且具备确定性，但物理世界建模闭环仍难由纯数字模型完成。物理AI有望成为打通真实世界感知—决策—执行闭环的增量方向，智能驾驶作为率先跑通闭环的代表性场景具备更高关注价值。