引言

机器人领域期刊

工程机械领域期刊

自动化与控制系统领域期刊

0.1 VLA 与具身智能的基本概念

0.1.1 具身智能（Embodied Intelligence）的定义与核心问题

0.1.1.1 具身智能的基本定义

从直观上看，“具身智能”就是有身体的智能： 智能体不再只是云端的一段代码，而是附着在某种物理载体上——机械臂、轮式底盘、四足机器人、无人机、甚至未来的类人机器人——通过传感器感知环境，再通过执行器对环境施加影响。(MDPI)

比起纯软件 AI，具身智能至少多了三个关键要素：

• 物理身体（Body）：带有质量、尺寸、关节、摩擦和磨损的实体，而不是抽象的“向量空间”。
• 传感器（Sensing）：摄像头、深度相机、IMU、力/力矩传感器、激光雷达、触觉皮肤等，用来把物理世界转成数据流。
• 执行器（Actuation）：电机、关节驱动器、轮子、喷气系统等，将决策转换成真实的力和运动。

一个具身智能体（embodied agent）通常被定义为：

具有物理形态，能够通过传感器感知环境，通过执行器对环境施加作用，并通过这种闭环交互产生、学习和体现智能行为的系统。(MDPI)

在本书中，“具身智能”主要指机器人具身智能：我们关注的不是抽象哲学讨论，而是如何让具体机器人——机械臂、移动平台、类人机器人——在现实世界里完成各种任务。

图 1-1（占位）：具身智能基本构成示意 建议绘制一个方框图：中间是“智能体”，内部有“感知模块”“决策模块”“控制模块”；左侧箭头为来自环境的传感器输入（图像、力觉等），右侧箭头为输出到环境的动作（关节力矩、末端轨迹等），整体构成一个闭环。

0.1.1.2 核心问题：感知–认知–行动的闭环

具身智能最核心的，不是“用了什么模型”，而是感知–认知–行动（Perception–Cognition–Action）的闭环如何建立和运行。

1. 感知（Perception）
   • 将环境中的光、声、力等物理信号，转换成离散的数字观测：图像、点云、关节编码器读数等。
   • 还需要做状态估计：例如从多帧图像中估计物体的 3D 姿态、机器人自身的位姿等。
2. 认知 / 决策（Cognition / Decision-making）
   • 在高层上理解“现在发生了什么”、“我在哪里”、“目标是什么”、“可能会发生什么”。
   • 典型会涉及任务理解（来自语言指令）、场景语义理解、路径与动作规划、风险评估等。
3. 行动 / 控制（Action / Control）
   • 将高层决策转化成低层可执行的控制命令：关节目标位置、速度、力矩，或者末端位姿增量等。
   • 同时要满足物理约束：电机极限、加速度上限、避免碰撞和自碰等。

关键在于，这是一个实时在线的闭环过程：机器人一边动作，一边观测新的环境状态，并不断根据反馈调整策略。闭环带来几类核心挑战：

• 实时性：感知、决策、控制的整体时延必须足够小，才能防止“看到的是刚刚的世界，操作的是此刻的机器”。
• 适应性：世界在不断变化，物体位置会变化、光照会变化、地面可能不平整，策略必须能适应分布偏移。
• 安全性：误判和延迟直接对应物理风险——撞到人、打翻物体、损坏设备——安全约束必须成为一等公民，而不是事后补丁。

图 1-2（占位）：感知–认知–行动闭环流程图 建议以时间轴画出：感知模块从环境读取信息 → 认知模块产生决策 → 控制模块输出动作 → 环境状态改变 → 再次感知，如同一个循环控制系统。

在纯软件 AI 中，模型错误最多导致“答错题”；在具身智能中，同样的错误会变成“砸到人”。这也是为什么具身智能研究必须同时考虑智能性与工程可控性。

0.1.1.3 具身智能的典型实例

为了让概念不那么抽象，这里列举几个日常能见到或正在快速出现的具身智能系统：

1. 自主移动机器人
   • 仓储物流中的 AGV / AMR（自动引导车 / 自主移动机器人），需要在复杂仓库内自主导航、避障、搬运货物。
   • 外卖配送机器人、无人配送车，需要在室外环境中应对行人、车辆和路况变化。
2. 家庭服务机器人
   • 扫地机器人是最早大规模商业化的具身智能产品之一：通过简单传感器和策略完成地面覆盖、避障和回充。
   • 新一代“家庭助手”机器人（如具备机械臂和视觉系统的家务机器人）正在尝试完成叠衣服、收拾桌面、做简单烹饪等任务。(卫报)
3. 工业协作机器人（Cobot）
   • 在制造业中与人协作的机械臂，需要在安全约束下完成装配、搬运等任务，同时感知人的位置与意图。
4. 自动驾驶与无人机
   • 自动驾驶车辆通过多种传感器感知道路环境，在速度、转向和制动之间做出实时决策。
   • 无人机在城市或灾害场景中执行巡检、救援任务，对风场、障碍物和通信质量都有感知与适应需求。

这些系统的共同点是：

必须把“看懂世界”和“在世界中行动”结合起来。

本书在后续章节会从数学基础、机器学习到 VLA 架构，逐步展开“如何让这些具身系统更聪明、更通用”的技术路径。

0.1.2 从 CV / NLP 到 VLM，再到 VLA 的发展脉络

具身智能的崛起，并不是凭空出现，而是建立在过去十多年 CV（计算机视觉）、NLP（自然语言处理） 和 多模态学习 的连续突破之上。

0.1.2.1 CV（计算机视觉）的演进：从特征工程到深度视觉

在深度学习普及之前，视觉主要依赖手工特征（如 SIFT、HOG） + 传统分类器（如 SVM、随机森林）来完成图像识别和检测。

2012 年，AlexNet 在 ImageNet 图像分类竞赛上以巨大优势夺冠，被普遍认为是深度学习在视觉领域的“分水岭事件”：它证明了在大规模数据和 GPU 支持下，多层卷积网络可以远远超越传统方法。(维基百科)

此后几十个经典视觉任务迅速被深度网络主导：

• 图像分类：ResNet、DenseNet 等结构极大提升了识别精度。
• 目标检测：R-CNN 系列、YOLO 等方法能在自然场景中定位并分类多个物体。
• 图像分割：U-Net、Mask R-CNN 等结构让像素级理解成为现实。

再往后，视觉 Transformer（ViT）等架构开始出现，将 Transformer 引入图像领域，用全局自注意力替代或补充卷积。本书第 3 章会更系统地介绍这些视觉表示，但在这里需要记住一件事：

现代机器人视觉基本都站在深度视觉的肩膀上。

没有这波视觉革命，就没有今天 VLM 和 VLA 的数据基础与网络骨干。

0.1.2.2 NLP（自然语言处理）的演进：从统计到大语言模型

NLP 的发展路径与视觉类似，也经历了从“手工 + 统计”到“神经网络 + 大模型”的演变：

1. 统计时代
   • 以 n-gram 语言模型、HMM、CRF 和统计机器翻译为代表，主要依靠共现统计和概率图模型。
   • 这一阶段的模型难以捕捉长距离依赖，对上下文理解有限。
2. 神经网络时代
   • 词向量（word2vec、GloVe）将离散单词映射到连续向量空间，为神经网络建模语言准备了输入表示。
   • RNN / LSTM / GRU 等序列模型开始用于机器翻译、语言建模和问答。
3. Transformer 与大语言模型时代
   • 2017 年提出的 Transformer 架构完全基于自注意力机制，抛弃了循环结构，实现了更高并行度和更长程依赖建模能力。(arXiv)
   • 随着算力和数据规模的扩张，BERT、GPT 等大规模预训练语言模型出现；GPT-3 等模型以数百亿到千亿参数规模，在多种语言任务上展现出强大的生成与推理能力。(aryaxai.com)
   • 2022 年开始，ChatGPT 等对话式系统的出现，让公众第一次直观感受到“语言模型几乎可以扮演一个通用文本助手”。(HatchWorks AI)

对机器人来说，这意味着：

我们第一次拥有能够“理解人类复杂指令、推理意图并生成多步计划”的通用语言模块。

这也为后续“用自然语言给机器人下任务”奠定了基础。

0.1.2.3 VLM（视觉–语言模型）的兴起：跨模态对齐的第一步

有了强大的视觉和语言模型，下一步自然问题是：能不能让模型同时理解图像和文本？

视觉–语言模型（VLM）正是回答这一问题的代表。以 CLIP 为例：(维基百科)

• 使用双编码器结构：一个图像编码器（通常是 CNN/ViT），一个文本编码器（通常是 Transformer）。
• 在海量图文对（image–text pairs）上进行对比学习：
  • 让配对的图像–文本向量在特征空间中更接近；
  • 让不匹配的图像–文本向量更远。
• 训练完成后，可以实现：
  • 图文检索（以文找图、以图找文）；
  • 零样本分类（用文字描述类别，无需额外标注即可做图像分类）；
  • 图像内容粗粒度描述等。

其他 VLM（如 Flamingo、PaLI-X、BLIP 系列等）进一步加入生成能力和更复杂的跨模态推理，但共同点是：

VLM 让模型第一次在“屏幕世界”中同时理解图像和文本。

然而 VLM 主要还是“看图说话”或“用文字回答关于图像的问题”，它们不直接输出物理世界中的动作。在机器人语境中，这种能力更适合作为“理解任务和场景的上层模块”。

图 1-3（占位）：从 CV / NLP → VLM → VLA 的演进谱系 建议画一条时间箭头：左边是单模态 CV / NLP，中间是 VLM（图像 + 文本对齐），右边是 VLA（图像 + 文本 + 动作轨迹），以示范模态的逐步扩张。

0.1.2.4 VLA（视觉–语言–动作）的出现：走向物理世界的关键一步

VLM 解决了“看图 + 理解语言”的问题，但还缺少一个关键环节：如何把这种理解转化为机器人动作？

这正是 VLA（Vision–Language–Action）模型的出发点。根据近年的综述与定义，VLA 通常指：(维基百科)

输入：视觉观测（单帧图像或视频） + 语言指令 输出：可以直接在机器人上执行的低层动作（如末端 6-DoF 运动 + 手爪开合），通常以离散化的动作 token 或连续控制向量形式表示。

典型的 VLA 架构一般分两步：

1. 视觉–语言编码
   • 复用一个预训练的 VLM 或多模态大模型，将图像和指令编码到统一的隐空间中。
2. 动作解码
   • 在大量“（图像，指令，动作轨迹）”三元组示教数据上进行微调，学习从隐空间表示到具体机器人动作序列的映射。

Google DeepMind 的 RT-2 被广泛认为是确立 VLA 概念的重要工作之一：它在大规模互联网图文预训练基础上，利用真实机器人示教数据微调，使机器人具备“把网页学来的知识迁移到现实操作”的初步能力，例如理解“扔垃圾”“收拾桌面”等语义指令。(arXiv)

此后，包括 Octo、OpenVLA、Gemini Robotics 等在内的一系列 VLA 模型陆续提出，支持更多机器人平台、更复杂任务以及更高频实时控制。(arXiv)

从研究路线看：

• CV / NLP：在各自模态里学会“看得懂 / 听得懂”。
• VLM：在屏幕世界中学会“把看到的”和“说出来的”对齐。
• VLA：在物理世界中学会“在理解之上行动”。

本书第 8 章会从架构角度系统展开 VLA 的设计，这里把它放在历史脉络中，作为一个过渡和总览。

0.1.3 VLA 在通用机器人与通用智能中的角色定位

有了 VLA 这个概念，还需要思考：它在更大版图中的位置是什么？ 也就是：VLA 对“通用机器人”和“通用人工智能（AGI）”意味着什么？

0.1.3.1 通用机器人的愿景：从专用工具到通用助手

传统工业机器人通常是“专用工具”：

• 工作空间固定（如生产线某一工位）。
• 任务高度确定（重复装配、焊接、搬运）。
• 编程方式偏底层（示教器逐点示教、手工编程轨迹）。

而所谓“通用机器人”（general-purpose robot）的愿景是：

• 任务多样：能在不同环境下完成清理、搬运、整理、协作等多种任务。
• 指令自然：人类用日常语言描述目标，而不是写程序或给出复杂坐标。
• 适应变化：面对新物体、新布局、新任务组合时，依然能凭借已有知识和少量演示快速适应。(arXiv)

在这样的系统中，VLA 模型被视作机器人的“通用大脑候选”：

• 通过视觉–语言–动作统一建模，从原始摄像头图像、自然语言指令直接生成低层控制命令。
• 同一模型可以在多个机器人平台和任务上共享，只需要对输入输出做适配。

当然，现实系统中 VLA 往往不会“单独统治一切”，而是与传统导航、运动规划、安全控制模块共同工作——这部分将在第 10 章详细展开。

0.1.3.2 VLA 模型的作用：把“人类友好指令”转成“机器人可执行行动”

从系统架构上看，VLA 模型扮演的是**“从语义到控制”的桥梁**角色：

1. 在输入侧
   • 语言侧：接收用户的自然语言描述，例如“把桌上的五本书按大小从左到右排好”。
   • 视觉侧：接收当前场景的相机图像或视频，理解桌子、书本的位置、姿态、遮挡等信息。
2. 在内部表示侧
   • 将“文本目标”和“视觉场景”映射到统一隐空间，形成对“当前状态 + 目标”的综合理解。
   • 这种表示既包含语义抽象（例如“按大小排序”），也包含几何约束（书本的位置、可抓取区域）。(维基百科)
3. 在输出侧
   • 生成连续时间下的一系列动作：接近目标书本、调整姿态、闭合手爪、移动到目标位置、松开等。
   • 在更高层，可以输出子任务序列或动作原语，由下层控制器进一步实现。

相比传统“人写规则 + 手工调参”的机器人系统，VLA 带来的变化主要有三点：

• 指令接口更自然：用户不用会编程，只需像与人类助手沟通一样给任务。
• 任务泛化能力更强：通过在多任务、多场景数据上的统一训练，模型有机会学习到跨任务共性的技能。(arXiv)
• 与大语言模型深度结合：可以直接利用 LLM 的规划和推理能力，生成步骤，再由 VLA 承接落地为动作（本书第 4、8 章会详细展开这种接口）。

0.1.3.3 里程碑意义：VLA 作为通往 AGI 的实践路径之一

“通用人工智能（AGI）”是一个仍然带有争议的概念，但有一个共识正在形成：

如果一种智能从来不与现实世界交互，只在文本或比特空间中“自言自语”，那么它的能力终究是受限的。

具身智能和 VLA 提供了一条**“从虚拟走向物理”的实践路径**：

1. 在物理世界中检验理解与推理
   • 语言模型在对话中会出现幻觉，但当它驱动机器人执行任务时，错误会有非常具体的表现（抓错物体、路径碰撞等），这迫使我们设计更严谨的评测和训练范式。(arXiv)
2. 让模型在长时间、长尺度上积累经验
   • 通用机器人需要在长期部署中持续适应环境变化，这与 AGI 中“终身学习、持续学习”的目标高度一致。
   • 新一代 VLA 研究已开始引入世界模型、长序列记忆等模块，尝试让机器人能在内部模拟未来并规划行动。(arXiv)
3. 统一多模态、多机器人、多任务的基础模型
   • 最新的 VLA 系统（如 Gemini Robotics、Helix 等）强调一个模型可以驱动多种机器人形态（机械臂、双臂、类人等），并执行多种任务，向“具身基础模型”方向演进。(Reuters)

从这个角度看，VLA 的意义远不只是“让机器人更好用”：

• 对机器人学，它是通向“通用机器人助手”的关键一环；
• 对人工智能整体，它是把大模型能力从虚拟世界映射到物理世界的桥梁，为讨论“真正有用的 AGI”提供了具体实验平台。

图 1-4（占位）：VLA 在“AGI 版图”中的位置示意图 建议画一个同心圆或多层结构：最内层为“感知–控制”，外层为“多模态大模型”，再外一层为“具身基础模型 / VLA”，最外层为“AGI 应用场景”，展示 VLA 处于“多模态智能”和“物理世界”交汇处。

小结与后续衔接

在本节中，我们完成了三件事：

1. 给出了具身智能的工作定义，并强调了感知–认知–行动闭环和安全约束。
2. 从历史脉络梳理了从 CV / NLP → VLM → VLA 的技术演进。
3. 讨论了 VLA 在通用机器人和 AGI 中的角色，把它放在更大的技术版图中定位。

0.2 研究生阶段需要具备的能力画像

0.2.1 “能读懂论文”的能力：理论、公式与实验理解

在具身智能/VLA 领域，读论文的最终目标不是“看完”，而是能做到三件事： 1）判断这篇工作值不值得你投入时间； 2）真正搞懂它的理论与实现； 3）知道该如何在自己的系统里使用、改造甚至超越它。

很多计算机科学教育都推荐类似的“多遍阅读法”，例如 Keshav 提出的“三遍读论文”方法：第一遍抓大意，第二遍扣细节，第三遍才考虑完全复现与质疑。(ACM Digital Library) 下面三个小节，分别从理论、公式和实验三个维度，把“能读懂论文”变成一套可训练的具体能力。

0.2.1.1 理论基础

“理论基础”在这里不只是指你上过哪些课，而是：你能否把论文中的新概念，准确地挂在自己已有的知识框架上。

一个典型的具身智能/VLA 论文，往往同时包含：

• 深度学习表征（视觉 backbone、Transformer 等）
• 强化学习/模仿学习或决策理论
• 控制与机器人学（运动学、动力学、控制结构）
• 少量概率与优化理论（损失函数、收敛性说明等）

对应的“能读懂”，至少包括以下几个层次：

1. 识别“这是哪一类方法”。 读方法部分时，先粗暴分类：
   • 这是 RL/IL 为主的策略学习，还是纯行为克隆？
   • 视觉部分是 CNN、ViT 还是直接用预训练 CLIP/VLM？
   • 动作是在关节空间优化，还是末端空间规划？ 这些大类标签可以帮你快速把论文挂到自己脑中的“地图”上，知道该召回哪一块理论。
2. 找出论文依赖的“旧理论”与“新假设”。 每篇论文都有“建在谁的肩膀上”和“自己新加的一小块砖”，
   • 旧理论：如 Bellman 方程、策略梯度、Transformer、自注意力、阻抗控制等，后文会在对应章节系统展开。
   • 新假设：例如“视觉编码器已经有足够语义能力”“仿真环境与现实差距可以通过域随机化弥补”等。 读方法时要刻意标注：哪些是教科书级别的东西，哪些是作者自己特有的设定。
3. 在脑中重画“模块框图”。 对具身智能论文，最实用的做法是自己画一个简化版框图：
   • 输入：多帧图像 + 语言指令 + 机器人状态；
   • 中间：视觉编码、语言编码、融合模块、策略 head；
   • 输出：动作表示（轨迹、关节增量、动作 token 等）。 这一步大幅降低你对符号和细节的恐惧感，帮助你把复杂理论收束成几个可理解的模块。

【图片占位】 图 1-2-1：典型 VLA 论文整体结构示意图 输入模态、模型模块、训练目标、输出动作，用方框图体现，并标出理论依赖（RL / IL / 控制 / 表征学习）。

4. 用“你自己的话”复述论文的核心思想。 读完方法部分后，尝试用 2–3 句话，向一个“只懂基础 ML，不懂机器人”的同学解释这篇论文在做什么。这是检验你理论理解是否到位的最好自测。

0.2.1.2 公式推演理解

许多同学看到密密麻麻的公式会条件反射：“这我不行”。实际上，绝大多数机器人学习与 VLA 论文中的公式，都可以归结为几类“常见套路”：

• “期望 + 损失”型公式：例如行为克隆、策略梯度、多模态对比学习等。
• “贝尔曼方程”型递推公式：在强化学习与世界模型中频繁出现。
• “几何与坐标变换”型公式：在相机标定、手眼标定、运动学里用到。

“能读懂公式”，不等于能完整重做所有推导，而是至少要做到：

1. 逐个符号对齐语义。 建议自己养成习惯：
   • 打印论文或在平板上阅读时，把所有出现的符号单独列一张表：$ s, a, o, x, z, \theta, \phi, \pi, f, g,\dots $
   • 标注其物理或语义含义（例如：$ s $ 是机器人 + 环境状态，$ o $ 是观测，$ a $ 是动作，$ \theta $ 是策略参数）。 许多困惑来自于“同一个字母在不同论文里代表不同概念”，你要主动做 disambiguation。
2. 做“维度检查”和极端情形检查。 当你看到类似

$$ \mathcal{L}(\theta) = \mathbb{E}{(o,a)\sim \mathcal{D}}[-\log \pi\theta(a|o)] $$

快速检查： - $ \mathcal{L} $ 是标量； - 期望外面是损失，内部是对数概率； - 特殊情况：如果只有单步动作，这就退化为普通分类交叉熵。 通过极端/退化情形帮助你把公式和熟悉的机器学习形态对齐。

3. 只在关键一步上“重推”公式。 真正值得你亲手推导的往往是那些和算法结构直接对应的公式，比如：

   • 策略梯度的推导如何引出“log π × 回报”的形式；
   • 对比学习损失如何引出相似度的 softmax；
   • 世界模型中 ELBO（证据下界）如何对应到重建和 KL 散度两项。 这些推导是后续你修改损失函数、做 variant 时的基础。

4. 在代码里“找回”公式。 很多论文里的公式，在开源实现中通常会直接变成几行 PyTorch 代码。 通过比对代码与公式：

   • 你可以验证自己是否读对了符号；
   • 也会发现一些作者没有在论文中写清楚的 trick（如归一化、clip、mask）。 这种“从公式回到实现”的能力，对之后复现与做新工作非常重要。

【图片占位】 图 1-2-2：从论文公式到代码实现的对照示意图 左边为损失函数数学表达式，右边为对应的伪代码 / PyTorch 代码片段，用箭头将对应项连线。

0.2.1.3 实验解析

在机器学习与机器人领域，实验不是“装饰”，而是论证正确性的主体。近几年顶会也越来越强调可复现性和实验规范，例如 JMLR 等期刊对 ML 研究的复现性提出了系统建议，涉及代码、数据、随机性控制等方面。(机器学习研究期刊)

你在读实验时，至少要具备以下几个能力：

1. 读懂实验设置：任务、环境与基准。 具身智能论文的实验通常包括：
   • 仿真环境（例如 Mujoco、Isaac Gym）中的操作任务；
   • 真实机器人平台（机械臂型号、末端执行器、相机布局等）；
   • 标准基准任务或自建任务（如抓取成功率、开门、收纳等）。 你要能回答：“作者到底在什么条件下测试了什么能力？”
2. 理解评价指标与统计意义。
   • 在操作任务中，最常见的指标是成功率（%）、平均完成时间、路径长度等；
   • 还会看到标准差、置信区间或箱线图，表示多次试验的波动性。 你需要关注：
   • 差异是 5% 还是 30%？
   • 是否有足够的重复次数支撑这个差异？
   • 是否只在一两个特定场景好看，而在更难场景无优势？
3. 学会阅读消融实验（ablation study）。 消融实验是理解论文“真贡献”的关键：
   • 比如：“没有语言条件”“没有历史轨迹”“不用预训练视觉”时性能下降多少？
   • 哪个模块/损失/训练阶段对结果最关键？ 读消融实验时，可以逆向思考：如果你删掉这个模块，系统会怎样退化？ 这会帮助你在未来复现时决定“哪些可以简化，哪些必须保留”。
4. 关注复现条件与实验细节。 近年的复现性研究指出，即便有代码和数据，能否复现结果仍高度依赖环境、超参数与随机性控制等。(arXiv) 阅读实验部分时，建议刻意寻找：
   • 是否公开了代码和模型？
   • 是否说明了关键超参数（学习率、batch size、训练步数）；
   • 是否陈述了硬件配置和训练时间；
   • 是否提到种子、不同随机初始化下的稳定性。
5. 用“是否值得复现”来检验理解程度。 读完一篇论文的实验部分，你可以给自己几个问题：
   • 我能画出一个简化版的实验流程图吗？
   • 如果让我做第一次复现，我知道从哪开始（仿真/真实平台/哪个任务）吗？
   • 有哪些细节我还不确定，需要翻代码或附录确认？

【图片占位】 图 1-2-3：具身智能论文实验结构示意图 展示环境设置、数据采集、训练、评估指标、可视化结果等模块之间的关系。

0.2.2 “能复现系统”的能力：代码阅读、调试与工程落地

在具身智能/VLA 方向，“只看懂论文不写一行代码”的价值非常有限。你真正能站稳脚跟的标志，是可以根据论文与开源资源，把一个系统在自己的环境中跑起来，并根据需要进行修改和调优。这既是科研能力，也是工程能力。

近年来，ML 社区围绕“可复现性”（reproducibility）形成了越来越细致的标准，包括代码公开、依赖管理、实验脚本与数据版本化等。(机器学习研究期刊) 本小节不讲具体语言语法，而是谈“编程功底”“代码阅读”“工程实践”三个层次的能力画像。

0.2.2.1 编程功底

在本书涉及的方向，你至少需要具备以下层面的编程能力：

1. 工具链熟练度，而非“背 API”。
   • Python（用于深度学习、数据处理、脚本）；
   • 至少了解一种深度学习框架（PyTorch/TensorFlow，以 PyTorch 为主）；
   • 基本 Linux 命令、Shell 脚本、git 版本控制。 “熟练”的含义是：你看到陌生项目时，能通过查官方文档和搜索，在合理时间内完成环境搭建与小修改，而不是全部记住函数签名。
2. 理解“从数据到模型”的最小 pipeline。 理想状态：你能从零写出一个小型项目，包括：
   • 数据加载（Dataset/DataLoader）；
   • 模型定义（一个包含前向传播的类）；
   • 训练循环（前向、计算 loss、backward、optimizer.step）；
   • 日志与模型保存。 本书后续关于深度学习与 RL 的章节会反复使用类似的结构，这里你只需意识到：有能力写出这样一个最小 pipeline，是复现任何论文的起点。
3. 基本的调试意识。
   • 能使用断点、打印张量维度和统计信息；
   • 遇到 NaN、显存溢出、梯度为 0 或爆炸时，知道从哪些方向排查；
   • 知道如何简化问题（先在更小的数据/更简单的模型上跑通）。

0.2.2.2 代码阅读

现实情况是：越来越多的机器人与 VLA 论文会提供 GitHub 仓库，仓库中的 README 和脚本组织，对复现至关重要。(Medium)

“能读懂代码”，至少包括：

1. 先读文档和 README，而不是直接打开源码。 一个规范的 ML 项目 README 通常会包含：(Medium)
   • 依赖与环境（Python 版本、依赖库、CUDA 等）；
   • 数据准备方式（数据下载脚本、预处理脚本）；
   • 训练与评估命令；
   • 预训练模型权重位置以及预期结果。 你应该从这里倒推出整套 pipeline，再去对应地找脚本与模块文件。
2. 识别“主干脚本”和“关键模块”。 在一个典型的项目中：
   • train.py / main.py：训练主流程；
   • model/ 或 networks/：模型结构定义；
   • data/ 或 datasets/：数据加载相关；
   • configs/ 或 YAML 文件：实验配置；
   • scripts/：批量运行或复现实验的脚本。 你的目标是先弄清“执行顺序”和“数据流向”，而不是一开始就试图看懂每一个函数。
3. 将论文结构与代码结构对齐。
   • 论文中每一个重要模块，都应该能在代码里找到对应类或函数（例如 VisualEncoder, PolicyNetwork, WorldModel 等）；
   • 你可以在注释或笔记中记录：论文图中的 Block A ≈ module_a.py 中的某个类。 当你需要做修改（替换视觉 backbone、改损失函数）时，这个对齐表会非常重要。
4. 最小复现：先复现“作者写在 README 里的结果”。 在试图“改论文”之前，先按 README 的说明跑一遍官方实验，看看结果是否接近论文中的主表或主曲线。如果复现差异太大，优先检查：
   • 数据是否下载完全、预处理一致；
   • 配置文件是否和论文默认设置相同；
   • 随机种子与 GPU 数量是否影响结果。

【图片占位】 图 1-2-4：典型深度学习/机器人项目目录结构示意图 展示 configs/、data/、models/、train.py、eval.py 等，并用箭头表示主执行路径。

0.2.2.3 工程实践

“能复现系统”最终落点，是你能把算法放进真实或仿真机器人系统中运行，这比在 GPU 上跑一个离线脚本要复杂得多。

你需要逐步培养以下几个层次的能力：

1. 把算法变成“服务”或“模块”。 不管底层是 PyTorch 还是 TensorFlow，最终在机器人系统中，它需要：
   • 有清晰的输入输出接口（例如订阅图像话题、发布关节命令）；
   • 能够以指定频率运行（例如每秒 5–10 次推理）；
   • 遇到错误时能优雅失败（给出安全动作、记录日志，而不是整个系统崩溃）。 这要求你理解后续章节中 ROS/系统架构相关内容，但在这里要意识到：工程落地 ≠ 把 python script.py 设为开机自启这么简单。
2. 考虑资源与环境差异。 实际机器人常用的嵌入式设备算力有限，因此：
   • 在服务器上训练好的大模型，可能无法直接部署；
   • 需要考虑模型剪枝、量化、蒸馏等方法（对应后文部署章节）；
   • 环境差异（仿真 vs 真实，实验室 vs 实际场景）也会导致性能偏差，需要你通过参数调整和少量再训练来修补。
3. 建立日志与监控习惯。 复现系统时，必须要有“可观察性”：
   • 记录关键指标：成功率、失败类型、延迟、资源占用；
   • 在异常情况下保留数据（传感器记录、模型输出、系统状态），方便事后分析；
   • 对机器人任务，最好能录像或用可视化工具记录轨迹。
4. 把安全性放在一开始考虑。 在具身系统中，“跑不起来”只是麻烦，“跑错了”则可能砸坏硬件甚至伤人。 因此，在第一次部署任何新策略时，建议：
   • 限制速度和力矩；
   • 设定物理安全区域和急停策略；
   • 尽量先在仿真中测试极端情况。

【图片占位】 图 1-2-5：从论文到代码到机器人系统的落地流程图 论文 → 开源代码 → 本地复现 → 仿真集成 → 真实机器人部署，各阶段的输入输出与关注点。

0.2.3 “能提出新 idea”的能力：问题抽象与研究选题

对于研究生来说，前两个能力（读论文、复现系统）让你“站在前沿门口”；能提出新 idea 并验证它，则让你真正走进科研。

在具身智能和 VLA 这样快速发展的领域，好的 idea 往往来自于： 1）对现有系统的深入使用与质疑； 2）对跨领域知识的迁移； 3）对“实验失败”的认真分析。

本节从“问题抽象 → 创新发散 → 评估筛选”三个阶段，构建一套选题思路。部分方法可以和后面关于综述、基准与科研进阶的小节互相印证。(richardmathewsii.substack.com)

0.2.3.1 问题抽象

问题抽象的核心，是从具体的、零碎的失败现象中提炼出“具有普遍意义的明确问题”。

以一个简单示例：你在仿真中训练了一个抓取策略，转到真实机械臂后成功率大幅下降。你可以按以下层次抽象：

1. 现象级描述

模型在仿真中成功率 90%，现实中只有 20%，尤其在光照变化或物体纹理复杂时表现很差。

2. 归因假设 可能的解释包括：
   • 视觉分布偏移（sim2real gap）；
   • 机械臂控制延迟与噪声；
   • 数据集中未覆盖现实场景的多样性。
3. 抽象成一般问题
   • 更高层表述可以是：

“如何提高视觉驱动抓取策略在真实环境中的鲁棒性？”

- 再进一步：

“如何在有限真实数据下弥合仿真与现实视觉分布之间的差异？”

4. 形式化技术问题
   • 例如：给定仿真数据分布 $ \mathcal{D}{sim} $ 和少量真实数据 $ \mathcal{D}{real} $，如何设计一种自监督或对比学习目标，使得视觉编码器在 $ \mathcal{D}_{real} $ 上表现良好？

这个过程的关键是：从一次具体 Bug 出发，反复问“这代表了什么更普遍的问题？” 在具身智能领域，常见的抽象问题包括：

• 分布偏移（domain shift）：仿真 vs 现实、新物体、新布局；
• 信号稀疏（sparse reward）：任务成功信号难以获取；
• 多模态不一致：语言指令与视觉观测的对应不完美；
• 控制约束：高层策略与低层控制器不匹配等。

0.2.3.2 创新发散

有了清晰的问题，并不意味着立刻有好 idea。创新发散阶段的目标，是系统性地列出候选思路，而不是“灵光一闪靠运气”。

可以采用一个简单的“多维头脑风暴”框架，把候选想法按下列维度展开：

1. 数据维度
   • 是否可以引入新的数据形式（多视角、触觉、语言反馈）；
   • 是否可以用自监督、合成数据或互联网数据降低真实数据需求；
   • 是否可以重新组织数据（课程学习、难度递增等）。
2. 模型/架构维度
   • 视觉 backbone 是否可以替换为更适合机器人任务的架构；
   • VLA 中的融合方式（early/late/mid fusion，cross-attention）是否有更合理的变体；
   • 是否存在更适合长序列决策的结构（世界模型、层级策略等）。
3. 目标函数/训练范式维度
   • 损失函数是否可以加入安全约束、能耗惩罚、稳定性正则等；
   • RL/IL/VLA 预训练三者的配比能否重新设计；
   • 是否可以引入人类偏好或语言反馈（RLHF-style）指导策略。(科学杂志)
4. 系统与工程维度
   • 是否可以通过更好的仿真工具或更稳健的控制接口，让学习更稳定；
   • 是否可以设计新的评测协议，使得某类能力更显性，从而反过来驱动算法设计。

在这个阶段，不要过早否定想法。建议把想法全部粗略记录下来，再进入下一步筛选。

【图片占位】 图 1-2-6：从问题到多维创新发散的示意图 中心为抽象问题，向外沿“数据 / 模型 / 目标 / 系统”四个方向发散出候选思路。

0.2.3.3 评估筛选

真正能成为你研究课题的 idea，通常需要通过三重筛选：可行性、创新性、影响力。高校和研究机构在说明研究生培养目标时，也常强调这种平衡：硕士项目侧重在有限时间内完成一个清晰、可行的课题；博士项目则在此基础上追求更高的原创性和影响力。(德克萨斯大学计算机科学系)

你可以采用一个简单的“三角评估”：

1. 可行性（Feasibility）
   • 你是否有必要的资源？（机器人平台、仿真环境、数据采集条件）；
   • 所需实现工作量是否在 1–2 学期内可以完成？
   • 理论与实现是否在你或团队的技能范围内？
2. 创新性（Novelty）
   • 在最近的 survey 和顶会论文中，是否已经有人做过非常相似的事情？(richardmathewsii.substack.com)
   • 你的 idea 是否只是简单堆砌几种已有方法，还是引入了新的视角或组合方式？
   • 如果别人看你的方法，会不会说“这就是某某方法的直接套用”？
3. 影响力（Impact）
   • 这个问题是否对社区有普遍意义，而不仅仅是你实验室的某个工程小痛点？
   • 你的工作能否在一个合理的基准或真实应用场景中展示清晰收益？
   • 即使结果不如预期，这项探索本身是否能提供有价值的负结果或经验总结？

筛选结果不必完美，但至少要确保：

在可行性和创新性上都不为 0，影响力有潜力。

最终形成题目时，建议从最小可行问题入手：给大问题加上限定条件（特定任务、特定场景、特定数据规模），确保你可以构造清晰的实验验证路径。

【图片占位】 图 1-2-7：研究 idea 三角评估图 三个顶点分别为可行性、创新性、影响力，在图中标出示例课题的相对位置。

0.2.4 从课程学习到科研项目的过渡方式

对于大多数学生而言，研究生前半段的日常是“上课 + 作业 + 考试”，后半段逐渐变成“项目 + 论文 + 汇报”。怎样平滑地从前者过渡到后者，是能否在具身智能方向站住脚的关键。

许多经验文章都强调：课程侧重“学习已有知识”，科研则要求你“在不确定中创造新知识”，两者在节奏、评估方式和心态上都有明显差别。(科学杂志)

本小节从“巩固基础 → 参与项目 → 主动探索”三个阶段，勾勒一个现实可行的过渡路径。

0.2.4.1 巩固基础

课程阶段的目标不是拿满分，而是为未来科研打下可重用的知识与代码资产。

1. 把核心课程视为“工具箱建设”。
   • 数学与机器学习课程：给你提供阅读 VLA 理论、理解损失函数与优化算法的工具；
   • 深度学习、强化学习、机器人学课程：让你熟悉本书后续章节会详细展开的关键概念。 上课时，与其追求每个细节都搞懂，不如刻意问自己：“这门课给我增加了哪些可重复使用的工具？”
2. 把课程大作业当作“微型科研项目”。 在许多学校，课程 project 已经非常接近真正的小型研究：
   • 你需要选题、调研相关工作、实现与实验、写报告；
   • 即使题目看起来简单（如变体的抓取任务、仿真导航），你也可以尝试做一点自己的改动（新损失、不同 backbone 等）。 如果提前做好规划，很多毕业论文选题都可以看作对某一个课程项目的深入延伸。
3. 从“考前突击”转向“持续积累”。
   • 尽量把课堂笔记与实验代码整理成可复用的形式（例如独立的 repo、清晰的 README、可复用模块）；
   • 对每门课，留下 1–2 页的“长期纪要”：列出最重要的概念、几篇关键论文和可复用代码位置； 这样，当你在做具身智能项目时，遇到相关问题，可以快速“跳回”这门课，而不是重学一遍。

0.2.4.2 参与项目

在很多计算机科学培养方案中，会明确指出：前 1–2 年以课程为主，之后逐渐转入以研究为主。(德克萨斯大学计算机科学系) 对学生而言，这个过渡的关键步骤是找到一个合适的项目并参与进去。

1. 主动接触导师与课题组。
   • 提前阅读老师的主页和最近两三篇论文，看看有哪些与你感兴趣且与本书主题相关的方向；
   • 写邮件或在课程结束后当面沟通，表达你希望在具身智能/VLA 方向做项目的意愿，并说明你当前掌握的技能与可投入时间。
2. 接受“从执行者做起”的角色定位。 刚进入课题组时，你很可能先从以下任务开始：
   • 跑已有实验，复现组内或外部论文结果；
   • 清洗数据、整理日志、搭建仿真环境；
   • 为已有系统加小功能（增加一个新基线、新评测脚本）。 这并不是“打杂”，而是你真正摸清系统细节、建立工程直觉的阶段，为后续提出 idea 和主导子课题打基础。
3. 在项目中练习“闭环思维”。 每一个你参与的项目，尽量按下面的闭环标准要求自己：
   • 知道项目要解决的高层问题是什么；
   • 明白自己负责的部分如何影响整体结果；
   • 在完成一个阶段后，对结果做简短总结（包括失败原因分析），而不是只“交差”。

【图片占位】 图 1-2-8：从课程到项目的角色演化 从“课程作业（个人）→ 项目执行者（team member）→ 子课题负责人（lead）”的演进示意图。

0.2.4.3 主动探索

当你对于一个方向的基础课程和关键论文有了初步理解，也在课题组中完成了一些“执行型工作”之后，就进入了真正意义上的**“研究起步”阶段**：开始从“做别人给的任务”，转为“提出自己的小问题”。

可以从以下几个手段着手：

1. 从现有系统中的“不顺眼之处”切题。
   • 在跑实验时，你会遇到一些反复出现的问题：训练不稳定、部署延迟高、现实成功率低等；
   • 试着把这些现象记录下来，按照前文问题抽象的方法，提炼出一两个你觉得值得深入的点。 这种“从本组系统出发”的选题，往往更有资源基础，也更容易在有限时间内产出结果。
2. 设计“最小可行副课题（Mini-Project）”。 而不是一上来就设计一个“通用具身智能框架”，可以从以下尺度开始：
   • 在某一基准任务（如抓取、开门、收纳）上，尝试一个改动（新视觉预训练、新动作表示等）；
   • 在现有 VLA 模型上，添加或替换一个明确的模块（新的融合方式、新的指令编码方式）。 要求是：在 1–2 个月内，可以完成实验并得到明确结论（成或不成）。
3. 与导师定期对齐方向与节奏。 许多经验材料指出，课程到科研的过渡失败，很大程度上是因为学生在研究初期缺乏结构化反馈与节奏安排。(科学杂志) 建议：
   • 与导师或带教学长/姐建立固定频率的讨论，如每 1–2 周汇报一次进展；
   • 每次准备简短文档：做了什么、遇到什么问题、接下来两周打算做什么；
   • 通过这样的循环，把“模糊兴趣”切割成一个个具体可操作的行动项。

【图片占位】 图 1-2-9：课程–项目–科研的时间轴示意图 标出入学 1–2 年内课程与项目的比例随时间变化，展示从“课为主”到“研为主”的过渡。

本节从“读懂论文”到“复现系统”，再到“提出新 idea”与“从课程走向科研项目”，勾勒了研究生阶段在具身智能/VLA 方向需要具备的核心能力画像。后续各章将围绕这些能力展开：先补足数学、机器学习和深度学习的基础，再逐步进入视觉、语言、RL/IL、机器人学与 VLA 架构本身，使读者有机会真正从“零基础读者”成长为能够设计和实现自己具身智能系统的研究者。

0.3 学习路径规划与时间安排

0.3.1 基础知识阶段（数学 / ML / 机器人）

这一阶段的目标只有一句话：把“看不懂论文公式、写不出代码、画不清机器人坐标系”的尴尬全部解决掉。 后面所有 CV / RL / VLA 的内容，都会默认你已经具备本阶段的能力。

0.3.1.1 时间分配

如果以两年制硕士为例，可以把基础阶段粗略放在入学后前 6–9 个月。参考国际上多数机器人 / 计算机视觉硕士项目的课程安排，通常第一学年集中在数学、机器学习和机器人学基础，第二学年才是专题课和项目研究。(ri.cmu.edu)

建议按“周”为单位来规划时间，而不是“有空再看”：

• 每周 25–30 小时：正式学习时间
  • 数学（线代 + 概率 + 优化）：10–12 小时
  • 机器学习基础：8–10 小时
  • 机器人学导论 / 运动学：5–8 小时
• 每周 5–10 小时：练习与项目
  • 课程作业、代码实现、小实验、读几页简单教材或讲义

如果你是下面几种背景，可以略作调整：

• CS/EE 背景较强、数学较好：适当压缩数学时间，增加机器学习与机器人学的动手机会（多写代码、多跑实验）。
• 机械 / 控制背景较强、编程较弱：保留数学时间，把 ML 部分多做实现练习（PyTorch / NumPy），哪怕一开始是简单的线性回归、逻辑回归。
• 跨专业转入（数学、物理等）：前 2–3 个月集中补编程和基本 ML，然后再进入正常节奏。

[图片占位]：一张“基础阶段时间分配”饼图或堆叠条形图，区分数学 / ML / 机器人 / 项目练习所占比例。

总的原则是：不要指望“暑假突击”，而是保证每周可持续的学习节奏。后面 VLA 阶段的复杂模型训练，需要你在这一阶段养成稳定的“长期耐力”。

0.3.1.2 学习内容

本阶段的学习内容不在于“多”，而在于**“打牢关键概念 + 能做典型题 + 能写基本代码”**。本书第 1 章、2 章、6 章会分别系统展开数学、深度学习和机器人学的细节，这里只从“学习目标”的角度做整体规划。

可以把内容分成三条主线：

1. 数学主线：看懂公式、会算、懂含义
   • 线性代数：向量 / 矩阵运算、特征值分解、SVD、PCA 等。你至少要能理解“为什么要做对角化 / 降维”这类问题，而不是机械套公式。
   • 概率与统计：随机变量、期望 / 方差、常见分布、贝叶斯公式、最大似然 / 最大后验的直觉。
   • 优化：梯度、梯度下降、学习率、局部极值与鞍点、基本约束优化的思想。 这些内容在本书第 1 章会有详细展开，此处的重点是：跟着一套系统教材 + 课后习题 + 配套课程，扎实做完一遍，而不是“看过 PPT”。
2. 机器学习主线：从“名词认识”到“能自己写一个小模型”
   • 监督学习：回归 / 分类的基本设定、损失函数、训练 / 验证 / 测试划分。
   • 模型与泛化：过拟合、欠拟合、正则化、交叉验证、常见评价指标（准确率、精确率、召回率、AUC 等）。
   • 简单模型实践：线性回归、逻辑回归、支持向量机、决策树 / 随机森林等。 这一部分的要求是：至少用 Python + 一个主流框架（如 PyTorch）完整实现过 2–3 个典型任务，例如房价预测、简单图像分类等。(领英)
3. 机器人学主线：建立“坐标系 + 运动学 + 基本控制”的直观感
   • 坐标系与齐次变换：理解机器人不同连杆 / 末端的相对位置与姿态如何通过 4×4 矩阵描述。
   • 正 / 逆运动学：已知关节角求末端位姿、给定位姿求关节角的基本问题；至少在 2–3 自由度机械臂上能手算 / 编程实现。
   • 简单控制思想：PID 控制、轨迹跟踪的基本概念，为后面 RL / IL 接入机器人打基础。 很多国际机器人硕士项目都会在第一学年结束前要求学生掌握这些内容，并通过实验课或仿真实验进行验证。(research.gatech.edu)

在学习方式上，可以采用“三明治结构”：

理论 → 习题 → 代码 → 再回到理论（带着问题回看）

例如：学完线性回归的公式推导后，立刻在 Python 中实现最小二乘拟合，再对比手推和框架自动求导的差异。

0.3.1.3 达到水平

当你完成基础阶段时，应当具备一种“读论文不再完全晕菜、知道该查哪本书”的安全感。更具体地，可以用以下几个“自测指标”判断自己是否过关：

1. 数学层面
   • 能够独立推导线性回归的闭式解、逻辑回归的梯度；
   • 遇到论文中的常见符号（如 $ E[\cdot] $、$ p(x|\theta) $、$ \nabla_\theta $ 等）不会感到陌生；
   • 能够解释“为什么深度网络训练需要随机梯度下降、为什么学习率太大会发散”等直观问题。
2. 机器学习层面
   • 能用一个你熟悉的框架（如 PyTorch）从零开始写出：数据读取 → 模型定义 → 损失函数 → 训练循环 → 指标计算 的完整脚本；
   • 能够根据数据集和任务选择合理的损失函数和评价指标，并对过拟合有基本感知；
   • 能读懂经典 ML 课程（如 CS229）作业中的大部分题目和解答思路。(studocu.vn)
3. 机器人层面
   • 给定一台简单机械臂的 DH 参数，能用程序计算任意关节角下的末端位姿；
   • 能够理解实验室常见机器人软件栈的大致结构（如“上层规划 → 下层控制”），看懂常用坐标系示意图；
   • 至少在仿真环境中（如 Gazebo / MuJoCo）完成过一次简单“点到点”轨迹规划与执行。(GitHub)

如果你已经达到了上述水平，可以认为：进入 CV / NLP / RL / IL 这类“领域知识阶段”是安全的，不会在基础问题上频繁绊倒。

0.3.2 领域知识阶段（CV / NLP / RL / IL）

这一阶段相当于把“通用 AI 基础”转化为“具身智能相关的关键领域能力”，为后面 VLA 奠定四大支柱：视觉、语言、决策（RL）、模仿学习（IL）。国际上很多机器人和计算机视觉硕士项目，也会在核心课之上，提供视觉、机器学习、机器人控制、强化学习等模块化选修，形成类似结构。(ri.cmu.edu)

0.3.2.1 时间分配

建议将领域知识阶段安排在研究生中期（大致 6–18 个月），与课程选修和早期科研项目交织进行。

一个典型的时间结构可以是：

• 每学期聚焦 1–2 个主领域 + 1 个辅领域
  • 例如：本学期主攻 CV + RL，辅修 NLP；下学期主攻 RL + IL，巩固 CV。
• 每周时间安排（参考）
  • 正式课程（听课、作业）：15–20 小时
  • 小项目 / 课程 Project：8–10 小时
  • 论文 / 教材阅读：5–8 小时

这里有一个重要的经验：不要试图一学期同时“精通”四个领域。 更现实的做法是：保持宽度，但每个时段有清晰的“主线”。

[图片占位]：一张“学期级时间轴”示意图，横轴为学期，纵向标注不同领域的重点程度（例如高亮某学期的 CV + RL），展示“轮换主攻”的策略。

0.3.2.2 理论结合实践

仅仅“上完课 + 做完作业”是不够的。对于 CV / NLP / RL / IL，每个领域至少应该做到：理论上听得懂、代码里写得出、实验里调得动。

可以按领域设计“最小实践单元”：

1. CV：从图片到语义理解
   • 理论：卷积、视觉 Transformer、分类 / 检测 / 分割的基本框架。
   • 实践项目示例：
     • 在 ImageNet 子集或 CIFAR 上训练一个简单分类器；
     • 在 COCO 子集上跑通一个开源检测模型的训练与推理。(University of Surrey)
2. NLP：从 token 到语义表示
   • 理论：语言模型、子词分词、预训练 + 微调范式。
   • 实践项目示例：
     • 使用预训练 Transformer 做一个文本分类 / 问答任务；
     • 通过指令微调或简单 Prompt 设计，体验 LLM 在下游任务中的适应能力。
3. RL：从 MDP 到可运行的策略
   • 理论：MDP、价值函数、策略梯度、Actor–Critic 等。
   • 实践项目示例：
     • 在经典离散环境（如 CartPole）上实现 DQN；
     • 在简单连续控制环境（如倒立摆 / 小车）上实现 PPO 或 SAC。(GitHub)
4. IL：从示范到策略
   • 理论：行为克隆、分布偏移、DAgger、基本逆强化学习思想。
   • 实践项目示例：
     • 在仿真环境中用示范轨迹训练一个行为克隆策略；
     • 分析“策略偏离示范后崩掉”的现象，并尝试通过数据增强 / DAgger 方式改进。

这些项目的规模不必很大，但要严格“从数据到结果”走完一遍完整 pipeline：数据准备 → 模型实现 → 训练调参 → 可视化结果 → 简单总结。 这样你在后面做 VLA 时，才能对每个模块的行为心中有数，而不是把所有问题都怪在“模型太大 / 数据太少”上。

0.3.2.3 知识融会

具身智能的核心不在于“分别学会 CV / NLP / RL / IL”，而在于把这些领域联通起来，形成对“感知–语言–决策–动作”的整体理解。近年来关于 VLA 的综述工作，也强调了这一点：单独做视觉或语言已经不够，关键在于把多模态、决策和物理交互整合成统一学习系统。(arXiv)

在领域知识阶段，可以开始有意识地做一些“跨界思考”：

• 视觉 + RL：思考从像素直接输入 RL 策略，与“先做感知再做决策”的差别；
• 语言 + RL / IL：对比“固定任务奖励”与“语言指令描述任务”的两种方式；
• CV + NLP：尝试实现一个简单的图文匹配 / 图文检索模型，体会跨模态对齐的难点。

建议定期做一个“小型综合反思”：

每 1–2 个月挑一个周末，画一张“知识网络图”： 把学过的主要概念（视觉特征、语言 embedding、价值函数、策略、示范轨迹等）画成节点，用线连接它们之间的关系，并标出你尚未理解清楚的部分。

[图片占位]：一张“CV / NLP / RL / IL 知识网络”手绘示意图，展示不同概念之间的箭头关系，用于帮助读者建立整体心智模型。

当你能流畅回答诸如“为什么现代机器人策略越来越像大型多模态模型，而不仅仅是传统规划器？”这类问题时，就说明你已经从“分科学生”开始转向“具身智能研究者”的思维方式。

0.3.3 VLA 专题与项目实践阶段

完成前两个阶段后，你已经具备了“通用 AI + 关键子领域”的基础。接下来，重点从“学习课程”转向“围绕 VLA 的系统性研究与工程实践”。

最近几年，Vision-Language-Action 模型已经成为具身智能研究的核心方向之一，相关综述将其视为“指令驱动机器人策略”的重要实现路径。(arXiv)

0.3.3.1 时间分配

时间上，这一阶段通常覆盖研究生后期（大约最后 6–12 个月），也是毕业论文 / 核心科研产出的集中期。

相比前两个阶段，这里需要更加明确“研究型时间”的结构，而不是纯课程节奏。可以参考如下每周分配：

• 论文与调研：6–8 小时
  • 聚焦 VLA、具身基础模型、相关数据集与 benchmark；
• 代码与系统实现：15–20 小时
  • 搭建 / 修改模型、编写训练与评估脚本；
• 实验与数据处理：10–12 小时
  • 数据清洗、训练/推理、日志分析、可视化；
• 思考与写作：4–6 小时
  • 记录实验日志、撰写备忘录、构思论文结构。

这意味着：课程不再是主角，而是为你的研究提供稳定背景；真正拉开差距的是“你在项目和论文上花了多少高质量时间”。

0.3.3.2 项目实践

在 VLA 阶段，建议至少完成一个“从零搭到能跑”的中等规模项目。为了避免一开始就目标过大、难以落地，可以采用“由浅入深的阶梯式设计”。

可以参考以下三种层级：

1. Level 1：复现 + 小改动
   • 目标：选取一篇 VLA 论文或开源项目（例如基于 CLIP + 行为克隆的策略），在开源数据集上完整复现实验流程，并做少量改动。
   • 工作内容：
     • 理解并搭建模型结构（视觉编码器 + 语言编码器 + 动作解码器）；
     • 跑通训练脚本、得到与原文接近的结果；
     • 尝试修改某一个模块（如换 backbone、换动作离散化方式），观察性能变化。(学OpenCV)
2. Level 2：自建数据 + 仿真实验
   • 目标：在 MuJoCo / Isaac Gym / RLBench 等仿真环境中，采集自己的多模态示教数据（图像 + 语言指令 + 动作），训练一个简单的 VLA 策略。(GitHub)
   • 工作内容：
     • 搭建简单场景（如“按颜色分类搬运方块”）；
     • 通过遥操作 / 脚本生成示范轨迹，并设计相应语言指令模板；
     • 训练 VLA 模型，在环境中执行并评估成功率。
3. Level 3：从仿真走向真实机器人（如实验室机械臂）
   • 目标：将 Level 2 中在仿真训练的策略，迁移到真实平台上，哪怕只完成一个简化任务（例如“桌面抓取 + 放置”）。
   • 工作内容：
     • 适配传感器与控制接口（如 ROS）；
     • 处理 sim-to-real 差距：图像差异、延迟、噪声等；
     • 引入安全约束，确保真实实验中不会对人和设备造成损害。

[图片占位]：一张“VLA 项目阶梯”示意图，展示从“论文复现”到“仿真实验”再到“真实机器人部署”的三层台阶。

在选择项目时，可以结合导师课题和公开数据资源，避免完全闭门造车。近年来一些 VLA 综述与开源列表，会系统整理相关数据集、任务和模型，对你设计项目非常有参考价值。(GitHub)

0.3.3.3 迭代提高

VLA 项目难点往往不在“能不能跑起来”，而在于如何在一个基线之上持续提升性能，并提炼出有研究价值的结论。这需要你有意识地进行“科学化迭代”，而不是凭感觉改代码。

可以参考如下迭代循环：

1. 建立基线
   • 复现已有方法，得到稳定的基线性能；
   • 确保实验可重复（固定随机种子、记录配置和数据版本）。
2. 提出假设
   • 例如：“增加历史动作上下文会提高策略稳定性”、“更强的语言编码器能够提升多任务泛化”等；
   • 假设应具体到可实验验证的设计。
3. 设计对照实验
   • 只改变一个关键因素，保持其他条件不变；
   • 使用统一指标（成功率、路径长度等）进行比较，必要时统计多次试验均值和方差。
4. 分析与归纳
   • 不仅看“是否提升”，还要分析“在哪些任务、哪些场景下提升显著”；
   • 将失败实验也记录下来，反思假设为何不成立。
5. 整理为论文 / 报告
   • 在本书第 11 章将详细讨论如何设计实验和撰写论文；
   • 在这里，你只需记住：项目必须沉淀为“可交流的知识”，而不仅是“一个 Git 仓库”。

多篇 VLA 工作的经验表明，真正有影响力的贡献往往来自于：扎实的工程实现 + 清晰的实验设计 + 对失败现象的深入分析，而不是堆砌复杂模型结构。(Proceedings of Machine Learning Research)

0.3.4 如何在课程、项目与论文之间平衡时间

具身智能 / VLA 方向的学习，很容易陷入两种极端： 要么“疯狂修课但不做项目”，要么“沉迷写代码、不顾课程基础”。本节的目标，是帮助你形成一个**“长期可持续”的时间平衡策略**。

0.3.4.1 课程 vs 科研

可以把课程与科研的关系理解为：

• 课程 = 安全下限（floor）：保证你在数学、ML、机器人等方面不会出现致命短板；
• 科研 / 项目 = 上限（ceiling）：决定你能走多远，是否具备独立研究能力。

从多所机器人 / 计算机视觉硕士项目的培养方案看，典型做法是：前期偏重课程，后期偏重项目和论文，一般会要求核心课程 + Capstone / Thesis 结合。(ri.cmu.edu)

对个人而言，可以遵循以下原则：

1. 课程不过度“内卷” 保证核心课程成绩过关、概念掌握扎实即可，不必在每次作业上投入 200% 精力追求满分。把多出来的精力投入到项目和论文上，长期收益更大。
2. 尽早参与科研 / 项目 不必等所有课上完才开始做研究。实际更有效的方式是： 在基础课程刚刚达到“能听懂 70%”时，就开始参与一个小项目，一边补课一边实践。
3. 用课程作业为科研“打前站” 尽量把课程 Project 设计成与你未来科研方向相关的小问题，例如：
   • CV 课程的项目做一个小型视觉编码实验，为后续视觉模块打基础；
   • RL 课程的项目尝试一个简化版本的机器人任务。

0.3.4.2 项目管理

具身智能项目往往战线长、依赖多（硬件、仿真、数据、模型都要照顾），如果没有明确的管理方式，很容易陷入“忙了很久却没有实质结果”的困境。

建议采用轻量级的项目管理策略：

1. 明确里程碑（Milestone）
   • 按 4–6 周为周期，划分几个关键里程碑： 例如“跑通仿真环境”、“完成数据采集脚本”、“完成第一版模型训练”、“完成 ablation 实验”等。
   • 每个里程碑需要有可验证的“完成标准”，而不是泛泛的“差不多可以”。
2. 任务拆分与优先级
   • 把每个里程碑拆分为若干可在 1–2 天内完成的小任务；
   • 按照“对整体进度影响最大”排序优先级，先解决阻塞问题，如环境搭建 / 数据格式统一。
3. 时间块管理
   • 尽量为深度工作预留连续 2–3 小时的大块时间，用于写代码、调试或阅读难论文；
   • 把碎片时间用于检查实验结果、整理笔记、写 TODO 列表，而不是开启新工作。
4. 风险预估与范围控制
   • 对每个里程碑预估最坏情况，如果在某个时间点仍未完成，需要果断缩小范围： 例如减少任务种类、简化模型规模，以确保在可控时间内有完整结果，而不是“追求完美但什么都没交付”。

[图片占位]：一张简单的甘特图示例，展示“课程、项目、论文写作”在时间轴上的并行与交叉分布。

0.3.4.3 论文阅读与写作

在具身智能 / VLA 方向，要想从“熟练工程师”走向“独立研究者”，必须建立持续阅读论文 + 持续写作整理的习惯。这不是临近毕业才开始的任务，而应该贯穿整个学习路径。

可以考虑以下实践方式：

1. 固定“最低阅读配额”
   • 即便课程和项目再忙，也尽量保证： 每周至少读 1–2 篇与你课题直接相关的论文，并且写下半页到一页的阅读笔记。
   • 对于难度较高的综述或长文，可以分多次读完。
2. 分层次阅读
   • 第一遍：只看题目、摘要、引言和结论，弄清楚“作者在解决什么问题，用什么方法，大概效果如何”；
   • 第二遍：细读方法部分，尝试复现关键公式或算法；
   • 第三遍：分析实验设计、结果与 ablation，思考你能否提出改进或新的问题。
3. 在项目早期就开始写作
   • 不要等实验全部完成再写论文。更推荐做法是：
     • 项目开始时就打开一个文档，按“问题背景 – 相关工作 – 方法设想 – 预期实验”的结构先写一个粗略框架；
     • 随着实验推进逐步往里填内容；
     • 失败实验也要记录，为后续讨论和负面结果提供素材。
4. 建立个人知识库
   • 使用笔记软件（如 Obsidian、Notion）或简单 Markdown 文件，建立“文献卡片”——每篇论文用一页记录关键点、启发和疑问；
   • 对 VLA / 具身智能这类快速发展的领域，个人知识库能帮助你在海量论文中保持清晰结构，而不是每次都从零开始搜索。近期关于 VLA 的综述也指出，系统性整理文献对于掌握这个高速演化的领域尤为重要。(arXiv)

本节从时间与阶段的角度，构建了从基础知识到领域能力，再到 VLA 专题研究的整体路径。下一章开始，我们将正式进入数学与机器学习基础的具体内容，让“第一个阶段”从规划走向落实。

1.1 线性代数基础

机器人具身智能本质上是在高维向量空间中做决策：相机图像被编码成向量，语言指令被编码成向量，机器人状态也是向量，而控制策略、神经网络权重本质上都是矩阵运算。本节的目标，是让读者掌握这些“向量–矩阵世界”的基本语法，并能把它们自然联想到后面关于深度学习、强化学习和机器人控制的内容。

1.1.1 向量与矩阵运算（内积、范数、矩阵分块）

1.1.1.1 内积（点积）的定义与几何意义（投影、正交）

在实数空间 $\mathbb{R}^n$ 中，两个列向量

$$ \mathbf{x} = \begin{bmatrix} x_1\ \vdots\ x_n \end{bmatrix},\quad \mathbf{y} = \begin{bmatrix} y_1\ \vdots\ y_n \end{bmatrix} $$

的**内积（点积）**定义为：

$$ \mathbf{x}^\top \mathbf{y} = \sum_{i=1}^n x_i y_i. $$

这是一个非常简单的代数运算，但它有关键的几何意义：

• 记 $|\mathbf{x}|$ 和 $|\mathbf{y}|$ 为向量的长度（$L_2$ 范数，见下一小节），$\theta$ 为两向量的夹角，则有

  $$ \mathbf{x}^\top \mathbf{y} = |\mathbf{x}||\mathbf{y}| \cos\theta. $$

  也就是说，内积同时编码了长度和方向相似度：

  • 若 $\mathbf{x}^\top \mathbf{y} > 0$：夹角小于 $90^\circ$，大致“同向”；
  • 若 $\mathbf{x}^\top \mathbf{y} < 0$：夹角大于 $90^\circ$，大致“反向”；
  • 若 $\mathbf{x}^\top \mathbf{y} = 0$：夹角为 $90^\circ$，称为正交（orthogonal）。

• 投影：向量 $\mathbf{y}$ 在方向 $\mathbf{x}$ 上的投影为

  $$ \operatorname{proj}_{\mathbf{x}}(\mathbf{y}) = \frac{\mathbf{x}^\top \mathbf{y}}{|\mathbf{x}|^2}\mathbf{x}. $$

  系数 $\dfrac{\mathbf{x}^\top \mathbf{y}}{|\mathbf{x}|^2}$ 表示 $\mathbf{y}$ 在 $\mathbf{x}$ 方向上“有多少”。

【图 1-1 占位：二维平面中两个向量 (\mathbf{x})、(\mathbf{y})，示意 (\mathbf{y}) 在 (\mathbf{x}) 方向上的投影，并标出夹角 (\theta)。】

在机器人具身智能中，内积有许多直接应用：

• 在视觉–语言模型中，图像与文本被编码为向量，常用它们的 归一化内积（余弦相似度） 衡量句子是否描述了这张图。
• 在机器人控制中，速度向量在某个轴上的分量，就是速度向量与该轴的单位向量的内积；比如沿机械臂某个关节轴的线速度，正是速度在该方向上的投影。

1.1.1.2 向量范数的定义、常见类型及物理含义

直观上，范数（norm） 就是向量“有多大”的度量。形式上，范数是从向量空间到非负实数的函数 $(|\cdot|)$，并满足三个性质：非负性、齐次性和三角不等式。(维基百科)

常见的向量范数包括：

• L2 范数（欧几里得范数）

  $$ |\mathbf{x}|2 = \sqrt{\sum{i=1}^n x_i^2}. $$

  这是我们最熟悉的“直线距离”，在几何上就是从原点到点 $\mathbf{x}$ 的直线长度（ApX Machine Learning）。 物理上可以理解为位移长度、速度大小、力的大小等。

• L1 范数（曼哈顿范数） $$ |\mathbf{x}|1 = \sum{i=1}^n |x_i|. $$ 可以理解为沿坐标轴走到该点时所需要走的“总路程”，类似在棋盘或城市街区中只能沿南北东西方向走路的距离。

• $L_\infty$ 范数（最大范数） $$ |\mathbf{x}|_\infty = \max_i |x_i|. $$ 表示所有坐标分量中绝对值最大的那一个，常用来度量最坏方向上的误差。

在机器学习和机器人领域：

• L2 范数常用于定义损失函数中的距离，如均方误差（MSE），或在正则项中约束参数大小；
• L1 范数常用于稀疏性正则（Lasso），鼓励模型把某些参数压到 0；
• 在移动机器人导航中，如果机器人只能在网格上上下左右移动，路径长度往往更接近 L1 范数而非 L2 范数。

1.1.1.3 矩阵的基本运算与分块方法

矩阵可以看作是数字的二维数组，也可以看作从一个向量空间到另一个向量空间的线性变换的表示。

• 若 (A\in\mathbb{R}^{m\times n})，(B\in\mathbb{R}^{m\times n})，则
  • 矩阵加法：((A+B){ij} = A{ij}+B_{ij})；
  • 标量乘法：((\alpha A){ij} = \alpha A{ij})。
• 若 (A\in\mathbb{R}^{m\times n})，(B\in\mathbb{R}^{n\times p})，则矩阵乘法 (C=AB\in\mathbb{R}^{m\times p}) 定义为 $$ C_{ij} = \sum_{k=1}^n A_{ik} B_{kj}. $$ 这对应于先做变换 (B)，再做变换 (A)：对向量 (\mathbf{x})，有 (AB\mathbf{x} = A(B\mathbf{x}))。

在机器人中，一个矩阵可以表示坐标变换、刚体运动线性化后的雅可比矩阵等，多个矩阵相乘就是连续施加多个变换。

矩阵分块（block matrix）是处理大矩阵的常用技巧。 例如，将一个 (m\times n) 矩阵按行列分成四块： $$ A= \begin{bmatrix} A_{11} & A_{12} A_{21} & A_{22} \end{bmatrix}, $$ 其中 (A_{11}) 是上左角的小矩阵，(A_{12}, A_{21}, A_{22}) 类似。对分块矩阵的相加、相乘遵循“块”层面的同样规则（尺寸匹配时）。

【图 1-2 占位：示意一个大矩阵被分成 2×2 的四个子矩阵块，每块用不同颜色标记。】

在实际工程中，分块可以自然地把系统拆成“状态–控制”“位置–速度”等部分，有助于推导和实现复杂控制算法。

1.1.2 线性变换与基变换、子空间概念

1.1.2.1 线性变换的定义及矩阵表示

设 (T:\mathbb{R}^n\to\mathbb{R}^m)，如果对任意向量 (\mathbf{x},\mathbf{y}) 和任意标量 (\alpha) 都有 $$ T(\mathbf{x} + \mathbf{y}) = T(\mathbf{x}) + T(\mathbf{y}),\quad T(\alpha \mathbf{x}) = \alpha T(\mathbf{x}), $$ 则称 (T) 为一个线性变换。

在给定的一组基（如标准基）下，每个线性变换都可以用一个矩阵 (A\in \mathbb{R}^{m\times n}) 来表示，使得 $$ T(\mathbf{x}) = A\mathbf{x}. $$

常见的几类线性变换及其矩阵表示：

• 缩放（沿坐标轴伸缩） $$ A = \begin{bmatrix} s_x & 0 0 & s_y \end{bmatrix} \Rightarrow \begin{bmatrix} x’\ y’ \end{bmatrix} =\begin{bmatrix} s_x x\ s_y y \end{bmatrix}. $$
• 二维旋转（绕原点旋转角度 (\theta)） $$ R(\theta) = \begin{bmatrix} \cos\theta & -\sin\theta \sin\theta & \cos\theta \end{bmatrix}. $$

【图 1-3 占位：二维平面上展示一个向量经过旋转矩阵作用前后的关系，标注旋转角度 (\theta)。】

在机器人学中，我们会大量使用“旋转矩阵 + 平移向量”来描述姿态与坐标变换，都是线性代数在三维空间的具体体现（详见第 6 章）。

1.1.2.2 基变换（坐标系转换）

**基（basis）**是一组线性无关的向量，它们的线性组合可以表示空间中的任意向量。 在 (\mathbb{R}^2) 中，标准基是 $$ \mathbf{e}_1= \begin{bmatrix} 1\ 0 \end{bmatrix},\quad \mathbf{e}_2= \begin{bmatrix} 0\ 1 \end{bmatrix}. $$

但我们也可以选用别的基，例如 (\mathbf{b}_1 = \begin{bmatrix}1\1\end{bmatrix},\ \mathbf{b}_2=\begin{bmatrix}-1\1\end{bmatrix})，它们同样线性无关，也能生成整个平面。

同一个几何向量，在不同基下的坐标不同。 如果 ({\mathbf{e}i}) 与 ({\mathbf{b}i}) 是两组基，令 $$ P = [\mathbf{b}1\ \mathbf{b}2\ \cdots\ \mathbf{b}n] $$ 即把新基向量按列排成矩阵，则对任意向量 (\mathbf{v})，它在标准基下的坐标 ([\mathbf{v}]{\text{std}}) 与在新基下的坐标 ([\mathbf{v}]{\text{new}}) 关系是： $$ [\mathbf{v}]{\text{std}} = P,[\mathbf{v}]{\text{new}},\quad [\mathbf{v}]{\text{new}} = P^{-1},[\mathbf{v}]_{\text{std}}. $$

【图 1-4 占位：二维平面中，原来的 x–y 坐标系与旋转后的新坐标系 ((\mathbf{b}_1,\mathbf{b}_2))，同一个点在两套坐标系中的表示。】

在机器人中：

• 不同关节、末端执行器、摄像头都有自己的坐标系；
• “手眼标定”就是精确计算这些坐标系之间的变换（后面第 6 章、3 章会反复出现）；
• 基变换的本质，就是把向量在不同“观察视角”下重新表达。

1.1.2.3 向量子空间与维度

一个非空子集 (U\subseteq \mathbb{R}^n)，若对任意 (\mathbf{x},\mathbf{y}\in U) 和任意标量 (\alpha,\beta)，有 $$ \alpha \mathbf{x} + \beta \mathbf{y} \in U, $$ 则称 (U) 为一个向量子空间。

简单例子：

• 通过原点的一条直线（如所有 ((t,2t)) 的集合）是 (\mathbb{R}^2) 的一维子空间；
• 通过原点的一张平面是 (\mathbb{R}^3) 的二维子空间。

维度（dimension）是指一组基中向量的个数，也就是子空间中“互相独立方向”的数目。维度可以理解为这个子空间所需的自由度个数。

与矩阵相关的典型子空间包括：

• 列空间（column space）：所有列向量的线性组合，表示线性变换输出可能落在的子空间；
• 零空间 / 核（null space）：所有满足 (A\mathbf{x}=0) 的向量集合，表示“被变换压缩成 0 的方向”。

线性代数中的一个重要结果（秩–零化度定理）表明： 对 (A:\mathbb{R}^n\to\mathbb{R}^m)，有 $$ \dim(\text{Im}(A)) + \dim(\text{Ker}(A)) = n, $$ 即“输出空间维度 + 被压扁成 0 的方向数 = 原空间维度”。这在理解“冗余自由度”“约束”等概念时非常有用。

1.1.3 特征值、特征向量与对角化

1.1.3.1 特征值与特征向量的定义和求解

给定一个 (n\times n) 矩阵 (A)，非零向量 (\mathbf{v}\in\mathbb{R}^n) 若满足 $$ A\mathbf{v} = \lambda \mathbf{v} $$ 其中标量 (\lambda) 为实数（或复数），则称 (\mathbf{v}) 是 (A) 的一个特征向量（eigenvector），(\lambda) 是对应的特征值（eigenvalue）。

几何含义：在变换 (A) 下，大多数向量的方向都会改变，但特征向量的方向保持不变，仅被拉伸或压缩了一个倍数 (\lambda)。这使得特征向量成为“最容易理解的方向”。

求解方法（简要）：

1. 将方程改写为 ((A - \lambda I)\mathbf{v} = 0)。
2. 要有非零解，需要 (\det(A - \lambda I) = 0)。 这得到关于 (\lambda) 的多项式，称为特征多项式。
3. 解出所有特征值 (\lambda_i)，再对每个 (\lambda_i) 解线性方程组 ((A-\lambda_i I)\mathbf{v}=0)，得到对应的特征向量。

特征值分解（eigendecomposition）正是围绕这些特征值、特征向量对矩阵进行因式分解，是后续对角化和 SVD、PCA 的基础。(维基百科)

在动态系统中，(|\lambda|>1) 的特征值通常对应不稳定方向，(|\lambda|<1) 对应收缩方向，这在分析机器人控制系统的稳定性时非常重要。

1.1.3.2 矩阵对角化

若一个 (n\times n) 矩阵 (A) 有 (n) 个线性无关的特征向量 (\mathbf{v}_1,\dots,\mathbf{v}_n)，将它们按列组成矩阵 $$ P = [\mathbf{v}_1,\mathbf{v}_2,\cdots,\mathbf{v}_n], $$ 再将对应特征值排成对角矩阵 $$ \Lambda = \operatorname{diag}(\lambda_1,\dots,\lambda_n), $$ 则有 $$ A = P\Lambda P^{-1}. $$ 这称为矩阵的对角化，也称为特征分解的一种形式。(维基百科)

• 若 (A) 是实对称矩阵（(A=A^\top)），则由谱定理可知：
  • 所有特征值均为实数；
  • 可选择一组正交特征向量，此时 (P) 是正交矩阵（(P^{-1}=P^\top)）， 对角化形式为 (A = P\Lambda P^\top)。(维基百科)

【图 1-5 占位：示意矩阵 (A) 通过对角化表示为“先在特征向量基下坐标变换 (P^{-1}) ，再沿坐标轴缩放 (\Lambda)，再变回原基 (P)”的几何图。】

不是所有矩阵都能对角化；如果特征向量数量不够（例如出现“缺陷矩阵”），就不能写成上述形式。

1.1.3.3 对角化在计算中的作用

对角化最大的好处，是把复杂的矩阵运算变成了逐元素的标量运算。例如：

• 计算矩阵高次幂 若 (A=P\Lambda P^{-1})，则 $$ A^k = P\Lambda^k P^{-1}, $$ 而 (\Lambda^k) 仅需把对角线元素 (\lambda_i) 各自做 (k) 次方即可。
• 计算函数 (f(A))（如指数矩阵 (e^A)、多项式 (A^2 + A + I) 等）也可以通过 $$ f(A) = P f(\Lambda) P^{-1} $$ 实现，其中 (f(\Lambda)) 对角线上为 (f(\lambda_i))。

在机器学习和机器人中，对角化及其推广（如谱分解、SVD）经常用于：

• 分析协方差矩阵，得到主成分（即 PCA）；
• 对系统的线性近似进行模态分解，识别系统的主振动模式或主变化方向；
• 简化数值计算，提高算法稳定性。

1.1.4 奇异值分解（SVD）与主成分分析（PCA）

1.1.4.1 奇异值分解的形式及各部分含义

对任意实矩阵 (A\in \mathbb{R}^{m\times n})，总可以写成 $$ A = U\Sigma V^\top, $$ 其中：

• (U\in\mathbb{R}^{m\times m})：列向量为左奇异向量，构成一个正交基（(U^\top U = I_m)）；
• (V\in\mathbb{R}^{n\times n})：列向量为右奇异向量，也构成正交基（(V^\top V = I_n)）；
• (\Sigma\in\mathbb{R}^{m\times n})：对角矩阵（主对角线非负，其他为 0），对角线元素 (\sigma_1\ge \sigma_2\ge \dots\ge 0) 称为奇异值（singular values）。(维基百科)

几何上，SVD 可以理解为：

1. (V^\top)：在输入空间中做一次旋转（或反射），把坐标轴对齐到“最重要方向”上；
2. (\Sigma)：沿这些坐标轴进行不同程度的缩放（奇异值大小）；
3. (U)：在输出空间中再做一次旋转（或反射）。

【图 1-6 占位：二维椭圆通过 SVD 分解为“旋转–拉伸–再旋转”的示意，标出左右奇异向量及奇异值。】

重要性质：(A^\top A) 与 (AA^\top) 的特征分解与 SVD 紧密相关，(\sigma_i^2) 是 (A^\top A) 的特征值，这一性质直接连接到 PCA。

1.1.4.2 主成分分析利用 SVD 降维

**主成分分析（PCA）**是经典的线性降维方法。给定数据矩阵 (X \in \mathbb{R}^{N\times d})（N 条样本，每条 d 维特征），经过中心化（每列减去均值）后，其协方差矩阵为 $$ C = \frac{1}{N} X^\top X. $$

PCA 的目标是寻找一组正交方向，使得数据在这些方向上的方差最大。可以证明，这些方向正是协方差矩阵 (C) 的特征向量，而对应特征值大小反映在该方向上的方差大小。(维基百科)

另一方面，对中心化后的 (X) 做 SVD： $$ X = U\Sigma V^\top, $$ 则：

• (V) 的列向量就是 PCA 的主成分方向；
• (\Sigma) 的对角线元素与各主成分上的方差成正比。

因此，PCA 实际上可以通过 SVD 来高效实现：取前 (k) 个最大的奇异值及对应的右奇异向量，就能将数据从 (d) 维降到 (k) 维，且在均方误差意义下是最优的低秩近似（Eckart–Young 定理）。(arXiv)

1.1.4.3 SVD/PCA 在图像和数据降维中的应用示例

1. 图像压缩 将一张灰度图像表示成矩阵 (A)（行列为像素坐标，元素为灰度值），做 SVD： $$ A \approx U_k \Sigma_k V_k^\top $$ 只保留前 (k) 个奇异值和对应列向量，就得到一个秩为 (k) 的近似。这时：

【图 1-7 占位：左图原始图像，中间为 rank-5 近似，右图为 rank-20 近似，对比可视化 SVD 压缩效果。】

- 存储量从原来的 (mn) 降到大约 (k(m+n))；
- 若选择合适的 (k)，肉眼几乎感觉不到图像质量下降。

2. 数据去噪与可视化 在高维数据中，噪声通常分布在方差较小的方向上。PCA 只保留方差较大的前几个主成分，可以自动抑制噪声，同时把数据降到 2D/3D 以利于可视化。
3. 机器人与具身智能中的应用
   • 将高维视觉特征、关节状态组合成的状态向量压缩到低维“任务子空间”，从而提高强化学习、控制算法的效率；
   • 在多机器人的大规模示教数据中，用 PCA/SVD 发现最主要的运动模式。

1.1.5 在线性代数视角下理解深度学习（表示空间、低秩近似）

1.1.5.1 向量表示空间

深度学习中，“向量表示（embedding）”几乎无处不在：

• 自然语言中的词、句子通过嵌入层映射到 (\mathbb{R}^d)；
• 图像经过卷积网络或视觉 Transformer 编码后变成特征向量；
• 机器人状态（关节角、速度、力、接触信息等）也常被进一步映射到一个“潜在空间”。

在这些表示空间中：

• 内积/余弦相似度衡量两个对象在语义上的接近程度；
• 线性组合 (\alpha \mathbf{v}_1 + \beta \mathbf{v}_2) 可以看作是“在语义上介于两者之间”的某种插值；
• 子空间可以表示某类特定属性（例如“抓取相关特征子空间”“语言指令中的空间关系子空间”）。

从线性代数角度看，大模型的许多“奇妙能力”，例如插值生成、线性属性操作（如词向量中的“king - man + woman ≈ queen”现象），都依赖于向量空间结构良好的几何性质。

1.1.5.2 低秩近似

**秩（rank）**反映了矩阵中“真正独立的方向”的个数。许多深度模型的权重矩阵在训练后实际上是“接近低秩”的：虽然形状可能是 (d\times d)，但有效信息主要集中在少数几个方向上。

对权重矩阵 (W \in \mathbb{R}^{m\times n}) 做 SVD： $$ W = U\Sigma V^\top, $$ 只保留前 (k) 个奇异值和向量，得到 (W_k)： $$ W_k = U_k\Sigma_k V_k^\top, $$ 它是 (W) 在 Frobenius 范数意义下的最优秩 (k) 近似。(arXiv)

工程上常用的做法是直接把矩阵分解为两个较小的矩阵： $$ W \approx AB^\top,\quad A\in\mathbb{R}^{m\times k},\ B\in\mathbb{R}^{n\times k}, $$ 这样原本 (mn) 个参数变成 (k(m+n)) 个，当 (k\ll \min(m,n)) 时会大幅降低参数量和计算量。这类思想在：

• 模型压缩与加速（如卷积核低秩近似、Transformer 的低秩注意力）；
• 参数高效微调（如 LoRA、Adapter 等将在第 2 章详细介绍）

中被广泛使用。

【图 1-8 占位：示意一个大的权重矩阵被分解为两个瘦长矩阵相乘，说明参数数量减少。】

1.1.5.3 利用特征向量理解神经网络权重矩阵的模式

线性代数还可以帮助我们理解深度网络“学到了什么”。

• 对一个层的权重矩阵 (W) 做 SVD，右奇异向量（或特征向量）对应输入空间的“主要变化方向”，左奇异向量对应输出空间的“主要响应模式”；奇异值大小则表明该方向的重要性。(维基百科)
• 在卷积层中，将卷积核视作矩阵后做 SVD，可以发现网络偏好检测的纹理、边缘、方向等模式。
• 在机器人控制中，对线性化后的动力学模型矩阵（如雅可比矩阵、惯量矩阵）进行特征分解，可以识别出“容易运动的方向”和“难以运动的方向”，有利于设计更高效的控制策略。

这些分析方法为后续章节中的“可解释性”“模型诊断”“控制稳定性分析”提供了理论工具。

本节从向量与矩阵的基本运算出发，逐步引入了线性变换、子空间、特征值与特征向量、SVD 与 PCA，并点到为止地联系了深度学习和机器人具身智能中的典型应用。在后续章节中，我们会在模型结构、优化算法、视觉–语言–动作表示等具体场景中反复使用这些概念；熟练掌握本节内容，就掌握了进入 VLA 与机器人学习世界所需的“线性代数通行证”。

1.2 概率与统计基础

1.2.1 随机变量、分布、期望与方差

在具身智能里，机器人看到的是一串“带噪声”的观测：距离可能测得偏大一点、偏小一点；每次抓取也不一定都成功。要想在不确定世界里做决策，首先要会用“随机变量”和“分布”来刻画这种不确定性。

1.2.1.1 随机变量的概念

随机试验与样本空间

• 随机试验：结果在单次发生前不确定，但所有可能结果是已知的过程，例如：
  • 抛硬币（正面 / 反面）；
  • 机器人执行抓取动作（成功 / 失败）；
  • 激光雷达测距（读数会因噪声略有变化）。
• 样本空间：所有可能结果构成的集合，记为 $\Omega$。

随机变量（Random Variable） 随机变量本质上是一个函数：把样本空间中的每个结果映射到一个实数。

• 例如：抛硬币，定义

  $$ X(\text{正面}) = 1,\quad X(\text{反面}) = 0 $$

  这样“抛硬币”就被变成了“取 0 或 1 的随机变量”。

• 对机器人而言，可以令

  • $X$：某次抓取是否成功（成功 = 1，失败 = 0）；
  • $Y$：某次测距的读数（单位：米）。

离散随机变量与连续随机变量

• 离散型：只取有限或可数多个值，例如 $X\in{0,1}$、骰子点数 ${1,2,3,4,5,6}$。
• 连续型：在一个区间上取任意实数，例如测得距离 $Y\in[0,5]$ 米。

概率分布

• 对离散随机变量，用概率质量函数（pmf）描述：

  $$ p_X(x) = \mathbb{P}(X = x) $$

• 对连续随机变量，用概率密度函数（pdf）描述：

  $$ f_X(x) \ge 0,\quad \int_{-\infty}^{+\infty} f_X(x),\mathrm{d}x = 1 $$

• 相应的分布函数（CDF）为

  $$ F_X(x) = \mathbb{P}(X \le x) $$

这些定义构成了概率论和统计学习的最基础语言。(bookdown.org)

图片占位： 【图 1-2-1】一张示意图：上半部分为离散随机变量，在数轴上几个点画柱状条表示各自概率；下半部分为连续随机变量，画一条平滑曲线表示概率密度。

1.2.1.2 数学期望与方差

数学期望（Expectation） 直观上，期望就是“长期平均值”或“分布的重心”：

• 离散情形：

  $$ \mathbb{E}[X] = \sum_x x, p_X(x) $$

• 连续情形：

  $$ \mathbb{E}[X] = \int_{-\infty}^{+\infty} x, f_X(x),\mathrm{d}x $$

例如一个公平骰子 $X\in{1,2,3,4,5,6}$，每个点数概率 $1/6$：

$$ \mathbb{E}[X] = \frac{1+2+3+4+5+6}{6} = 3.5 $$

在机器人中的直觉

• 激光雷达多次测量同一障碍物距离，其平均值接近真实距离。
• 期望告诉你：如果你在同样条件下重复实验很多次，平均结果会到哪里。(bookdown.org)

方差（Variance） 期望只告诉我们“平均在哪”，但不知道“抖动有多大”。方差刻画的是随机变量偏离其期望的平均平方程度：

$$ \mathrm{Var}(X) = \mathbb{E}\big[(X - \mathbb{E}[X])^2\big] $$

常用的等价形式是：

$$ \mathrm{Var}(X) = \mathbb{E}[X^2] - \big(\mathbb{E}[X]\big)^2 $$

示例：公平骰子的方差

$$ \mathrm{Var}(X) = \mathbb{E}[X^2] - \big(\mathbb{E}[X]\big)^2 $$

$$ \mathbb{E}[X^2] = \frac{1^2+2^2+3^2+4^2+5^2+6^2}{6} = \frac{91}{6} $$

$$ \mathrm{Var}(X) = \frac{91}{6} - 3.5^2 = \frac{91}{6} - 12.25 = \frac{35}{12} $$

在机器人场景中：

• 如果测距结果方差很大，说明传感器噪声严重；
• 如果机械臂末端位置的方差小，说明重复执行同一动作结果比较稳定。(bookdown.org)

1.2.1.3 常用统计量：标准差与协方差

标准差（Standard Deviation） 标准差是方差的平方根：

$$ \sigma_X = \sqrt{\mathrm{Var}(X)} $$

优点：

• 与随机变量 $X$ 的量纲相同（例如都是“米”），直观度量“典型偏离程度”；
• 在很多工程指标中，比方差更常用，例如“噪声标准差为 0.01 m”。(matrix.skku.ac.kr)

协方差（Covariance） 当我们同时考虑两个随机变量 $X, Y$ 时，会关心它们是不是“倾向一起变大或一起变小”。协方差定义为：

$$ \mathrm{Cov}(X,Y) = \mathbb{E}\big[(X - \mu_X)(Y - \mu_Y)\big] $$

其中 $\mu_X = \mathbb{E}[X]$, $\mu_Y = \mathbb{E}[Y]$。(bookdown.org)

直观解释：

• $\mathrm{Cov}(X,Y) > 0$：当 $X$ 高于自己平均值时，$Y$ 也往往高于自己的平均值（“正相关”）；
• $\mathrm{Cov}(X,Y) < 0$：一个偏高时另一个偏低（“负相关”）；
• $\mathrm{Cov}(X,Y) \approx 0$：二者之间基本没有线性关系。

协方差矩阵 对多维随机向量 $\mathbf{X}=(X_1,\dots,X_d)$，可以把所有变量两两之间的协方差排成一个矩阵：

$$ \Sigma_{ij} = \mathrm{Cov}(X_i, X_j) $$

这个矩阵在后续的多元高斯分布、PCA、卡尔曼滤波等场景中将频繁出现。

在机器人中的例子

• 左右轮速度的协方差：如果机器人在直线行驶时，两轮速度偏差往往同向变化，则协方差为正。
• 多关节机械臂末端误差的协方差：可以描述各方向误差是“独立的”还是“耦合的”。(MachineLearningMastery.com)

图片占位： 【图 1-2-2】二维散点图三组： 1）点云大致沿着右上斜线（正协方差）； 2）点云沿右下斜线（负协方差）； 3）点云几乎圆形云团（协方差约为 0）。

1.2.2 条件概率、贝叶斯公式、独立与条件独立

机器人决策几乎总是在“知道了一部分信息”的前提下进行的：

• 已经看见桌上有杯子；
• 已经知道上一步动作执行成功；
• 已经检测到前方障碍物。

此时我们需要的就是条件概率与贝叶斯更新。

1.2.2.1 条件概率

定义 在事件 $B$ 已经发生的前提下，事件 $A$ 发生的概率称为条件概率，记为 $\mathbb{P}(A\mid B)$：

$$ \mathbb{P}(A\mid B) = \frac{\mathbb{P}(A\cap B)}{\mathbb{P}(B)},\quad \mathbb{P}(B)>0 $$

这表示：在“只考虑 $B$ 发生的那些情况”时，$A$ 出现的比例。(麻省理工学院数学)

乘法公式 由定义可得：

$$ \mathbb{P}(A\cap B) = \mathbb{P}(A\mid B),\mathbb{P}(B) = \mathbb{P}(B\mid A),\mathbb{P}(A) $$

例子：视觉检测

• $A$：实际上前方真的有障碍物；
• $B$：视觉模型输出“有障碍物”。

$\mathbb{P}(B\mid A)$ 是检测器的召回，$\mathbb{P}(B\mid\neg A)$ 反映误报率； 条件概率允许我们根据检测结果重新评估“前方真的有障碍”的可能性。

1.2.2.2 贝叶斯公式

贝叶斯公式给出了“反向推理”的方式：通过观测结果 $B$，更新对原因 $A$ 的信念：

$$ \mathbb{P}(A\mid B) = \frac{\mathbb{P}(B\mid A),\mathbb{P}(A)}{\mathbb{P}(B)} $$

其中

• $\mathbb{P}(A)$：先验概率，表示在看到数据之前对 $A$ 的主观信念；
• $\mathbb{P}(B\mid A)$：似然（likelihood），数据在假设 $A$ 成立下出现的概率；
• $\mathbb{P}(B)$：证据（evidence），是数据在所有可能假设下出现的总体概率；
• $\mathbb{P}(A\mid B)$：后验概率，看到数据之后对 $A$ 的更新信念。(AlmaBetter)

面向参数 $\theta$ 与数据 $D$ 的形式常写为：

$$ p(\theta\mid D) = \frac{p(D\mid\theta),p(\theta)}{p(D)} $$

机器人示例：障碍物存在概率

• $A$：前方有障碍物；
• $D$：相机模型给出“有障碍”信号。

若我们知道传感器在有障碍 / 无障碍时的检测分布，就可以用贝叶斯公式更新 $\mathbb{P}(A\mid D)$，从而更理性地决定是否减速或绕行。

1.2.2.3 事件独立与条件独立

独立（Independence） 事件 $A$ 与 $B$ 独立，当且仅当：

$$ \mathbb{P}(A\cap B) = \mathbb{P}(A),\mathbb{P}(B) $$

等价地：

$$ \mathbb{P}(A\mid B) = \mathbb{P}(A),\quad \mathbb{P}(B\mid A) = \mathbb{P}(B) $$

直觉：$A$ 是否发生对 $B$ 完全没有影响，反之亦然。(麻省理工学院数学)

条件独立（Conditional Independence） 在给定条件 $C$ 的前提下，如果

$$ \mathbb{P}(A,B\mid C) = \mathbb{P}(A\mid C),\mathbb{P}(B\mid C) $$

则称 $A$ 与 $B$ 在条件 $C$ 下独立，记作 $A \perp B \mid C$。

例子：

• $C$：房间的布局已知；
• $A$：左侧存在障碍；
• $B$：右侧存在障碍。

在给定布局的条件下，左右是否有障碍可以近似看作相互独立。

条件独立的假设在贝叶斯网络等概率图模型中极其重要，可以使高维概率分布分解为若干简单因子，大幅降低建模与推断的复杂度。(Engineering LibreTexts)

1.2.3 常见分布（高斯、伯努利、多项式等）

具身智能中的很多子模块——从传感器噪声建模，到二分类/多分类，再到事件计数——都依赖于少数几个“常见分布”。掌握它们的性质，可以让你快速看懂大多数机器人与机器学习论文中的概率假设。

1.2.3.1 高斯分布（正态分布）

一维高斯分布 记为 $X\sim\mathcal{N}(\mu,\sigma^2)$，其密度函数为：

$$ f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\Big(-\frac{(x-\mu)^2}{2\sigma^2}\Big) $$

特性：

• 曲线呈钟形，对称地围绕 $\mu$；
• $\mu$：期望（位置参数），决定峰值位置；
• $\sigma^2$：方差（尺度参数），决定“胖瘦”，$\sigma$ 越大，分布越“平”。(Analytics Vidhya)

中心极限定理的直觉 大量小扰动相加往往近似服从高斯分布——这解释了为什么自然界和工程系统中，高斯噪声如此常见。

多元高斯与协方差矩阵 对于向量随机变量 $\mathbf{X}\in\mathbb{R}^d$，多元高斯由均值向量 $\boldsymbol{\mu}$ 和协方差矩阵 $\Sigma$ 决定：

$$ \mathbf{X}\sim\mathcal{N}(\boldsymbol{\mu},\Sigma) $$

协方差矩阵中的元素 $\Sigma_{ij}=\mathrm{Cov}(X_i,X_j)$ 描述各维度之间的相关性。(bookdown.org)

在机器人中的应用

• 激光雷达 / 深度相机测距误差常建模为高斯噪声；
• 卡尔曼滤波器（轨迹估计）假设过程噪声和观测噪声服从高斯分布；
• 机械臂末端误差的联合分布可视作多元高斯，从而用协方差椭球描述“不确定区域”。

图片占位： 【图 1-2-3】一维高斯分布示意图：均值相同、标准差不同的几条“钟形曲线”；以及二维高斯的等高线椭圆。

1.2.3.2 伯努利分布与多项分布

伯努利分布（Bernoulli） 如果随机变量 $X$ 只取 0 或 1 两个值，且

$$ \mathbb{P}(X=1)=p,\quad \mathbb{P}(X=0)=1-p $$

则称 $X$ 服从伯努利分布，记为 $X\sim\mathrm{Bernoulli}(p)$。(Analytics Vidhya)

其期望与方差为：

$$ \mathbb{E}[X]=p,\quad \mathrm{Var}(X)=p(1-p) $$

机器人中的例子：

• 某次抓取是否成功；
• 安全监测中某类报警是否触发；
• 一个二分类模型的标签（“人类 / 非人类”）。

多项分布（Multinomial） 伯努利是“两选一”。如果一次试验有 $K$ 种互斥结果（如红/绿/蓝三个类），各自概率为 $\mathbf{p}=(p_1,\dots,p_K)$，重复进行 $n$ 次独立试验，统计每类出现次数 $\mathbf{X}=(X_1,\dots,X_K)$，则 $\mathbf{X}$ 服从多项分布：

$$ \mathbf{X}\sim \mathrm{Multinomial}(n; p_1,\dots,p_K) $$

概率质量函数为：

$$ \mathbb{P}(X_1=x_1,\dots,X_K=x_K)

\frac{n!}{x_1!\cdots x_K!}, p_1^{x_1}\cdots p_K^{x_K} $$

满足 $x_1+\cdots+x_K=n$。(statlect.com)

在机器学习中，多项分布常用于：

• 建模一个 $K$ 类分类器在 $n$ 次独立预测中的类别计数；
• 语言模型中，对某词窗口内词类计数建模。

1.2.3.3 其他常用分布：均匀、指数、泊松

均匀分布（Uniform）

• 离散均匀：在有限集合 ${1,\dots,N}$ 上，每个值概率 $1/N$；

• 连续均匀：在区间 $[a,b]$ 上密度为

  $$ f(x) = \frac{1}{b-a},\quad x\in[a,b] $$

常被用作“无偏无信息”的简化假设或初始化。例如，在缺乏任何先验时，可以假设机器人初始位置在某区域服从均匀分布。

指数分布（Exponential） 指数分布用于建模非负的等待时间，密度为：

$$ f(x) = \lambda e^{-\lambda x},\quad x\ge 0 $$

其期望为 $1/\lambda$，具有“无记忆性”：已经等了 5 秒，再等 1 秒的概率与之前等了多久无关。(Analytics Vidhya)

在机器人中，可用于近似：

• 两次随机事件（如人进入视野、网络通信中断）之间的时间间隔。

泊松分布（Poisson） 泊松分布常用来描述单位时间内某种稀有事件发生次数：

$$ \mathbb{P}(X=k) = \frac{\lambda^k e^{-\lambda}}{k!},\quad k=0,1,2,\dots $$

参数 $\lambda$ 同时是其均值和方差。(Medium)

机器人例子：

• 某段时间内传感器“检测到人”的次数；
• 控制系统中“紧急避障事件”的触发次数。

图片占位： 【图 1-2-4】三行图：

• 均匀分布的平坦曲线；
• 指数分布的单调递减曲线；
• 泊松分布的离散柱状图，展示不同 $\lambda$ 下形状差异。

1.2.4 最大似然估计、最大后验估计

在机器人学习和机器学习中，我们经常需要“从数据中估计模型参数”：例如估计传感器噪声方差、估计某类动作成功率。最大似然（MLE）和最大后验（MAP）是两种最常用的参数估计方法。(Medium)

1.2.4.1 最大似然估计（MLE）

似然函数（Likelihood） 给定模型参数 $\theta$、数据集 $D={x_1,\dots,x_n}$，我们将在参数 $\theta$ 下观测到这些数据的概率视为似然函数：

$$ L(\theta; D) = p(D\mid\theta) $$

若样本在参数 $\theta$ 下独立同分布（i.i.d.），则

$$ L(\theta; D) = \prod_{i=1}^n p(x_i\mid\theta) $$

常使用对数似然

$$ \ell(\theta; D) = \log L(\theta; D) = \sum_{i=1}^n \log p(x_i\mid\theta) $$

最大似然估计 MLE 就是选取使似然函数最大的参数：

$$ \hat{\theta}{\text{MLE}} = \arg\max{\theta} L(\theta; D) = \arg\max_{\theta} \ell(\theta; D) $$

示例：抛硬币估计成功率 假设硬币正面概率为 $p$，进行 $n$ 次抛掷，结果中有 $k$ 次正面。似然为

$$ L(p) = p^k (1-p)^{n-k} $$

对数似然：

$$ \ell(p) = k\log p + (n-k)\log(1-p) $$

对 $p$ 求导并令其为 0，可得到

$$ \hat{p}_{\text{MLE}} = \frac{k}{n} $$

在机器人里，可类似地用 MLE 估计某动作“成功”的概率，或高斯噪声的均值与方差等。(Medium)

1.2.4.2 最大后验估计（MAP）

MLE 只利用数据，不考虑任何“先验经验”。在很多机器人场景中，我们往往已有经验：

• 传感器噪声大致在某个范围内；
• 某抓取动作成功率不太可能比 0.99 还高。

此时可以采用 贝叶斯视角：

$$ p(\theta\mid D) \propto p(D\mid\theta),p(\theta) $$

其中 $p(\theta)$ 是先验分布，$p(\theta\mid D)$ 是后验分布。

最大后验估计（MAP） 选择使后验概率最大的参数：

$$ \hat{\theta}{\text{MAP}} = \arg\max{\theta} p(\theta\mid D) = \arg\max_{\theta} \big[p(D\mid\theta),p(\theta)\big] $$

取对数：

$$ \hat{\theta}{\text{MAP}} = \arg\max{\theta} \big[ \log p(D\mid\theta) + \log p(\theta) \big] $$

这看起来像是在最大化“数据项 + 先验项”。(Medium)

示例：带 Beta 先验的硬币 对硬币成功率 $p$ 施加 Beta 先验 $p\sim\mathrm{Beta}(\alpha,\beta)$，观测到 $k$ 次成功、$n-k$ 次失败后，后验还是 Beta 分布：

$$ p\mid D \sim \mathrm{Beta}(\alpha+k,\beta+n-k) $$

其众数（在 $\alpha+k>1,\ \beta+n-k>1$ 时）是 MAP 估计：

$$ \hat{p}_{\text{MAP}} = \frac{\alpha+k-1}{\alpha+\beta+n-2} $$

可以看到：当样本数不大时，先验参数 $\alpha,\beta$ 会起到“平滑”作用，防止估计过于极端。

1.2.4.3 MLE 与 MAP 的区别联系

联系

• 若先验 $p(\theta)$ 为常数（即“非信息先验”），或者在样本数 $n\to\infty$ 时先验影响逐渐被数据淹没，则

  $$ \hat{\theta}{\text{MAP}} \approx \hat{\theta}{\text{MLE}} $$

• 因此，在大量数据场景下，MLE 和 MAP 往往给出非常接近的结果。(Medium)

差异与直觉

从优化角度看，MAP = MLE + 正则化：

$$ \max_{\theta} \big[\log p(D\mid\theta) + \log p(\theta)\big] $$

• 如果先验是高斯 $p(\theta)\propto \exp(-\lambda|\theta|_2^2)$，那么 $-\log p(\theta)$ 就对应 L2 正则；
• 如果先验是拉普拉斯 $p(\theta)\propto \exp(-\lambda|\theta|_1)$，则对应 L1 正则。

这和后面“机器学习中的正则化”一节是同一逻辑，只是换了一种（贝叶斯）语言来理解。

工程取舍

• 数据少、噪声大时，MAP 利用先验经验能给出更稳定的估计；
• 数据丰富时，MLE 足够，计算更简单；
• 在具身智能中，利用物理先验（例如“参数不可能无限大”）进入 MAP，是将“常识”注入算法的一个重要途径。

1.2.5 KL 散度、交叉熵与在机器学习中的意义

从这一小节开始，概率论和信息论与“损失函数”“训练目标”直接联系起来。几乎所有现代分类模型、概率模型、强化学习策略优化，都在某种形式上最小化 KL 散度或交叉熵。(RAINBOW-LAB)

1.2.5.1 KL 散度

定义 给定两个分布 $P$ 和 $Q$，对同一随机变量 $X$：

• 离散情形：

  $$ D_{\mathrm{KL}}(P|Q) = \sum_x P(x),\log\frac{P(x)}{Q(x)} $$

• 连续情形（形式类似，用积分）：

  $$ D_{\mathrm{KL}}(P|Q) = \int P(x),\log\frac{P(x)}{Q(x)},\mathrm{d}x $$

性质：

• $D_{\mathrm{KL}}(P|Q)\ge 0$，且等号成立当且仅当 $P=Q$（几乎处处）；
• 不对称：一般有 $D_{\mathrm{KL}}(P|Q)\neq D_{\mathrm{KL}}(Q|P)$，因此它不是严格意义上的“距离”。(RAINBOW-LAB)

信息论解释 如果真实分布是 $P$，但你按照 $Q$ 来设计最优编码，那么平均每个样本要多付出

$$ D_{\mathrm{KL}}(P|Q) $$

这么多“比特”的代价。因此，KL 散度可以理解为：用 $Q$ 近似 $P$ 的“信息损失”。(RAINBOW-LAB)

在机器人中的直觉

• $P$：真实环境中动作/状态的分布；
• $Q$：你的模型或策略认为的分布。

KL 散度越小，说明模型对环境的刻画越接近真实；在策略优化中，也经常用 KL 来限制新旧策略偏差，防止机器人行为突然变化过大。

1.2.5.2 交叉熵

熵（Entropy）与交叉熵 熵 $H(P)$ 描述分布 $P$ 的不确定性：

$$ H(P) = -\sum_x P(x)\log P(x) $$

交叉熵 $H(P,Q)$ 则定义为：

$$ H(P,Q) = -\sum_x P(x)\log Q(x) $$

注意两者的关系：

$$ H(P,Q) = H(P) + D_{\mathrm{KL}}(P|Q) $$

由于对给定的真实分布 $P$，熵 $H(P)$ 是常数，因此最小化交叉熵等价于最小化 KL 散度。(RAINBOW-LAB)

分类问题中的交叉熵损失

• 二分类（标签 $y\in{0,1}$，模型输出 $\hat{p}=\mathbb{P}(y=1\mid x)$）：

  $$ \ell(x,y) = -\big[y\log\hat{p} + (1-y)\log(1-\hat{p})\big] $$

• 多分类（标签为 one-hot 向量 $\mathbf{y}$，预测分布为 $\hat{\mathbf{p}}$）：

  $$ \ell(x,\mathbf{y}) = -\sum_{k} y_k\log \hat{p}_k $$

  对于 one-hot 标签，有 $\ell = -\log \hat{p}_{\text{真实类别}}$。

这正是深度学习中最常用的 交叉熵损失函数。(DataCamp)

图片占位： 【图 1-2-5】二维示意图：真实分布 $P$ 与预测分布 $Q$ 的条形图，并在旁边标注 KL$(P|Q)$ 与交叉熵 $H(P,Q)$ 的关系式。

1.2.5.3 在机器学习中的应用

监督学习中的损失函数 大部分分类模型都是在最小化“真实标签分布 $P$ 与模型预测分布 $Q$ 的交叉熵”——这在概率论层面就是让模型分布逼近真实数据分布，从而最小化 KL 散度。(DataCamp)

生成模型与分布拟合

• 在变分自编码器（VAE）中，我们显式使用 KL 散度约束“近似后验分布”与“先验分布”的差异；
• 在某些密度估计问题中，训练目标就是 $\min_\theta D_{\mathrm{KL}}(P_{\text{data}}|P_\theta)$，从而让模型 $P_\theta$ 逼近真实数据分布。

强化学习与策略优化 在策略梯度与 PPO 等算法中，常加入 KL 散度约束：

• $D_{\mathrm{KL}}(\pi_{\text{old}}|\pi_{\text{new}})$ 太大说明新策略与旧策略差异过大，可能导致行为不稳定；
• 约束 KL 散度可以看作对更新步长的一种“几何”控制，确保策略逐步演化而不是剧烈跳变，这对真实机器人尤为重要。(Medium)

在具身智能中的意义

• 交叉熵提供了一个统一的度量，把“预测概率分布”和“真实结果”放在同一框架下比较，适用于视觉识别、语言理解、动作分类等各类子任务；
• KL 散度则更多地用来控制“模型的变化”和“策略分布的差异”，是把“安全与稳定”融入学习过程的数学工具。

本节从随机变量、期望方差出发，经由条件概率和贝叶斯更新，到常见分布，再到 MLE / MAP 以及 KL 散度与交叉熵，构成了后续整本书中所有概率建模与学习算法的基础。后面在讨论深度学习损失函数、强化学习策略优化、VLA 模型训练目标时，你会不断看到这些概念再次出现，并在机器人具身智能的具体场景中发挥作用。

1.3 优化基础

下面是按照你给出的提纲，完整撰写的 1.3 优化基础 中几个小节内容草稿，风格偏教材化，适合研究生自学。从读者“会微积分和线性代数，但还没系统学过优化”的背景出发，尽量用通俗语言讲清楚核心概念，并在合适位置加了图片占位说明。公式部分保持到能看懂后面神经网络和 RL 论文为目标。

1.3 优化基础

在具身智能、深度学习和强化学习中，本质上都在做一件事：

找到一组参数，使某个“代价”或“损失”尽可能小。

这一节我们系统介绍优化的基本概念与方法，从最常见的梯度下降到约束优化、再到神经网络训练中的实际问题，为后续深度网络、RL、控制中的各种“求最优”打基础。

1.3.1 无约束优化与梯度下降

1.3.1.1 导数与梯度概念

（1）一元函数的导数：变化率的精确定义

在高中数学里，导数通常被解释为切线斜率。更一般地，可以理解为：

在一点附近，函数值对自变量的小变化有多敏感。

设一元函数 (f(x))，在点 (x) 的导数定义为 $$ f’(x) = \lim_{h\to 0} \frac{f(x+h)-f(x)}{h}. $$

• 若 (f’(x) > 0)：向右（(x) 增大）走一点，函数值会上升。
• 若 (f’(x) < 0)：向右走一点，函数值会下降。
• 若 (f’(x) = 0)：在该点附近一阶上看不到“上升/下降”的趋势，这里可能是极大值、极小值或鞍点（后面会详细讲）。

（2）多元函数的偏导与梯度

深度学习中的参数往往是高维向量 (\theta \in \mathbb{R}^d)，损失函数 (L(\theta)) 是多元函数。 对每个分量 (\theta_i) 的偏导数 $$ \frac{\partial L}{\partial \theta_i} $$ 衡量“只改变 (\theta_i)，保持其它分量不变”时，损失的变化率。

将所有偏导按分量收集起来，得到 梯度（gradient）： $$ \nabla_\theta L(\theta) = \begin{bmatrix} \frac{\partial L}{\partial \theta_1} \vdots \frac{\partial L}{\partial \theta_d} \end{bmatrix}. $$

几何上，梯度有两个重要性质（在欧几里得度量下）：

1. 方向：在当前点处，梯度指向函数“上升最快”的方向。
2. 负梯度方向：(-\nabla L) 是函数“下降最快”的方向。

【图 1.3-1 占位：二维函数的等高线图，标出某点处的梯度向量，显示梯度垂直等高线并指向上升最快方向；负梯度指向下降方向。】

这两个性质是梯度下降法的核心依据。

1.3.1.2 梯度下降法

（1）问题形式：无约束优化

最简单也是最常见的优化问题形式是：

$$ \min_{\theta \in \mathbb{R}^d} L(\theta), $$

没有额外等式/不等式约束（比如不要求 (\theta) 非负等），称为 无约束优化。在机器学习中，(\theta) 通常代表模型参数，(L(\theta)) 是在训练集上的损失或代价函数。(Analytics Vidhya)

（2）梯度下降思想

基于“负梯度是下降最快方向”这一事实，梯度下降（Gradient Descent）采用简单迭代：

$$ \theta^{(k+1)} = \theta^{(k)} - \eta \nabla_\theta L(\theta^{(k)}), $$

其中：

• (k)：迭代步数；
• (\eta > 0)：步长或 学习率（learning rate）；
• (\nabla_\theta L(\theta^{(k)}))：在当前参数的梯度。

直观理解：

• 每一步都“看一眼”当前坡度（梯度），
• 然后沿着下坡最快的方向走一小步（(-\eta \nabla L)），
• 希望最终走到“山谷底”（损失最小处）。(DigitalOcean)

【图 1.3-2 占位：一维曲线 (L(\theta)) 图像，展示沿负导数方向移动的离散步点，逐步靠近最小值。】

（3）梯度下降的基本性质

在一些理想条件下（比如 (L(\theta)) 是光滑且凸的），可以证明梯度下降会收敛到全局最小值，且步长足够小即可保证函数值单调下降。但在非凸问题（深度网络训练）中，梯度下降往往只能保证：

• 找到某个“还不错”的局部极小值或鞍点附近的低损失区域， 而不是严格意义上的全局最优。

不过在深度学习的实际经验中，局部极小值问题远没有想象中那么可怕，重点反而在于收敛速度和训练稳定性，这些会在后面几小节展开。

1.3.1.3 学习率对优化的影响

学习率 (\eta) 决定每一步走多远，直接影响：

• 收敛速度
• 是否发散
• 是否在最优附近震荡

（1）学习率过大：发散或震荡

如果 (\eta) 取得非常大，一步走得太远，可能出现：

• 每次更新都“跨过山谷”，在两侧来回跳，导致损失在最小值附近震荡；
• 甚至越走越远，损失越来越大，出现 发散。

【图 1.3-3 占位：一维损失曲线，分别画出合适步长、偏大步长（震荡）、极大步长（发散）的迭代轨迹对比。】

在凸二次函数 (L(\theta) = \frac{1}{2}a\theta^2) 情况下，可以严格算出： 若 (\eta > 2/a)，迭代就一定发散；(\eta\in(0,2/a)) 则可收敛。

（2）学习率过小：收敛极慢

若 (\eta) 非常小，梯度下降每次只迈出“蚂蚁步”，好处是几乎不会发散，坏处是：

• 要走非常多步才能接近最优；
• 在实际深度网络训练中，会导致显存和时间成本都非常高。

（3）合适学习率：速度与稳定性的折中

在深度学习实践中，一般：

• 开始时使用相对较大的学习率加速下降；
• 后期逐渐减小学习率，在最优附近“慢慢收敛”，减少震荡。

如何具体调度学习率，是 1.3.5 的重点内容之一。很多现代优化算法（如 Adam）本质上就是在智能地“调步长”——对不同参数维度、自不同时刻使用不同的有效学习率。(DigitalOcean)

1.3.2 一阶与二阶优化方法直觉（SGD、Momentum、Adam 等）

在 1.3.1 中，梯度下降用到了目标函数的一阶导数（梯度）。更一般地，可以根据使用信息的多少，大致将优化方法分为：

• 一阶方法（first-order methods）：只依赖梯度；
• 二阶方法（second-order methods）：还利用 Hessian（即二阶导信息）。

从直觉上看：

• 一阶方法：信息便宜、迭代快，但走路相对“笨拙”；
• 二阶方法：更聪明地利用“曲率”，但每一步计算非常贵，在大规模神经网络中通常不现实。

1.3.2.1 一阶方法

一阶方法的共同特征：

更新规则形如 (\theta^{(k+1)} = \theta^{(k)} + \text{某种函数}({\nabla L(\theta^{(t)})}_{t\le k}))。

（1）批量梯度下降（Batch GD）

最原始的梯度下降在每一步都用 整批训练数据 计算损失和梯度，这在数据量巨大时计算代价非常高。深度学习实践中更常用的是 mini-batch 形式（见下面 SGD），这里略过。

（2）随机梯度下降（Stochastic Gradient Descent, SGD）

理论上需要在整批数据上计算梯度，但在实践中我们常用 一个样本或一个小批量样本 的梯度来近似整体梯度，这就是 随机梯度下降（SGD）：

$$ \theta^{(k+1)} = \theta^{(k)} - \eta \nabla_\theta \ell(x_{i_k}, y_{i_k}; \theta^{(k)}), $$

其中：

• ((x_{i_k}, y_{i_k})) 是在第 (k) 步随机抽取的样本或 mini-batch；
• (\ell) 是单样本损失。

这种“噪声较大的梯度”有两个好处：

1. 更新更频繁，单步计算轻量，适合大数据场景；
2. 由于带噪声，优化过程更容易“抖出”某些鞍点或坏的局部极小值，有助于探索更好的解。(wikidocs.net)

（3）带动量的 SGD（Momentum）

纯 SGD 更新路径常常是一条“抖动的折线”：在狭长谷底中来回摆动，收敛慢。动量（Momentum） 的思想是：

不仅考虑当前梯度，还记住“过去一段时间的更新方向”， 就像物理中的惯性一样，让参数沿着过去累积的方向继续前进。(DigitalOcean)

典型形式（速度形式）：

$$ \begin{aligned} v^{(k+1)} &= \mu v^{(k)} - \eta \nabla_\theta L(\theta^{(k)}), \theta^{(k+1)} &= \theta^{(k)} + v^{(k+1)} , \end{aligned} $$

其中：

• (v^{(k)})：“速度”或动量向量；
• (\mu\in[0,1))：动量衰减系数（如 0.9）。

直觉：

• 在损失谷底的长轴方向上，梯度方向长期一致，动量会不断积累，使得沿谷底方向前进更快；
• 在与谷底垂直方向（损失变化陡峭的方向），梯度符号经常变化，动量会部分抵消震荡。

（4）自适应方法：RMSProp、Adam

传统 SGD 对所有参数使用同一个学习率 (\eta)。但不同维度可能有不同尺度和重要性，自适应方法通过统计历史梯度大小，为不同参数自动调整“步长”。

以 Adam 为例（非常常见的优化器）：(DigitalOcean)

• 维护一阶矩（梯度的滑动平均） (m_t)；
• 维护二阶矩（梯度平方的滑动平均） (v_t)；
• 用这两个统计量对梯度进行“归一化”和“放缩”。

简化后更新类似： $$ \theta_{t+1} = \theta_t - \eta \cdot \frac{\hat m_t}{\sqrt{\hat v_t} + \epsilon}. $$

直观上：

• (m_t) 类似动量，平滑梯度方向；
• (\sqrt{v_t}) 则反映梯度幅度，对梯度长期较大的维度减小步长，对梯度较小的维度增大步长，实现自适应学习率。

1.3.2.2 二阶方法

一阶方法只用梯度，而二阶方法还使用 Hessian 矩阵：

$$ H(\theta) = \nabla^2_\theta L(\theta), $$ 它是一个 (d\times d) 矩阵，每个元素是二阶偏导： $$ H_{ij} = \frac{\partial^2 L}{\partial \theta_i \partial \theta_j}. $$

（1）曲率信息与“更聪明的步长”

一元函数里，我们知道泰勒展开： $$ L(\theta) \approx L(\theta_0) + L’(\theta_0)(\theta-\theta_0) + \frac{1}{2}L’’(\theta_0)(\theta-\theta_0)^2. $$

若在附近用这个二次近似代替原函数，最小值的解析解是： $$ \theta^\star \approx \theta_0 - \frac{L’(\theta_0)}{L’’(\theta_0)}. $$

把这个推广到多元情形，就得到 牛顿法（Newton’s method） 的迭代：

$$ \theta^{(k+1)} = \theta^{(k)} - H(\theta^{(k)})^{-1} \nabla L(\theta^{(k)}). $$

相比梯度下降 (-\eta\nabla L)，牛顿法将梯度再乘以 (H^{-1})，等价于在不同方向上动态调整步长，使得：

• 在“弯曲得很厉害”（曲率大）的方向上，步子变小（防止跳太远）；
• 在“曲率较平缓”的方向上，步子变大，加速收敛。

（2）二阶方法的难点

对于深度网络：

• 参数维度 (d) 往往在百万甚至亿级，Hessian 是 (d\times d) 矩阵， 存储和求逆都是天文级成本；
• 计算 Hessian 本身也极其昂贵，且数值上不稳定。

因此直接使用“严格的二阶方法”在深度网络中几乎不可行。

（3）拟牛顿方法（简略了解）

实际中有一些折中方案，如 BFGS、L-BFGS 等 拟牛顿法，通过在迭代中近似构造 (H^{-1})，而不显式求出完整 Hessian。这些方法在中等规模问题（如传统机器学习、小型网络）中依然常用，但在大规模深度学习里不再主流。

1.3.2.3 实用考虑

在深度学习和具身智能的实际训练里，通常采用：

• 一阶优化器为主（SGD / SGD+Momentum / Adam / RMSProp 等）；(DigitalOcean)
• 在少数规模较小、需要高精度的模块中尝试二阶或拟牛顿方法。

主要原因：

1. 模型参数维度太高，无法承担 Hessian 级别的计算和内存；
2. 大量实践表明，好的初始化 + 合理的一阶优化 + 学习率调度，已足够得到很好的结果。

在机器人和 VLA 模型中，优化器的选择往往是工程问题：

• 需要更稳定、自动调节学习率：Adam / AdamW 常见；
• 更在意最终泛化性能、训练后期表现：不少视觉任务仍偏爱带动量的 SGD。

1.3.3 损失景观与局部极值、鞍点现象

1.3.3.1 损失函数景观

损失景观（loss landscape） 是指： 在高维参数空间中，损失函数 (L(\theta)) 的取值构成的“山地地形”。

• 每个点 (\theta) 是一组参数；
• 其对应高度 (L(\theta)) 是训练损失；
• 优化过程就是在这片高维山地上“下山”。

【图 1.3-4 占位：二维参数空间的损失等高线/三维曲面示意，标出多个谷地、鞍点和平坦区域。】

在深度网络中，损失景观具有以下特点：(lcnwww.epfl.ch)

• 高维（成千上万甚至更多参数）；
• 强烈非凸（有大量局部极值和鞍点）；
• 经常存在大面积的“平坦区”（梯度很小）和“陡峭沟壑”。

理解损失景观有助于从几何视角解释：

• 为什么梯度下降会卡住或变慢；
• 为什么初始化会影响最终结果；
• 为什么带噪声的 SGD 在实践中表现不错。

1.3.3.2 局部极小值与鞍点

（1）临界点（critical point）

若在某点 (\theta^\star) 处梯度为零： $$ \nabla L(\theta^\star) = 0, $$ 则称该点为 临界点。临界点可能是：

• 局部极小值（local minimum）
• 局部极大值（local maximum）
• 鞍点（saddle point）

（2）局部极小值

若存在足够小的邻域，使得： $$ \forall \theta \text{ 在邻域内},\quad L(\theta) \ge L(\theta^\star), $$ 则 (\theta^\star) 是局部极小值。简单理解： 在附近任何方向稍微走一步，损失都会变大。

在凸优化中，每个局部极小值同时是全局极小值，世界清爽又温柔。可惜深度网络损失往往不是凸的。

（3）鞍点（Saddle Point）

鞍点是这样一种临界点：梯度为零，但在某些方向上表现得像极小值，在另一些方向上则像极大值——类似马鞍的形状：横向是谷，纵向是峰。(data-intelligence.hashnode.dev)

• 数学上：Hessian 的特征值有正有负；
• 几何上：既存在“向下的方向”，也存在“向上的方向”。

在高维非凸优化中，研究与数值实验表明：

• 鞍点远比“坏的局部极小值”更多；
• 很多“训练卡住”的现象，实则是停在鞍点附近或平坦区域，而非真正的局部最小谷底。(lcnwww.epfl.ch)

（4）鞍点对优化的影响

在鞍点附近，梯度接近零，普通梯度下降会：

• 更新步长很小，移动缓慢；
• 可能长时间在附近徘徊，看起来像“训练不动了”。

带噪声的 SGD 由于每步梯度有随机性，在一定程度上可以“抖出”鞍点，这也是实践中几乎总是使用 mini-batch 而不是纯 Batch GD 的原因之一。(ApX Machine Learning)

1.3.3.3 深度网络的损失特点

近年来不少工作分析了深度网络的损失景观，一些典型结论包括：(机器学习研究期刊)

1. 坏的局部极小值在高维情况下不一定很多。 在很多设置下，深度线性网络甚至可以证明不存在“劣质局部极小值”，只有全局极小和鞍点。
2. 鞍点和平坦区域是主要障碍。 训练变慢或停滞往往源于梯度接近零的平原或鞍点，而不是被困在某个特别高的局部谷底。
3. “好极小值”往往成片存在（flat minima）。 一些较“平坦”的极小值（改变参数一点点损失不变太多）与泛化性能有一定关联——通常认为平坦极小值对应更好的泛化。

对具身智能的实际意义：

• 训练 VLA 或控制策略时，如果损失长时间不下降，未必是“模型不够强”，也可能是优化在不利的几何结构中爬得太慢；
• 调整优化器（如从 Adam 换成 SGD+Momentum），修改学习率调度、增加噪声等，常常可以改变在损失景观中的“走路方式”，找到更好的解。

1.3.4 约束优化与拉格朗日乘子基本思想

前面讨论的是 无约束优化，但在机器人和具身智能里，很多问题天然带有约束，例如：

• 关节角必须在物理范围内；
• 控制输入不能超过最大电机扭矩；
• 概率分布的参数必须非负且和为 1；
• 路径规划中必须避开障碍物等。

这类问题统称为 约束优化（constrained optimization）。

1.3.4.1 约束优化

一般形式可以写作：

$$ \begin{aligned} \min_{x} \quad & f(x) \text{s.t.} \quad & g_i(x) = 0,\quad i=1,\dots,m \quad \text{（等式约束）} & h_j(x) \le 0,\quad j=1,\dots,p \quad \text{（不等式约束）} \end{aligned} $$

其中：

• (x\in \mathbb{R}^d)：待求参数（比如控制变量、概率参数等）；
• (f(x))：目标函数（损失或代价）；
• (g_i(x))、(h_j(x))：约束条件。

机器人中的若干例子：

• 机械臂逆运动学求解时要求末端达到给定位置（等式约束）；
• 控制优化中限制关节速度或力矩不超过上限（不等式约束）；
• 最大熵模型或概率分布学习中要求 (\sum_i p_i = 1, p_i \ge 0)。

1.3.4.2 拉格朗日乘子

（1）等式约束：拉格朗日乘子法

考虑只有等式约束的情形：

$$ \begin{aligned} \min_x \quad & f(x) \text{s.t.}\quad & g_i(x) = 0,\quad i=1,\dots,m. \end{aligned} $$

拉格朗日乘子法 的关键思想是：

把“在约束面上找极值”的问题，转化为“在更高维空间中找无约束极值”的问题。(cs.toronto.edu)

构造 拉格朗日函数：

$$ \mathcal{L}(x, \lambda) = f(x) + \sum_{i=1}^m \lambda_i g_i(x), $$

其中 (\lambda_i) 称为 拉格朗日乘子。此时的最优性条件（在一些技术条件下）可以写成：

$$ \nabla_x \mathcal{L}(x^\star,\lambda^\star) = 0,\quad g_i(x^\star)=0. $$

直观意义：

• 在最优点上，目标函数 (f(x)) 的梯度在约束面切平面内不能再下降；
• 拉格朗日乘子 (\lambda_i) 可以理解为“满足约束对目标值的边际代价”，在许多物理和经济问题中有很直观的解释。

【图 1.3-5 占位：二维函数等高线 + 一条曲线约束 (g(x)=0)（例如椭圆），示意在最优点处水平集与约束曲线切触，梯度方向与约束的梯度共线。】

（2）从优化到“方程组”

使用拉格朗日乘子或 KKT 条件，本质上就是把“优化问题”转换为一组方程/不等式系统： $$ \begin{cases} \nabla_x \mathcal{L}(x,\lambda,\mu) = 0 g_i(x)=0 h_j(x)\le 0, \dots \end{cases} $$ 这类系统在理论分析和某些算法（如内点法）中更容易处理。(Mathematics Stack Exchange)

1.3.4.3 KKT 条件

当存在不等式约束时，拉格朗日乘子法需要推广到 Karush–Kuhn–Tucker（KKT）条件。它是非线性规划中非常重要的一阶必要条件。(维基百科)

考虑一般问题：

$$ \begin{aligned} \min_x \quad & f(x) \text{s.t.} \quad & g_i(x) = 0,\quad i=1,\dots,m & h_j(x) \le 0,\quad j=1,\dots,p. \end{aligned} $$

构造 拉格朗日函数： $$ \mathcal{L}(x,\lambda,\mu) = f(x) + \sum_{i=1}^m \lambda_i g_i(x) + \sum_{j=1}^p \mu_j h_j(x), $$ 其中：

• (\lambda_i)：等式约束的乘子；
• (\mu_j)：不等式约束的乘子。

KKT 条件 包括：

1. 原始可行性（primal feasibility） 满足原始约束： $$ g_i(x^\star)=0,\quad h_j(x^\star)\le 0. $$
2. 对偶可行性（dual feasibility） 不等式乘子非负： $$ \mu_j^\star \ge 0. $$
3. 站立条件（stationarity） $$ \nabla_x \mathcal{L}(x^\star,\lambda^\star,\mu^\star) = 0. $$
4. 互补松弛（complementary slackness） $$ \mu_j^\star h_j(x^\star) = 0,\quad \forall j. $$ 这表示：
   • 若某个不等式约束严格不等（(h_j(x^\star) < 0)），则对应乘子必须为 0；
   • 若乘子 (\mu_j^\star>0)，则该约束一定正好“紧到边上”（(h_j(x^\star)=0)）。

在凸优化问题且满足一定正则条件时，KKT 条件不仅是必要条件，也是充分条件——即解满足 KKT 条件就一定是全局最优解。这为许多机器学习模型（如支持向量机）的推导提供了理论基础。

后面讲到最大间隔分类、软间隔 SVM 时，会再次用到这些工具。

1.3.5 神经网络训练中的优化实践问题（学习率、收敛与稳定性）

从这一小节开始，重点从“理论优化”切换到“神经网络训练实践”。在具身智能中，无论训练 VLM、VLA 还是 RL policy，都要面对如下问题：

• 学习率如何设定与调度？
• 梯度为什么会消失或爆炸？
• 训练过程算不算收敛？什么时候终止？如何保持稳定？

1.3.5.1 学习率调度

在 1.3.1.3 中，我们已经看到学习率大小对收敛速度和稳定性的影响。进一步地，学习率调度（learning rate schedule） 指的是在训练过程中随时间改变学习率的策略。

（1）为什么要调度？

• 训练初期：需要较大的学习率快速“粗略找到好区域”；
• 训练后期：需要较小的学习率在最优附近细致调整，避免震荡；
• 某些模型训练需要“预热”（warm-up），防止一开始梯度太大导致发散。

（2）常见调度策略

1. Step Decay：每过固定若干 epoch，将学习率乘以一个小于 1 的因子（例如每 30 个 epoch 乘以 0.1）。
2. Exponential Decay：按 (\eta_t = \eta_0 \cdot \gamma^t) 指数衰减。
3. Cosine Annealing（余弦退火）：学习率随训练进度在一个余弦曲线上缓慢减小，有时结合周期性重启使用。
4. Warm-up + Scheduler：在前几百/几千步从非常小的值线性升高到目标学习率，然后按上述某种策略减小。

实践经验（特别是在 Transformer 和大规模模型训练中）表明，合理的学习率调度往往比“纯粹换更复杂的优化器”带来的收益更稳定且可控。(DigitalOcean)

1.3.5.2 梯度消失与爆炸

（1）问题现象

在深层网络中，反向传播时梯度会通过链式法则逐层相乘，如果每层的导数绝对值多数小于 1，则梯度会指数级减小，最终前面层几乎得不到更新，这就是 梯度消失（vanishing gradients）。(维基百科)

反过来，如果导数绝对值多为大于 1，则梯度会指数级放大，导致 梯度爆炸（exploding gradients）：

• 参数更新剧烈震荡甚至变成 NaN；
• loss 突然变得非常大。

这些问题在 RNN、非常深的前馈网络以及不合理初始化时尤其严重。(arXiv)

（2）成因直观

简单看一维链式法则： $$ \frac{\partial L}{\partial x_0} = \frac{\partial L}{\partial x_1} \frac{\partial x_1}{\partial x_0} = \frac{\partial L}{\partial x_n} \prod_{k=0}^{n-1} \frac{\partial x_{k+1}}{\partial x_k}. $$

若每个 (\big|\frac{\partial x_{k+1}}{\partial x_k}\big|) 大约为 0.5，10 层后得到 (0.5^{10}\approx 1/1024)，梯度几乎消失；若每层约为 2，则 (2^{10}\approx 1024)，梯度爆炸。

在多层线性/非线性组合中，这种现象极易出现。

（3）缓解方法

常见手段包括：(维基百科)

1. 合理的权重初始化
   • Xavier 初始化：保证前向/反向信号方差在层间大致保持一致，适合 tanh 等。
   • Kaiming 初始化：针对 ReLU 族激活，考虑其非对称性。
2. 合适的激活函数
   • 用 ReLU、GELU 等替代 Sigmoid/Tanh，可以减轻梯度饱和问题。
3. 归一化层
   • Batch Normalization、LayerNorm 等在前向上稳定中间层分布，也有助于避免梯度过大或过小。
4. 残差连接（Residual Connections）
   • 在 ResNet、Transformer 中广泛使用，允许梯度沿“捷径”反向传播，大幅缓解梯度消失问题。
5. 梯度裁剪（Gradient Clipping）
   • 对梯度的范数设置上限，例如若 (|g|_2 > c) 则缩放为 (\frac{c}{|g|_2}g)，常用于 RNN 和强化学习策略网络中，防止爆炸。(Data Science Stack Exchange)

在具身智能相关网络（例如 RNN/Transformer 控制策略、多帧视觉编码器）中，梯度消失与爆炸会直接导致策略不学或训练不稳定，是工程调参中的常见“坑”。

1.3.5.3 收敛判断与稳定训练

（1）什么叫“收敛”？

在理论上，收敛可以是：

• 参数 (\theta^{(k)}) 收敛；
• 梯度 (\nabla L(\theta^{(k)}) \to 0)；
• 损失 (L(\theta^{(k)})) 收敛到某个值。

在深度学习实践中，我们更关心：

• 训练集损失是否持续下降并趋于平稳；
• 验证集性能是否达到平台期甚至开始下降（过拟合）。

（2）训练监控

通常会绘制如下曲线：

• 训练 loss vs. iteration / epoch；
• 验证 loss / 准确率 vs. epoch。

在“健康”的训练过程中，一般会看到：

• 前期训练 loss 快速下降；
• 中后期下降变缓，接近收敛；
• 若模型开始过拟合，训练集指标继续变好而验证集变差。

（3）稳定训练的常用技巧

1. 早停（Early Stopping） 在验证集性能长时间未提升甚至下降时，停止训练并回退到最佳验证点对应的参数，防止过拟合。
2. 检查学习率与梯度范围 若 loss 突然爆炸或梯度出现 NaN，优先怀疑学习率是否过大、是否缺少梯度裁剪或数值稳定处理。
3. 使用验证集而非训练 loss 判断收敛 对具身智能任务尤其重要，因为在真实机器人上往往只关心“在新场景、新物体上的成功率”，不能只看训练轨迹上的表现。
4. 多次重复实验与随机种子控制 优化过程本身带有随机性（初始化、mini-batch 抽样等），稳定结果应当在不同随机种子下大致一致，防止“偶然跑出一次好结果”。

在后续章节（例如 2.2 深度网络训练技巧、9.4 数据工程与 MLOps）中，会进一步结合实验工程细节讨论如何系统监控和管理训练过程。

这一节从导数和梯度开始，依次介绍了梯度下降、一阶/二阶方法直觉、损失景观与鞍点、约束优化与拉格朗日/KKT，再到神经网络训练中的学习率、梯度消失/爆炸以及收敛判断。掌握这些内容后，读者应该能：

• 看懂大多数深度学习论文中涉及优化的公式；
• 理解主流优化器（SGD、Momentum、Adam 等）的核心思想；
• 在训练自己的网络（包括具身智能中的 VLA 模型）时，有一套清晰的调参和诊断思路。

后续章节将在此基础上，进一步讨论深度网络结构、Transformer、RL 与模仿学习中的优化问题，逐步搭建起完整的“从感知到控制”的学习图景。

1.4 机器学习基础

1.4.1 回归与分类基本问题设置

在具身智能场景中，“模型”最常干两件事： 预测一个数值（如机械臂末端未来 0.1s 的位移），或预测一个类别（如“这次抓取会不会成功”）。前者是回归，后者是分类。这两类问题构成了监督学习的根基。

1.4.1.1 回归问题

定义与形式化

回归问题中，目标是从输入特征 (\mathbf{x}\in\mathbb{R}^d) 预测一个或多个连续实数输出 (y\in\mathbb{R}) 或 (\mathbb{R}^k)：

$$ f_\theta: \mathbf{x} \mapsto \hat{y} $$

其中 (\theta) 是模型参数（例如线性回归中的权重向量）。损失函数常用均方误差（MSE）：

$$ \mathcal{L}(\theta)=\frac{1}{N}\sum_{i=1}^N (\hat{y}_i - y_i)^2 $$

通过最小化损失来学习参数。

典型例子

• 预测机器人末端执行器在下一时刻的位姿偏移量（连续 3D 坐标与角度）。
• 预测接触力、扭矩、滑动速度等物理量。
• 预测电机温度、能耗等运行指标。

与具身智能的关系

在具身智能中，回归通常用于：

• 动力学建模：根据当前状态和控制输入预测下一个状态（状态转移模型）。
• 代价函数学习：用回归拟合“动作是否优良”的连续评分，为后续规划或强化学习服务。

【可插图：二维平面上一条拟合数据点的直线或曲线，展示回归模型拟合连续目标的直观图像。】

1.4.1.2 分类问题

定义与形式化

分类问题中，目标是预测一个离散标签：

$$ f_\theta: \mathbf{x} \mapsto \hat{y},\quad \hat{y}\in{1,2,\dots,C} $$

通常模型先输出每个类别的概率 (\hat{p}_c = P(y=c|\mathbf{x}))，再取概率最大的类别作为预测。

典型例子

• 场景识别：桌面是否“整理干净/未整理完”。
• 抓取可行性：当前抓取姿态是“可抓取 / 不可抓取”。
• 障碍物类型分类：行人 / 桌子 / 箱子 / 墙面等。

常用损失：交叉熵

对于单标签多分类，标准损失为交叉熵：

$$ \mathcal{L}(\theta)=-\frac{1}{N}\sum_{i=1}^N \sum_{c=1}^C \mathbf{1}(y_i=c)\log \hat{p}_{i,c} $$

与前面在深度学习章节中出现的交叉熵损失是一致的，只是这里强调其在一般分类问题中的意义。(Google for Developers)

1.4.1.3 输入特征与模型输出的关系

监督学习的基本设定

给定训练数据集 (\mathcal{D}={(\mathbf{x}i,y_i)}{i=1}^N)，我们假设存在某个未知的“真实函数”：

$$ y = f^*(\mathbf{x}) + \epsilon $$

其中 (\epsilon) 是噪声或未建模因素。模型的目标就是在一个预先选好的“假设空间”（例如线性函数、决策树、神经网络等）内，找到一个 (f_\theta) 尽量逼近 (f^*)。

• 输入 (\mathbf{x}) 称为特征：可以是原始传感器读数（图像像素、关节角度），也可以是经过预处理的高层特征（PCA 主成分、CNN 的特征向量等）。
• 输出 (y) 是我们关心的目标（回归中的数值，分类中的类别）。

经验风险最小化

大多数监督学习算法可以统一理解为经验风险最小化（ERM）：

$$ \hat{\theta} = \arg\min_\theta \frac{1}{N}\sum_{i=1}^N \ell(f_\theta(\mathbf{x}_i), y_i) $$

其中 (\ell(\cdot,\cdot)) 是合适的损失函数（回归用 MSE，分类用交叉熵等）。(科学导向)

在具身智能场景中，这种“输入特征 (\to) 输出预测”的监督学习模块，往往嵌在更大系统中（如用于状态估计、成功预测），与后续的规划或强化学习协同工作。

1.4.2 过拟合、欠拟合与偏差–方差权衡

仅靠在训练集上“把损失压到很低”并不等于模型就好用。真正重要的是：在未见过的新数据上的表现——即泛化能力。(bmc.com)

1.4.2.1 过拟合

现象

• 模型在训练集上的损失很低，准确率很高；
• 但在验证集/测试集上表现显著变差。

这说明模型不仅学到了有用规律，还记住了训练数据中的噪声和偶然性模式。在机器人场景中，这常表现为：在实验台上训练得很好，换一个桌面或灯光条件就“智商骤降”。(Interview Coder)

典型原因

• 模型过于复杂（参数太多、结构太灵活），相对训练数据量而言容量过大。
• 训练轮数太多，在训练集上“磨”过头。
• 特征维度远大于样本数，模型可以用复杂组合记住具体样本。

【可插图：横轴为模型复杂度，画出训练误差持续下降，而验证误差先下降后上升的两条曲线，说明过拟合区域。】

1.4.2.2 欠拟合

现象

• 模型在训练集和测试集上表现都不好（误差都很大）。
• 换用更复杂的模型或加入更多有用特征后，训练误差和测试误差都会明显下降。

这是因为模型过于简单，表达能力不足，无法捕捉数据内在规律，称为高偏差情形。(geeksforgeeks.org)

在具身智能中，例如你用一个简单的线性模型预测高度非线性的机械臂动力学，结果就是无论如何调参都拟合不好——典型欠拟合。

1.4.2.3 偏差–方差权衡

误差分解直觉

可以将预测误差（例如 MSE）拆成三部分： “不可约噪声 + 偏差² + 方差”，其中：(bmc.com)

• 偏差（Bias）：模型“平均”预测与真实函数 (f^*) 的系统性偏离，反映模型是否“想错了问题”。
  • 模型太简单 → 高偏差。
• 方差（Variance）：因训练数据不同（采样不同）导致模型预测波动的程度。
  • 模型太复杂 → 容易对数据的小扰动反应剧烈 → 高方差。

权衡

• 提高模型复杂度：偏差下降，但方差上升（更容易过拟合）。
• 降低模型复杂度：方差下降，但偏差上升（更容易欠拟合）。

目标是在某个适中复杂度处，使二者综合导致的测试误差最小。这就是偏差–方差权衡的核心。(compneuro.neuromatch.io)

【可插图：三条曲线——偏差²随模型复杂度单调下降，方差单调上升，总测试误差呈 U 形，最低点对应最优复杂度。】

在具身机器人中，这个权衡尤其关键：

• 过于复杂的模型在真实机器人数据有限的情况下几乎必然过拟合；
• 过于简单的模型又无法应对复杂接触动力学和视觉变化。

后续我们会通过正则化、早停、交叉验证等手段，在工程上实现这种权衡。

1.4.3 正则化（L1/L2）、早停与交叉验证

这一节可以理解为：如何在实践中与过拟合打“持久战”。

1.4.3.1 L1/L2 正则化

基本思想

在经验风险最小化的目标函数中加入对参数大小的惩罚项，鼓励模型“更简单”、参数“更小”，从而降低方差、提升泛化能力。(Built In)

给定原始损失 ( \mathcal{L}_0(\theta) )，加正则化后变为：

$$ \mathcal{L}(\theta) = \mathcal{L}_0(\theta) + \lambda \Omega(\theta) $$

其中 (\lambda) 控制惩罚强度。

L2 正则化（Ridge）

$$ \Omega_{L2}(\theta) = |\theta|_2^2 = \sum_j \theta_j^2 $$

特点：

• 倾向将所有参数“缩小”但不变为 0。
• 对异常值更敏感。
• 在许多线性模型、深度学习中非常常用（权重衰减）。(Medium)

L1 正则化（LASSO）

$$ \Omega_{L1}(\theta) = |\theta|_1 = \sum_j |\theta_j| $$

特点：

• 更倾向把一部分参数直接压到 0，产生稀疏解，起到类似“自动特征选择”的作用。
• 对异常值更鲁棒。(neptune.ai)

在机器人应用中，L1 可用于从大量传感器特征中“自动挑出更重要的一小部分”；L2 更适合作为通用的稳定化手段。

【可插图：二维参数空间中，L2 约束是圆，L1 约束是菱形，展示为什么 L1 更容易压出稀疏解（交点落在坐标轴上）。】

1.4.3.2 早停策略

早停（Early Stopping）是深度学习中最实用的“隐式正则化”之一，本质思想非常简单：

1. 将数据分为训练集与验证集。
2. 训练过程中监控验证集的损失或评价指标。
3. 一旦发现验证性能在若干轮内不再提升，甚至开始变差，就停止训练，并回滚到验证集性能最好的那一轮的模型参数。(Interview Coder)

从偏差–方差的角度看：

• 前期训练：模型偏差快速下降，方差还不高；
• 后期训练：模型开始对训练集噪声“死磕”，方差明显上升，验证误差反而上升。

早停把学习过程“截断”在最佳点附近，相当于对参数大小施加了一种时间维度上的约束，可以视作一种正则化。

在具身机器人系统训练中，早停尤其常用，因为：

• 真实数据很贵，不希望过拟合少量轨迹；
• 训练时间长，多跑几轮意味着真实机器人磨损和风险增加。

1.4.3.3 交叉验证

核心目的：更可靠地评估模型与超参数

单次划分训练/验证集往往运气成分大。**交叉验证（Cross-Validation）**通过多次划分并平均结果，得到更稳健的性能估计。(RCAC)

K 折交叉验证（K-fold CV）

1. 将数据随机划分为 K 个大小近似相等的子集。
2. 每次选其中 1 折作为验证集，其余 K-1 折作为训练集，训练并评估模型。
3. 循环 K 次，K 个验证结果取平均，作为这个模型/超参数的最终评价。

留一交叉验证（LOO CV）

• 特殊情况：K = N，每次只留出 1 个样本做验证，其余 N-1 个样本训练。
• 理论上偏差很小，但计算开销极大。

交叉验证常用于：

• 比较不同模型（如线性回归 vs 带核的 SVM）；
• 搜索正则化系数 (\lambda)、核函数参数等超参数的“最佳组合”。

在具身智能项目中，由于收集到的数据往往结构复杂（多机器人、多任务），可以按任务或场景划分折，从而评估模型的任务泛化能力，而不仅仅是随机样本的泛化。

【可插图：把数据集切成 K 份的小块，依次轮流作为验证集的示意图。】

1.4.4 核方法与高维特征空间直觉

当数据在原始特征空间中非线性可分时，我们可以尝试将它映射到一个更高维的空间，使其线性可分，然后再在该空间里做线性模型。这就是核方法背后的核心直觉。(维基百科)

1.4.4.1 核技巧

假设有一个显式特征映射：

$$ \phi: \mathcal{X} \to \mathcal{H} $$

将原始输入 (\mathbf{x}) 映射到高维（甚至无限维）特征空间 (\mathcal{H})。在该空间中，我们做的是线性模型，例如线性分类或线性回归。

问题在于：(\phi(\mathbf{x})) 可能极高维，显式计算代价巨大。

核技巧（Kernel Trick）利用如下事实：许多线性算法只依赖于数据点之间的内积 (\phi(\mathbf{x}_i)^\top\phi(\mathbf{x}_j))。如果我们找到一个函数 (K) 使得：(维基百科)

$$ K(\mathbf{x}_i,\mathbf{x}_j) = \phi(\mathbf{x}_i)^\top\phi(\mathbf{x}_j) $$

那么就可以直接在原空间计算 (K(\mathbf{x}_i,\mathbf{x}_j))，而不必显式计算 (\phi(\mathbf{x})) 本身，从而“隐式地”在高维空间里做线性学习——这就是核技巧。

【可插图：左边是原空间中无法线性分开的红蓝点；右边是高维特征空间中被超平面分开的示意，中间标注“φ(x)”与“K(x,x’)”的关系。】

1.4.4.2 常见核函数

常用核函数包括：(维基百科)

1. 线性核[ K(\mathbf{x},\mathbf{z}) = \mathbf{x}^\top\mathbf{z} ]对应没有显式映射（(\phi) 为恒等映射），即普通线性模型。
2. 多项式核（Polynomial Kernel）[ K(\mathbf{x},\mathbf{z}) = (\gamma \mathbf{x}^\top\mathbf{z} + r)^d $$
   • 参数 (d) 控制多项式次数，(r) 是偏置项，(\gamma) 控制尺度。
   • 对应在高维空间里包含各种单项式组合（如 (x_1^2x_2) 等）。
3. 高斯核 / RBF 核（Radial Basis Function）[ K(\mathbf{x},\mathbf{z}) = \exp\left(-\frac{|\mathbf{x}-\mathbf{z}|^2}{2\sigma^2}\right) $$
   • (\sigma) 控制“影响范围”。
   • 对应于无限维特征空间，具有很强的非线性拟合能力。

在机器人具身智能中，核方法可以用于：

• 在低维状态特征上构造非线性回归模型（如动力学、接触力预测）；
• 在有限训练数据下构建较强的非线性分类器（如“可抓取 vs 不可抓取”）。

1.4.4.3 支持向量机中的核方法

线性 SVM 回顾

支持向量机（SVM）是一类通过最大化分类间隔来获得鲁棒决策边界的监督学习方法，可用于分类与回归。其线性版在特征空间中学习一个超平面：(Particle Data Group)

$$ f(\mathbf{x}) = \text{sign}(\mathbf{w}^\top\mathbf{x} + b) $$

训练目标可以写成仅依赖于样本之间的内积 (\mathbf{x}_i^\top\mathbf{x}_j)。

核 SVM

将内积替换为核函数：

$$ \mathbf{x}_i^\top\mathbf{x}_j \quad \Rightarrow \quad K(\mathbf{x}_i,\mathbf{x}_j) $$

得到的就是核 SVM。它等价于：

• 首先用 (\phi) 将数据映射到高维空间；
• 然后在该空间里寻找最大间隔的线性超平面。

优点在于我们从未显式构建高维特征，只是通过核函数计算内积。(Cross Validated)

在具身智能早期研究中（尤其在深度学习尚未主导的时期），核 SVM 曾是处理中小规模机器人数据（如力觉分类、简单视觉识别）的经典选择。即使在深度学习时代，核方法仍为理解高维特征空间和相似度度量提供重要直觉基础。

1.4.5 评价指标（准确率、精确率、召回率、AUC 等）

训练好模型之后，需要用统一、可比较的评价指标量化其性能，尤其在类别不平衡、错误代价不对称的场景中，仅看“准确率”会非常误导。(Google for Developers)

我们先从二分类的混淆矩阵讲起。

混淆矩阵

以“正类 = 机器人成功抓取”的二分类为例，模型输出“抓取/不抓取”，与真实标签对比得到四种情况：

• TP（True Positive）：真实成功，预测也成功。
• FN（False Negative）：真实成功，但预测失败（错杀）。
• FP（False Positive）：真实失败，但预测成功（误报）。
• TN（True Negative）：真实失败，预测也失败。

所有衡量指标都可以用 TP, FP, TN, FN 表达。

1.4.5.1 准确率

定义

$$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$

即预测正确的样本占总样本的比例。(Google for Developers)

适用场景

• 类别相对均衡，且正负样本的重要性相近。
• 比如机器人在大量正常状态与异常状态中识别异常，其中两类比例相近时，可直接用准确率。

局限性

在高度不平衡数据集上（如异常率 1%），模型只要“全部预测为负类”，准确率也能达到 99%——显然毫无实际意义。因此在具身智能的安全相关任务（异常检测、碰撞预测）中，准确率通常不足以单独使用。(Jinwoo’s Devlog)

1.4.5.2 精确率与召回率

精确率（Precision）

$$ \text{Precision} = \frac{TP}{TP + FP} $$

表示：模型预测为“正类”的样本中，有多少是真的正类。精确率高意味着误报少。(Google for Developers)

召回率（Recall）

$$ \text{Recall} = \frac{TP}{TP + FN} $$

表示：真实为正类的样本中，有多少被模型找出来。召回率高意味着漏报少。(Google for Developers)

在具身智能中的典型权衡：

• 机器人抓取任务中，“抓空/掉落”带来中等损失，“误抓危险物体”带来巨大损失时，可能希望高精确率（预测要谨慎）。
• 安全监控或异常检测任务中，更重要的是不要漏检危险情况，往往更关注高召回率。

F1 分数（可简单提一下）

为了在单个数值中综合考虑精确率和召回率，可以使用 F1：

$$ F1 = 2\cdot\frac{\text{Precision}\cdot\text{Recall}}{\text{Precision}+\text{Recall}} $$

当精确率与召回率相近且都较高时，F1 也会高；两者有一者很低时，F1 会被拉低。(Google for Developers)

1.4.5.3 ROC 曲线与 AUC

许多分类模型（如逻辑回归、神经网络）并不是直接给出“正/负”标签，而是给出“属于正类的概率”或“得分”。我们通过设置一个阈值（例如 0.5）将概率转为类别。改变阈值就会改变 TP、FP、TN、FN，从而改变精确率与召回率。

ROC 曲线

ROC（Receiver Operating Characteristic）曲线以：(Jinwoo’s Devlog)

• 横轴：假正例率

$$ \text{FPR} = \frac{FP}{FP + TN} $$

• 纵轴：真正例率（也就是召回率）

$$ \text{TPR} = \frac{TP}{TP + FN} $$

为不同阈值下得到的一系列点连成的曲线。

直观理解：

• 随着阈值从 1 降到 0，模型会把越来越多样本判为正类，TPR 和 FPR 都会增加。
• 一个完美分类器的 ROC 曲线接近左上角（高 TPR，低 FPR）。
• 完全随机的分类器 ROC 曲线接近对角线（TPR≈FPR）。

AUC（Area Under ROC Curve）

AUC 是 ROC 曲线下的面积，介于 0 和 1 之间：(Jinwoo’s Devlog)

• AUC = 0.5：与随机猜测差不多。
• AUC → 1：越接近完美分类器。

一个重要解释是：AUC 等于“随机抽取一个正样本和一个负样本时，模型给正样本的得分高于负样本的概率”。

在具身智能中的使用建议

• 二分类任务（例如“当前姿态是否危险”、“当前轨迹是否会导致碰撞”）中，常用 ROC-AUC 来衡量模型区分正负样本的整体能力。
• 当正负样本极度不平衡且我们更关心正类行为（如少数危险情况），PR 曲线（Precision-Recall Curve）及其面积 PR-AUC往往更敏感，也值得在后续深入任务时使用。(Jinwoo’s Devlog)

【可插图：展示一个典型的 ROC 曲线（良好模型曲线高于随机对角线），并标注 AUC 区域；可以附一个简单的 PR 曲线对比。】

到这里，1.4 节从“基本监督学习任务设定（回归和分类）”出发，讨论了模型复杂度与泛化的偏差–方差权衡，并引出了控制复杂度的工具（正则化、早停、交叉验证），以及用于评价模型好坏的一整套指标体系。 在后续深度学习章节中，这些概念会以更复杂的形式再次出现——但本节提供的直观图景将持续作为理解更高级方法的“坐标系”。

1.5 推荐阅读与资源

1.5 推荐阅读与资源

本章从零开始勾勒了线性代数、概率统计、优化与基础机器学习的“最小必需集合”。 但要在具身智能与 VLA 方向真正做到能读论文、能推公式、能写代码、能做实验，仅靠本书的篇幅仍然略显紧凑。

因此，这里推荐三类强相关的配套资源：

• 一本偏统计机器学习理论的中文书；
• 一条线性代数 / 数值线性代数的进阶路径；
• 一门成体系的机器学习公开课。

它们与本书的关系大致可以理解为：

本书：给出结构化主线与机器人应用视角 推荐资源：在“理论深度”和“练习密度”上进行补强

【图片占位：学习资源结构图——中间是“本书”，周围连出三条箭头： ① 指向《统计学习方法》（补充 1.2/1.4 的统计学习理论）； ② 指向《Matrix Computations》/《Linear Algebra and Learning from Data》（补充 1.1/1.3 的线性代数与数值方法）； ③ 指向 Stanford CS229（将本书第 1 章内容串联成一门完整 ML 课程）。】

下面分别说明每个资源适合在什么时候读、怎么读、和本书哪个部分形成互补。

1.5.1 《统计学习方法》

基本信息与定位

《统计学习方法》（李航，清华大学出版社）是国内机器学习领域极为常用的一本教材，目前已有第二版，被许多高校作为“机器学习原理”课程主教材使用。(东南大学信息科学与工程学院)

它的特点可以概括为：

• 理论导向：以统计学习理论为主线，强调“概率模型 + 损失函数 + 经验风险 / 结构风险最小化”这一统一框架；
• 覆盖经典算法：感知机、k 近邻、朴素贝叶斯、决策树、逻辑回归 / 最大熵、支持向量机、提升方法、EM、HMM、CRF 等；
• 公式推导完整：绝大多数算法都从“问题设定 → 目标函数 → 优化方法 → 性质”系统展开，非常适合练习看懂和推导公式。

这些内容与本书第 1.2 节（概率与统计基础）、1.3 节（优化）、**1.4 节（机器学习基础）**互相呼应：本书给的是“概念地图”和机器人视角，《统计学习方法》给的是“严格数学版的细节”。

建议的阅读顺序与对应关系

如果你已经读完本书第 1 章，建议按下面顺序局部精读，而不是从头到尾机械通读：

1. “统计学习方法概论”章节
   • 对应本书 1.4 整体框架：监督学习、经验风险最小化、结构风险最小化、泛化能力等概念。
   • 阅读目标：把“机器学习 = 拟合一个函数”的朴素印象，升级为“机器学习 = 在假设空间中寻找经验风险 / 结构风险最小的函数”的统计学习观。
2. 线性模型与判别模型相关章节（如感知机、逻辑回归、最大熵模型）
   • 与本书 1.4.1 回归与分类、1.4.2 过拟合与偏差–方差、以及第 2 章的神经网络基础直接对应。
   • 阅读时可以刻意关注：
     • 损失函数是如何从概率模型中导出的（例如对数似然 → 对数损失 / 交叉熵）；
     • 正则化项如何自然出现（先验 + MAP → L1/L2 正则）。
   • 这些内容读懂之后，再回看本书 1.3、1.4，会发现损失与正则化其实一直是“同一个故事”的不同侧面。
3. 支持向量机与核方法章节
   • 与本书 1.4.4 核方法与高维特征空间直觉紧密对应。
   • 建议阅读方式：
     • 先看“几何直觉”：间隔最大化、支持向量；
     • 再看“对偶问题与核技巧”：如何把高维特征空间的点积“藏进”核函数中。
   • 这一部分对于理解后续 VLA 模型中“高维表示空间”的直觉非常有帮助。
4. EM、HMM、CRF 等章节
   • 与本书后续关于概率图模型、序列建模（特别是机器人任务中的状态估计与时序决策）遥相呼应。
   • 这些方法在现代深度模型中常以“隐含结构”形式出现，理解它们会让你在阅读更复杂的模型（如带隐变量的世界模型）时不至于“只看结论”。

如何利用本书 +《统计学习方法》联合学习

一个比较实用的学习节奏是：

1. 先看本书某一小节，获取“概念树”和“在机器人场景下为何需要它”的直觉；
2. 再在《统计学习方法》中对照阅读对应算法章节，专注于：
   • 公式每一项的含义；
   • 优化目标与梯度 / 对偶问题的关系；
   • 与泛化误差、偏差–方差的联系；
3. 最后回到本书的习题或后续章节，在仿真或真实机器人项目中实现 / 调用这些算法。

如此循环几轮，你会逐渐形成：看到一个新模型 → 能够迅速抽象为“统计学习方法”框架的能力，这对后续阅读具身智能 / VLA 论文非常关键。

1.5.2 《Matrix Computations》 或 《Linear Algebra and Learning from Data》

本书第 1.1 节对线性代数只做了“最必要”的回顾：向量空间、特征值与 SVD 等。 在具身智能和 VLA 研究中，线性代数还有两个常被忽视但极其重要的方面：

1. **数值计算层面：**矩阵算法在计算机中究竟是如何实现的、它们为什么稳定或不稳定；
2. **与机器学习的结合层面：**深度学习、压缩感知、低秩近似等现代工具，本质上都是线性代数思想的延伸。

下面这两本书各自从这两个方向对本书做补强。

（1）《Matrix Computations》——数值线性代数的“算法圣经”

《Matrix Computations》（Gene H. Golub & Charles F. Van Loan）是数值线性代数领域的经典教材，对线性方程组、最小二乘问题和特征值问题的数值算法做了系统而深入的总结，被广泛视为计算科学和工程领域的必备参考书。(约翰霍普金斯大学出版社)

适合解决的问题

• 当你开始关心“矩阵分解在计算机里到底是怎么算的”；
• 当你需要理解数值稳定性、条件数、舍入误差对算法的影响；
• 当你在仿真或机器人控制中遇到数值发散、线性系统求解不稳定时。

与本书的衔接

• 与本书 1.1 线性代数基础： 本书强调“概念与几何直觉”，《Matrix Computations》强调“算法与误差分析”； 例如：LU 分解、QR 分解、SVD，在这里会从算法步骤、复杂度、稳定性等角度彻底展开。
• 与本书 1.3 优化基础、以及后面涉及最小二乘、最小范数解、低秩近似的内容一一对应：
  • 如何在数值上稳健地解最小二乘问题；
  • 如何实现高效的迭代方法解决大规模线性系统。

阅读建议

由于本书面向具身智能方向，不要求你把整本《Matrix Computations》精读完，可以采取“按需查阅 + 局部精读”的策略，例如：

• 重点关注线性方程组、最小二乘与 QR / SVD 相关章节；
• 遇到数值问题时，将其当作“字典”查表，看某种矩阵问题推荐使用哪类算法。

（2）《Linear Algebra and Learning from Data》——线代与现代机器学习的桥梁

Gilbert Strang 的《Linear Algebra and Learning from Data》将传统线性代数与现代数据科学、深度学习联系起来，整本书围绕“如何用线性代数视角理解数据与学习算法”展开。(麻省理工学院数学)

从目录可以看到，它一方面涵盖了经典内容（四个基本子空间、SVD、矩阵分解等），另一方面专门讨论了大矩阵计算、压缩感知以及深度学习等主题。(麻省理工学院数学)

适合解决的问题

• 希望用统一的线性代数语言理解： 线性回归、主成分分析、正则化、低秩近似、神经网络中的矩阵运算等；
• 希望知道“为什么线性代数是机器学习的骨架”，而不仅仅把它当作“会算题目”的课程。

与本书的衔接

• 与本书 1.1 线性代数基础、1.4 机器学习基础 直接互补： 例如，本书提到的 PCA、SVD 在 Strang 的书中会配合更多几何图示和实例；
• 与本书 2 章深度学习基础、以及后面 VLA 模型中“表示空间、低秩近似、注意力的矩阵形式”等内容理念一致： 你会更容易把深度模型的运算看成是矩阵 / 张量操作的堆叠，而不是一堆“黑盒”。

推荐的阅读顺序

如果你计划系统阅读，可参考如下顺序：

1. 先结合本书 1.1，阅读该书的线性代数基础部分（如 Ax 的几种理解、四个基本子空间、LU 分解等）；(麻省理工学院数学)
2. 再在本书 1.4 / 2 章 学习相关算法之后，回头看书中关于 PCA、压缩感知、深度学习的章节，强化对“矩阵视角下的机器学习”的理解；(亚马逊)
3. 对数值问题有兴趣时，再从这里自然过渡到《Matrix Computations》的算法细节。

两本书如何取舍？

• 若你目前主要目标是打通“线代–机器学习”的理解链路，更推荐优先读 Strang 的《Linear Algebra and Learning from Data》；
• 若你已经开始写数值算法 / 控制算法代码，或者在仿真中频繁遇到数值问题，则可以逐步引入《Matrix Computations》作为工具书。

1.5.3 Stanford CS229 机器学习公开课

Stanford CS229 是斯坦福大学经典的研究生级机器学习课程，由 Andrew Ng 等人主讲，提供了系统的课程视频、讲义和课后作业，对监督学习、无监督学习、核方法、神经网络以及强化学习等内容进行较为完整的讲解。(cs229.stanford.edu)

从官方课程描述可以看到，它的核心内容与本书第 1 章高度重合：线性回归、逻辑回归、神经网络、SVM、聚类、降维、核方法、强化学习等，是本书所述基础知识的一条“课程化实现”。(cs229.stanford.edu)

为什么推荐 CS229

1. 系统性强 本书在第 1 章以“知识点”为单位组织；CS229 则以“课程节次”为单位，把这些知识点串成一条完整的学习路径，有利于你建立“整门课”的时间线和节奏感。
2. 配套资料丰富
   • 公开的讲义（lecture notes）对很多算法进行了严格推导，是极好的公式练习素材；(cs229.stanford.edu)
   • 视频课程可以帮助你在“推导细节看不懂”时，通过教师的口头解释获取直觉。(YouTube)
3. 要求的数学背景与本书契合 CS229 被普遍认为是一门“偏理论”的课程，需要一定的线性代数、概率论和多元微积分基础。(csdiy.wiki) 这恰好与本书第 1 章的定位一致：只要你按照本书 1.1–1.3 的要求打好基础，就已经具备了啃 CS229 的数学条件。

如何将 CS229 与本书结合

可以将 CS229 看作是本书第 1 章的“扩展实验课”，建议采用如下配合方式：

• 第一轮：本书为主，CS229 为辅 先按照本书章节顺序学习：
  • 在阅读完本书 1.4 机器学习基础后，选择性观看 CS229 中关于线性 / 逻辑回归、SVM、神经网络、偏差–方差与正则化的讲座；(cs229.stanford.edu)
  • 重点在于听懂问题设定与公式推导思路，而不必强求每一处证明都完全掌握。
• 第二轮：CS229 为主，本书为“导航 + 补充” 当你开始正式做机器学习 / 具身智能的课程项目或科研时，可以完整跟一遍 CS229：
  • 以课程讲义和作业为主线；
  • 本书第 1 章作为“索引”和“简化注解”：遇到不熟悉的数学 / 概念，可快速翻回本书对应小节回顾直觉与定义；
  • 在强化学习与自适应控制部分，与本书第 5 章内容形成前后呼应。(cs229.stanford.edu)
• 第三轮：带着机器人问题回头看 当你进入 VLA、模仿学习或机器人控制的研究阶段，再回看 CS229 的相关章节（尤其是核方法、正则化、偏差–方差、EM、强化学习等），会更清楚这些“基础课上的理论”在机器人任务中分别扮演什么角色。

小结：本书与三类资源在学习路径中的位置

• 第 0~1 章 + 本书整体：提供具身智能 / VLA 视角下的数学与机器学习“骨架”；
• 《统计学习方法》：把 1.2 / 1.4 中的统计学习理论“加厚”，帮助你真正掌握公式推导和理论框架；
• 《Matrix Computations》 & 《Linear Algebra and Learning from Data》：从数值算法与线性代数–数据科学的结合两个方向，补全 1.1 / 1.3 的深度；
• CS229：把这些知识组织成一门逻辑严密的课程，通过作业和项目推动你真正“会用”。

在后续章节，我们会逐步进入深度学习、视觉、语言、强化学习以及 VLA 模型的细节； 当你在后面遇到任何“数学或机器学习基础不够扎实”的时刻，都可以回到本书第 1 章，并借助本节列出的资源向下钻研一层，使你的理论根基足以支撑具身智能这个长期而复杂的研究方向。

2.1 神经网络基本结构

2.1 神经网络基本结构

本节从最经典的感知机出发，逐步推导出现代深度学习中广泛使用的前馈神经网络（MLP），并系统讨论激活函数、损失函数以及反向传播与自动求导。这一部分是后续卷积网络、Transformer、VLA 模型的“通用底层语法”。

2.1.1 感知机与前馈神经网络

2.1.1.1 感知机模型

感知机（Perceptron）是最早的人工神经元模型之一，用于二分类问题。形式非常简单：对输入向量做一次线性加权求和，然后通过一个阈值函数决定输出类别。(维基百科)

设输入为 (x \in \mathbb{R}^d)，权重为 (w \in \mathbb{R}^d)，偏置为 (b \in \mathbb{R})，则感知机的输出为

$$ f(x) = h(w^\top x + b), $$

其中 (h(\cdot)) 通常取阶跃（Heaviside step）函数：

$$ h(a) = \begin{cases} 1, & a > 0,[4pt] 0, & a \le 0. \end{cases} $$

几何上，(w^\top x + b = 0) 是输入空间中的一个超平面，感知机就是“问：样本在超平面的哪一侧？”。因此它是一个线性分类器，只能解决线性可分的二分类问题，例如 AND、OR，但无法解决 XOR 这样的非线性问题。(Cross Validated)

感知机的学习（经典的感知机学习算法）就是不断调整 (w,b)，使训练集中正负样本最终被这个超平面正确分开——只要数据线性可分，经典感知机算法可以在有限步内收敛。(维基百科)

【图 2-1 占位】 感知机结构示意图：左侧若干输入节点 (x_1,\dots,x_d)，连接到一个神经元，中间标出权重 (w_i)，节点内部显示加权和 (\sum w_i x_i + b)，右侧是经阶跃函数后输出 0/1。

在具身智能/机器人中，单个感知机本身不常直接使用，但它是理解更复杂神经网络的基石：你可以把它看作“最小决策单元”。

2.1.1.2 前馈神经网络（MLP）

感知机只有一层线性变换 + 非线性，不足以表达复杂模式。为此，人们自然想到：把很多这样的“神经元”堆叠起来——于是就有了多层前馈神经网络（Multilayer Perceptron, MLP）。(Take heed : 개발 블로그)

前馈网络的典型结构：

• 输入层：接收原始特征，例如图像像素、机器人关节状态、传感器读数等。
• 若干隐藏层：每一层都是仿照感知机的线性变换 + 激活函数。
• 输出层：给出回归值、类别概率或动作命令等。

以两层 MLP（1 个隐藏层）为例：

$$ \begin{aligned} h &= \sigma(W_1 x + b_1), y &= \phi(W_2 h + b_2), \end{aligned} $$

其中

• (x \in \mathbb{R}^{d_{\text{in}}})：输入；
• (h \in \mathbb{R}^{d_{\text{hidden}}})：隐藏层表示；
• (y)：输出；
• (W_1, W_2)、(b_1, b_2) 为可学习参数；
• (\sigma(\cdot)) 是隐藏层激活函数（如 ReLU、GELU）；
• (\phi(\cdot)) 是输出层激活函数（如恒等、sigmoid 或 softmax，视任务而定）。

所有层的连接方向从输入到输出，没有回路，所以称为“前馈（feedforward）”。

【图 2-2 占位】 两层 MLP 拓扑图：输入层若干节点，经全连接到隐藏层，再全连接到输出层，用箭头表示信息单向流动。

在机器人具身智能系统中，MLP 通常扮演以下角色：

• 视觉 backbone 后面的决策头（policy head）：将高维视觉特征映射为动作参数。
• 强化学习中的价值函数 / Q 函数近似器。
• 动力学模型或世界模型中的局部近似模块，将状态映射到下一状态或奖励。

2.1.1.3 表示能力

为什么 MLP 如此重要？关键是它的函数逼近能力。

**通用逼近定理（Universal Approximation Theorem）**表明：在较宽的条件下，具有非多项式激活函数（如 sigmoid、ReLU）的一隐藏层前馈网络，可以以任意精度逼近定义在紧致集合上的任意连续函数。(维基百科)

直观地讲：

• 每个隐藏层神经元可以看作一个“小基函数”，例如某个方向上的“台阶”或“拐点”；
• 通过线性组合足够多的这样的基函数，就能构造出形状非常复杂的曲线和曲面；
• 因此，只要隐藏单元足够多，MLP 在理论上可以表示任意复杂的输入–输出映射。

从工程角度：

• 宽度（隐藏单元个数）决定单层网络能表示多复杂的函数；
• 深度（层数）允许网络通过逐层组合，产生更高层次、更结构化的特征，很多研究表明“适度加深”比“无限加宽”更高效。(维基百科)

但要注意： 通用逼近定理只是“存在性定理”，它告诉我们“有某个参数配置”能做到，并不保证我们一定能通过有限数据和有限训练时间找到那个最好配置。这正是前面第 1 章中优化与泛化问题的现实版本。

在具身智能场景里，这个理论给我们信心：只要模型结构合理、数据与训练方法得当，一个足够大的前馈网络有能力学会从机器人多模态观测到高质量控制命令的映射。

2.1.2 激活函数（ReLU、GELU 等）及其性质

2.1.2.1 常见激活函数

激活函数决定了神经元如何“非线性响应”输入。如果没有激活函数（或者只用线性函数），整个网络退化为一层线性变换，无法表示复杂关系。常见激活函数包括：sigmoid、tanh、ReLU、GELU、SiLU 等。(geeksforgeeks.org)

1. Sigmoid（S 形函数）

$$ \text{sigmoid}(x) = \frac{1}{1 + e^{-x}}. $$

• 输出范围 ((0,1))，早期常用于二分类输出。
• 曲线在 0 附近较陡，两端（正/负无穷）趋近于 1 和 0。
• 大输入绝对值区域梯度接近 0，深层网络中容易产生梯度消失。

2. Tanh（双曲正切）

$$ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}, $$

输出范围 ((-1,1))，形状与 sigmoid 相似，但是零中心的。相比 sigmoid，在某些场景下收敛更快，但同样存在饱和区梯度很小的问题。

3. ReLU（Rectified Linear Unit）

$$ \text{ReLU}(x) = \max(0, x). $$

• (x\le 0) 时输出 0；(x>0) 时保持线性。
• 计算简单，梯度在正半轴为 1，在负半轴为 0。
• 在深度网络中表现良好，是目前最常用的激活函数之一。(维基百科)

4. GELU（Gaussian Error Linear Unit）

GELU 大致形状类似一个平滑的“软 ReLU”：对较小或负的输入输出接近 0，对较大的输入近似线性；它的精确表达式可写为与高斯累积分布相关的形式。GELU 在 Transformer 等大模型中被广泛采用，被认为在某些任务上比 ReLU 有更好的性能和更平滑的梯度性质。(Medium)

5. SiLU / Swish 等平滑 ReLU 变体

SiLU（Sigmoid Linear Unit）、Swish 等也是近年常用的激活函数，在负半轴有小的负输出，在正半轴近似线性，兼具平滑与非线性。

【图 2-3 占位】 多种激活函数曲线对比图：在同一坐标系中绘制 Sigmoid、Tanh、ReLU、GELU 的函数曲线，并在另一幅子图中绘制它们的导数，突出梯度在不同区间的大小差异。

2.1.2.2 激活函数对梯度的影响

激活函数不仅影响网络的表达能力，也直接影响梯度传播质量，从而影响训练速度与稳定性。(geeksforgeeks.org)

1. 梯度消失（vanishing gradient）

• Sigmoid/Tanh 在远离 0 的区域导数接近 0，深层网络中多次相乘后，梯度会迅速衰减。
• 结果是靠近输入的前几层几乎得不到有效更新，训练停滞。

2. 梯度爆炸（exploding gradient）

• 若激活函数的导数较大，或者权重初始化不合适，梯度在层间传播时会被放大，导致数值不稳定。
• 虽然激活函数本身不是唯一原因，但其导数规模是关键因素之一。

3. ReLU 的“半线性”优势与问题

• ReLU 在正半轴导数为 1，不会压缩梯度；在负半轴导数为 0，可以增加稀疏性。
• 这有助于缓解梯度消失问题，也在实践中显著提升了深度网络训练效果。(维基百科)
• 但 ReLU 也会出现“死亡 ReLU”（neuron dying）现象：若某个神经元长期落在负区间，其输出和梯度都为 0，难以再被激活。

4. 平滑非线性（GELU、SiLU）的折中

• GELU 等函数在零附近平滑过渡，导数在全域不为 0，利于梯度更柔和地传播。(arXiv)
• 实证研究表明，在 Transformer 等架构中使用 GELU 能带来更好的收敛性质和最终性能。

总体来看，激活函数的设计和选择，是在“表达能力—梯度稳定性—计算开销”之间寻找平衡。

2.1.2.3 激活函数选择

在具体工程实践中，激活函数通常按以下经验进行选择：

• 隐藏层（MLP、CNN、Transformer 前馈）
  • 默认优先：ReLU 或 GELU。
  • 若特别追求平滑性或更高性能，可考虑 GELU、SiLU 等。
• 输出层
  • 回归：一般使用线性激活（恒等函数），直接输出实数。
  • 二分类：常用 sigmoid，将输出映射到 ((0,1))，然后配合二元交叉熵损失。
  • 多分类：使用 softmax，将 logits 映射为概率分布，再配合交叉熵损失。
• 机器人 / 具身智能中的特殊考虑
  • 输出若为角速度、力矩等连续控制量，通常选择线性或 Tanh，并在 Tanh 输出后再缩放到物理允许范围；
  • 为保证安全，可在激活函数后附加硬裁剪（clamp），确保输出不超出机器人硬件极限。

随着模型规模与任务复杂度提升，新的激活函数还在不断被提出；但在掌握基础原理后，读者可以将它们都看作是在“非线性形状”和“梯度传播”上的微调。

2.1.3 损失函数（交叉熵、MSE 等）与任务类型对应关系

损失函数（Loss function）度量模型输出与真实标签之间的差异，是训练中需要最小化的目标。不同任务适合不同的损失设计，这一点在前面机器学习基础（1.4 节）已有初步介绍，这里结合神经网络再做系统梳理。

2.1.3.1 均方误差（MSE）

均方误差（Mean Squared Error, MSE）是回归任务中最常用的损失之一。(simpling)

单样本情况下：

$$ \mathcal{L}_{\text{MSE}}(y,\hat{y}) = \frac{1}{2}(y - \hat{y})^2, $$

其中 (y) 为真实值，(\hat{y}) 为模型预测值。对一个批量大小为 (n) 的样本集合，损失通常取平均：

$$ \mathcal{L}{\text{MSE}} = \frac{1}{n} \sum{i=1}^n \frac{1}{2}(y_i - \hat{y}_i)^2. $$

MSE 的特点：

• 对误差进行平方，放大大误差的影响，有利于收敛到整体最优。
• 对于高斯噪声假设下的线性回归，MSE 对应于最大似然估计，是一个有良好统计意义的目标函数。
• 梯度简单：(\partial \mathcal{L}/\partial \hat{y} = \hat{y} - y)，便于反向传播。

在机器人控制中，若要预测未来状态、关节角度或力矩等连续量，MSE 是自然的选择；在某些 RL 算法中，价值函数近似也常使用 MSE（或 Huber 损失等变体）来拟合目标回报。

2.1.3.2 交叉熵损失

交叉熵损失主要用于分类任务，特别是配合 softmax（多分类）或 sigmoid（二分类）输出时。(simpling)

1. 二分类交叉熵

设真实标签 (y \in {0,1})，预测概率 (\hat{p} = \sigma(z)) 为属于正类的概率，则二元交叉熵为：

$$ \mathcal{L}_{\text{BCE}}(y,\hat{p}) = - \big( y \log \hat{p} + (1-y) \log (1-\hat{p}) \big). $$

2. 多分类交叉熵

设有 (K) 个类别，真实标签 one-hot 向量 (y \in {0,1}^K)，预测概率 (\hat{p}\in[0,1]^K)，(\sum_k \hat{p}_k=1)。多分类交叉熵为：

$$ \mathcal{L}{\text{CE}}(y,\hat{p}) = - \sum{k=1}^K y_k \log \hat{p}_k. $$

与 softmax 联用时，这个损失实际上等价于最大化真实类别对应的 log 概率。 从信息论角度看，交叉熵与 KL 散度密切相关，是衡量模型预测分布与真实分布差异的自然指标。

为什么分类不用 MSE，而更偏好交叉熵？

• 软最大 + 交叉熵组合在梯度上更“匹配”，能提供更稳定、有效的学习信号；
• 对于概率模型，交叉熵直接对应于最大似然估计，使模型输出可以被解释为概率。(Medium)

在具身智能中，当我们训练“高层离散决策”（例如动作原语的选择：抓取/放置/导航）或文本指令分类时，交叉熵是主力损失函数。

2.1.3.3 特定任务的损失

除了 MSE 与交叉熵，各类特定任务还发展出大量对应的损失设计，这里只做简要指引：

• 序列任务
  • 语言模型、动作序列预测：通常使用序列交叉熵，对每个时间步的 token/动作进行交叉熵损失求和或求平均。
  • 在 VLA 中，若动作被离散化为 token（参见第 8 章），也可以使用交叉熵学习“下一个动作 token”。
• 生成与对抗学习
  • GAN 中的对抗损失、KL 散度、Wasserstein 距离等，用于度量生成分布与真实分布的差异。
  • 对于机器人世界模型（生成未来观测/状态），常见组合是 MSE + 感知损失等。
• 几何与控制相关损失
  • 位姿误差：使用位置误差的 MSE + 姿态误差（如四元数距离）组合。
  • 轨迹平滑正则：对加速度、加加速度（jerk）的平方惩罚。
  • 碰撞惩罚：对发生碰撞的样本加上大损失，或在 RL 中赋予负奖励。

本书后续章节在具体任务中会分别介绍对应的损失设计；在本节的层级，我们只要意识到：损失函数就是把“我们想要的行为”翻译成一个可优化的数学目标。

【图 2-4 占位】 (a) MSE 对预测值的曲线示意；(b) 交叉熵随预测正确类别概率变化的曲线示意，直观展示它们对误差的惩罚差异。

2.1.4 反向传播算法与链式法则

前面的所有内容——网络结构、激活函数、损失函数——最终都要通过反向传播（Backpropagation）来连接：我们需要计算损失对每一个参数的梯度，从而用优化算法（如 SGD、Adam）更新参数。反向传播本质上就是把多元微积分里的链式法则，以系统化的方式应用到计算图上。(深度学习导引)

2.1.4.1 链式法则

在 1.3 节中已经回顾过单变量和多变量的链式法则，这里结合神经网络做一个针对性的强化。

假设有复合函数：

$$ y = f(g(x)), $$

则对 (x) 的导数为

$$ \frac{\mathrm{d}y}{\mathrm{d}x} = f’(g(x)) \cdot g’(x). $$

推广到多维情况，如果

$$ \begin{aligned} u &= g(x_1, x_2, \dots, x_n), y &= f(u), \end{aligned} $$

则对某个输入 (x_i) 的偏导数为

$$ \frac{\partial y}{\partial x_i} = \frac{\partial y}{\partial u} \cdot \frac{\partial u}{\partial x_i}. $$

在神经网络中，每一层的输出都是前一层输出的函数，整个网络就是大量函数的复合。因此，只要我们能写出每个小步骤的导数，就可以通过链式法则逐层把梯度传回去。

2.1.4.2 反向传播算法

考虑一个简单的两层网络：

$$ \begin{aligned} h &= \sigma(W_1 x + b_1), \hat{y} &= \phi(W_2 h + b_2), \mathcal{L} &= \ell(\hat{y}, y), \end{aligned} $$

目标是计算 (\frac{\partial \mathcal{L}}{\partial W_1}, \frac{\partial \mathcal{L}}{\partial b_1}, \frac{\partial \mathcal{L}}{\partial W_2}, \frac{\partial \mathcal{L}}{\partial b_2})。

前向传播（forward pass）：

1. 从输入 (x) 出发，依次计算： (z_1 = W_1 x + b_1,\ h = \sigma(z_1),\ z_2 = W_2 h + b_2,\ \hat{y} = \phi(z_2),\ \mathcal{L} = \ell(\hat{y}, y))。

反向传播（backward pass）：

1. 先计算损失对输出的梯度 (\frac{\partial \mathcal{L}}{\partial \hat{y}} = \nabla_{\hat{y}} \ell(\hat{y}, y))；
2. 对输出层做链式法则： $$ \frac{\partial \mathcal{L}}{\partial z_2} = \frac{\partial \mathcal{L}}{\partial \hat{y}} \cdot \phi’(z_2), $$ $$ \frac{\partial \mathcal{L}}{\partial W_2} = \frac{\partial \mathcal{L}}{\partial z_2} \cdot h^\top, \quad \frac{\partial \mathcal{L}}{\partial b_2} = \frac{\partial \mathcal{L}}{\partial z_2}. $$
3. 把梯度“传回”隐藏层： $$ \frac{\partial \mathcal{L}}{\partial h} = W_2^\top \frac{\partial \mathcal{L}}{\partial z_2}. $$
4. 对隐藏层做链式法则： $$ \frac{\partial \mathcal{L}}{\partial z_1} = \frac{\partial \mathcal{L}}{\partial h} \odot \sigma’(z_1), $$ $$ \frac{\partial \mathcal{L}}{\partial W_1} = \frac{\partial \mathcal{L}}{\partial z_1} \cdot x^\top, \quad \frac{\partial \mathcal{L}}{\partial b_1} = \frac{\partial \mathcal{L}}{\partial z_1}. $$

其中 (\odot) 表示按元素乘。

这一过程可以抽象描述为：

• 前向：从输入到输出，保存中间结果（如每一层的 (z, h)）。
• 反向：从输出到输入，逐层应用链式法则，把 (\partial \mathcal{L}/\partial(\text{当前变量})) 传递给前一层，同时计算相应参数的梯度。

反向传播的核心思想在 20 世纪 80 年代已经提出，是现代深度学习训练的核心算法。更形式化地看，它是**反向模式自动微分（reverse-mode automatic differentiation）**在神经网络上的一个具体实现。(cs.toronto.edu)

【图 2-5 占位】 以简单两层 MLP 为例，画出前向图与反向箭头：从输入开始向前计算，再从损失节点反向传播梯度到各层权重的示意图。

2.1.4.3 计算图与自动求导

手工推导复杂网络的梯度既繁琐又容易出错。现代深度学习框架（PyTorch、TensorFlow、JAX 等）普遍采用**计算图（Computational Graph）+ 自动求导（Automatic Differentiation，Autograd）**机制，大幅简化了开发工作。(深度学习导引)

1. 计算图

在前向计算时，框架会构建一个有向无环图（DAG）：

• 节点：变量或中间结果（张量）；
• 边：由某个算子（加法、矩阵乘法、激活函数等）连接输入与输出。

例如一个简单表达式：

$$ y = (x_1 \cdot x_2 + \sin x_1)^2 $$

即可被拆成若干节点：乘法、加法、sin、平方等。

2. 自动求导（Autograd）

自动求导是一类算法族，目标是在计算图上高效、精确地实现链式法则。(Medium)

• 在前向传播阶段，框架记录每一步操作以及输入/输出；
• 在调用 .backward()、grad() 等接口时，框架从损失节点开始，沿计算图反向遍历，逐个节点应用链式法则，自动得到所有需要的梯度；
• 这一过程就是反向模式自动微分（reverse-mode AD），对“多参数、单输出”的场景（典型的神经网络训练）非常高效。

3. 静态图 vs 动态图

• 静态图（如早期 TensorFlow）：先定义好计算图，再执行；优化空间大，但调试不直观。
• 动态图（如 PyTorch）：前向执行时即时构图，更接近命令式编程，易于调试与与 Python 生态结合。

无论哪种形式，对使用者来说，最重要的是理解：框架帮你做的是链式法则的机械应用，但你仍然需要明白梯度是什么、如何影响训练。本节的理论理解会在后续你阅读复杂 VLA 模型代码（尤其是自定义算子、非标准损失）时发挥作用。

【图 2-6 占位】 简单计算图示例：以 (y = (x_1 \cdot x_2 + \sin x_1)^2) 为例，画出节点和有向边，并用另一幅图显示从 (y) 反向传播到 (x_1, x_2) 的梯度流向。

到此为止，我们已经构建了深度学习中“最小工作单元”的全景： 结构 =（前馈网络） + 非线性（激活函数） + 目标（损失函数） + 训练机制（反向传播与自动求导）。

在接下来的 2.2 和 2.3 节，我们将在此基础上讨论深层网络训练技巧、卷积与序列建模，并逐步走向 Transformer 与 VLA 的整体结构，为后面在机器人具身智能中的大规模模型应用做好准备。

2.2 深度网络训练技巧

下面直接进入 2.2 这一小节的具体内容。你可以把它当作“深度网络工程训练实战篇”的第一部分：在后面训练大规模 VLA / 机器人模型时，这些都是每天会用到的“基本功”。

2.2 深度网络训练技巧概览（引入）

在第 1 章我们从优化角度讨论了梯度下降、学习率、收敛等概念，这一节则更偏工程实践：同样一个网络结构，训练得好不好、稳不稳，很大程度取决于权重初始化、归一化、正则化以及训练过程的监控与调度。 对于后面要训练的 Transformer、视觉骨干、甚至整套 VLA 模型，这些技巧是保证“能训起来”的前提。

2.2.1 权重初始化与梯度消失 / 爆炸问题

2.2.1.1 参数初始化策略：Xavier、Kaiming 等

（1）为什么初始化是个严肃问题？

设一层全连接网络 $$ y = Wx + b $$ 其中 (x \in \mathbb{R}^{n_{\text{in}}})，(y \in \mathbb{R}^{n_{\text{out}}})，权重 (W_{ij}) 独立同分布，均值为 0、方差为 (\sigma^2)。如果输入各维方差相同且独立，可推得每个输出维的方差约为 $$ \mathrm{Var}(y_j) \approx n_{\text{in}} \sigma^2 ,\mathrm{Var}(x). $$

• 如果 (\sigma^2) 选得太大，随着层数加深，激活的方差会迅速变大，前向信号“发散”，后向梯度也会爆炸。
• 如果 (\sigma^2) 选得太小，信号层层被压缩，最后几乎全是 0，导致梯度消失。

初始化的目标：让每一层输出的方差与输入大致相当，从而在多层堆叠后，既不过度放大也不过度衰减。(Pinecone)

（2）Xavier / Glorot 初始化

Xavier（也叫 Glorot）初始化假设激活函数是对称且不过度饱和的（如线性、tanh），希望同时在前向与反向传播中都保持方差稳定。基本思想是根据 fan-in 和 fan-out 调整权重方差：(Pinecone)

• fan-in：该层每个神经元的输入维数 (n_{\text{in}})；
• fan-out：输出维数 (n_{\text{out}})。

典型设置： $$ \mathrm{Var}(W) = \frac{2}{n_{\text{in}} + n_{\text{out}}}. $$

实现上常见两种形式：

• 均匀分布： $$ W_{ij} \sim U\left[-\sqrt{\frac{6}{n_{\text{in}} + n_{\text{out}}}},\ \sqrt{\frac{6}{n_{\text{in}} + n_{\text{out}}}}\right] $$
• 正态分布： $$ W_{ij} \sim \mathcal{N}\left(0,\ \frac{2}{n_{\text{in}} + n_{\text{out}}}\right). $$

在 PyTorch 等框架中，这通常对应 xavier_uniform_ / xavier_normal_。对于卷积层，fan-in/out 会包含卷积核大小（如 (C_{\text{in}} \times k_h \times k_w)）。(PyTorch 文档)

（3）Kaiming / He 初始化

ReLU 及其变体（LeakyReLU、GELU 等）在负半轴直接截断，会把方差“砍掉一半”左右，Xavier 初始化没有考虑这一点。Kaiming He 等人推导得到对 ReLU 更合适的方差：(www.abhik.xyz)

• 对标准 ReLU： $$ \mathrm{Var}(W) = \frac{2}{n_{\text{in}}}. $$
• 对 LeakyReLU（负半轴斜率为 (a)）等，可推广为： $$ \mathrm{Var}(W) = \frac{2}{(1 + a^2) n_{\text{in}}}. $$

实现时常用：

• kaiming_normal_(..., mode='fan_in', nonlinearity='relu')
• kaiming_uniform_(...)

它的目标是维持前向信号的方差稳定，从而在很多层 ReLU 堆叠后不会过快衰减或发散。

（4）实践建议与偏置初始化

• 多层感知机 + ReLU：优先选用 Kaiming 初始化；tanh / sigmoid 仍可以使用 Xavier。
• 卷积网络：同样使用 Xavier/Kaiming，只是 fan-in/out 的计算要把卷积核大小考虑进去。(Pinecone)
• 偏置项通常初始化为 0（或小常数），避免引入额外偏移。
• RNN 常使用正交初始化（Orthogonal），以在时间维上更好地保持梯度范数。

【图 2-2-1 占位】 示意图：横轴为层数，纵轴为激活方差，比较“随机大值初始化”（方差迅速爆炸）、“随机小值初始化”（方差迅速衰减）和“Xavier / Kaiming 初始化”（方差在合理区间内平稳）的三条曲线。

2.2.1.2 梯度消失与梯度爆炸

（1）现象描述

• 梯度消失：反向传播时，越靠近输入层的梯度越小，接近 0，导致这些层几乎不更新，看起来像“白学了”。
• 梯度爆炸：梯度在反向传播中被成倍放大，最终变得非常大，引起参数更新剧烈震荡甚至出现 NaN。

这两个问题在深层网络和时间展开很长的 RNN 中尤为常见。

（2）从“链式法则”的角度看

假设一个 L 层网络，损失对第 (l) 层激活 (h^{(l)}) 的梯度可以写成一串雅可比矩阵的乘积： $$ \frac{\partial \mathcal{L}}{\partial h^{(l)}}

\frac{\partial \mathcal{L}}{\partial h^{(L)}} \prod_{k=l+1}^{L} \frac{\partial h^{(k)}}{\partial h^{(k-1)}}. $$

每个 (\frac{\partial h^{(k)}}{\partial h^{(k-1)}}) 的“平均尺度”如果略小于 1，很多层相乘后就指数级趋近于 0；略大于 1，就指数级增长。配合饱和型激活函数（sigmoid / tanh 在两端导数接近 0），非常容易出现梯度消失。(Pinecone)

在 RNN 中，这个乘积沿着时间展开，更容易出问题：

$$ \frac{\partial \mathcal{L}T}{\partial h_t} ;=; \frac{\partial \mathcal{L}T}{\partial h_T} \prod{k=t+1}^{T} \frac{\partial h_k}{\partial h{k-1}}. $$

当序列很长时，远处的梯度要么弱得像“幽灵”，要么强得像“爆炸”。

（3）对训练的影响

• 梯度消失：
  • 靠近输入的层训练极慢，网络只能“学会”靠后的几层；
  • 难以捕获长距离依赖（长序列、深层语义）。
• 梯度爆炸：
  • 损失值突然暴涨，优化器步长过大直接跳出稳定区域；
  • 参数变成 NaN，训练中断。

机器人与具身智能中，任务往往涉及长时间决策序列，梯度消失 / 爆炸会直接导致策略难以学到稳定的长时行为，这也是后面在 RNN / Transformer、RL 章节要重点处理的问题。

【图 2-2-2 占位】 示意图：左图展示从输出层向前传播的梯度在层数增加时指数级衰减（梯度消失）；右图展示梯度指数级增长（梯度爆炸），对比两种极端情况。

2.2.1.3 缓解梯度消失 / 爆炸的常见方法

1. 合理的权重初始化
   • 使用 Xavier / Kaiming 等能保持前向、反向方差适中的初始化方法，是最基础的一步（见 2.2.1.1）。(Pinecone)
2. 选择合适的激活函数
   • ReLU 与其变体（LeakyReLU、ELU、GELU 等）在大部分输入区间有非零导数，相比 sigmoid/tanh 更能缓解梯度消失。
   • 同时要防止 ReLU“死亡”（大量神经元长期输出 0），通常通过 Kaiming 初始化、稍微增大学习率、或使用 LeakyReLU/GELU 来缓解。
3. 归一化技术
   • BatchNorm、LayerNorm 会在每层强行把中间激活标准化到均值接近 0、方差接近 1，从而在一定程度上阻止方差在层间无限放大或缩小。(arXiv)
   • 这也是 2.2.2 的主题。
4. 结构设计：残差连接（Residual Connections）
   • ResNet 中的 skip-connection 让梯度可以“绕过”若干非线性层直接传到更前面，减少有效深度，使梯度更容易流动。
5. 梯度裁剪（Gradient Clipping）
   • 对每次反向传播得到的梯度范数做上界限制，如 $$ g \leftarrow g \cdot \min\left(1,\frac{\tau}{|g|}\right), $$ 其中 (\tau) 是预设阈值。
   • 在 RNN、RL 和真实机器人训练中非常常见，用来防止偶发的“梯度尖峰”引起训练崩溃。
6. 合理的学习率与调度
   • 过大的学习率会放大梯度爆炸的风险；过小则放大梯度消失的效果。
   • 第 2.2.4 节会系统讨论学习率调度和训练监控。

2.2.2 Batch Normalization / LayerNorm 等归一化技术

归一化（Normalization）的核心思想是：在每一层把神经元的激活“拉回到一个合适的统计范围”，让优化问题变得更稳定。这在深层网络中特别重要。

2.2.2.1 批归一化（Batch Normalization）

BatchNorm 由 Ioffe 和 Szegedy 提出，用来缓解所谓的“内部协变量偏移”（internal covariate shift）——即某一层输入的分布，随着前面层参数更新不断变化，从而让这一层不停适应新分布，训练变慢。(arXiv)

尽管后续研究发现“内部协变量偏移”并非 BN 有效性的根本解释，但 BN 在实践中确实显著加速收敛、稳定训练，并带来一定正则化效果。(维基百科)

（1）前向计算公式

对一个 mini-batch (B = {x_1,\dots,x_m})，对每个通道 / 特征维度 (k)，计算：

• 均值： $$ \mu_B^{(k)} = \frac{1}{m} \sum_{i=1}^m x_i^{(k)} $$
• 方差： $$ (\sigma_B^{(k)})^2 = \frac{1}{m} \sum_{i=1}^m \big(x_i^{(k)} - \mu_B^{(k)}\big)^2 $$

然后标准化： $$ \hat{x}_i^{(k)} = \frac{x_i^{(k)} - \mu_B^{(k)}}{\sqrt{(\sigma_B^{(k)})^2 + \varepsilon}} $$

再通过可学习的缩放和平移参数： $$ y_i^{(k)} = \gamma^{(k)} \hat{x}_i^{(k)} + \beta^{(k)} $$ 其中 (\gamma, \beta) 也是模型参数，可以恢复或改变归一化后的分布。(Medium)

在卷积网络中，BN 一般对“batch × 空间维度（H×W）”整体求通道均值与方差。

（2）训练 vs 推理（inference）

• 训练阶段：使用当前 mini-batch 的统计量 (\mu_B, \sigma_B^2)。
• 推理阶段：使用滑动平均累积的“全局均值 / 方差”，避免单个 batch 不稳定。

（3）BN 的作用与局限

• 允许使用更大的学习率，加速收敛；
• 在一定程度上减轻了初始化敏感性；
• mini-batch 统计带来的噪声本身具有正则化效果，有时可以减弱 Dropout 强度；(arXiv)
• 对 batch size 非常敏感：当 batch 很小时（如 2～8），估计的方差很不稳定，这时往往需要使用 GroupNorm、LayerNorm 等替代方案。

【图 2-2-3 占位】 示意图：展示一层网络中“线性变换 → BatchNorm（减均值 / 除标准差 / 乘 γ 加 β）→ 非线性激活”的数据流。

2.2.2.2 层归一化（LayerNorm）

LayerNorm 由 Ba 等人提出，最初就是为了解决 BN 在 RNN 等场景中不易使用的问题。核心区别在于：BN 是在 batch 维上做统计，而 LN 是在“特征维”上对单个样本做统计。(arXiv)

给定单个样本的隐藏状态向量 (\mathbf{h} \in \mathbb{R}^d)，LN 计算：

$$ \mu = \frac{1}{d}\sum_{j=1}^{d} h_j,\quad \sigma^2 = \frac{1}{d}\sum_{j=1}^{d} (h_j - \mu)^2 $$ $$ \hat{h}_j = \frac{h_j - \mu}{\sqrt{\sigma^2 + \varepsilon}},\quad y_j = \gamma_j \hat{h}_j + \beta_j $$

特点：

• 与 batch size 无关，非常适合小 batch 或 batch=1 的场景；
• 训练和推理阶段完全一致，无需维护滑动平均；
• 已成为 Transformer 中的标准组件（前 / 后 LayerNorm）。

（3）其他归一化变体（了解即可）

• InstanceNorm：对每个样本、每个通道单独在空间维上归一化，多用于风格迁移等视觉任务。
• GroupNorm：将通道分组，每组内部做归一化，兼具 BN/LN 的一些优点，适合小 batch 的 CNN。(d2l.ai)

在后续的视觉与 VLA 模型中，你会看到：CNN 常用 BN / GroupNorm，Transformer 常用 LayerNorm / RMSNorm，这是由各自的数据形式和训练方式决定的。

2.2.2.3 归一化技术的作用与实践要点

1. 稳定中间层分布，改善优化几何归一化相当于把每一层的输入都“重置”到均值零、方差一的尺度上，使得损失函数在参数空间中更“平滑”，从而允许更大的学习率、加速收敛。理论和实证研究都表明 BN/LN 的主要收益与平滑损失景观密切相关。(维基百科)
2. 提高训练速度与深度可达性
   • VGG 这类极深网络在引入 BN 后变得更容易训练；
   • 在 Transformer 中，如果没有 LN，几十层的深度几乎无法稳定收敛。
3. 正则化效果
   • BN 通过 batch 统计引入噪声，有类似模型集成的效果，对过拟合有抑制；
   • 这也意味着BN + 强 Dropout 有时反而会伤害性能，需要适度调整。(arXiv)
4. 机器人 / 具身智能中的注意点
   • 在强化学习或机器人场景中，输入数据往往不是独立同分布（non-iid），BN 的 batch 统计可能与策略变化纠缠在一起，导致不稳定；这时 LayerNorm 或不依赖 batch 统计的归一化往往更稳定。
   • 对多模态输入（图像、关节状态、语言 embedding）时，可以分别在各模态分支中使用最合适的归一化方式，再做融合。

2.2.3 Dropout、数据增广等正则化方法

为了防止第 1.4 节所说的过拟合，深度学习发展出一系列正则化手段，其中 Dropout 和数据增广几乎出现在所有成功的视觉 / 语言 / 机器人模型中。

2.2.3.1 Dropout：随机丢弃神经元

Dropout 由 Srivastava 等人提出，本质上是一种随机丢弃神经元的模型集成方法。训练时，每个神经元以一定概率被“关掉”，迫使网络不能依赖某些特定特征，从而降低过拟合。(机器学习研究杂志)

（1）数学形式（以“反向缩放”实现为例）

给定一层的激活 (h)，生成掩码向量 (m)，其中每个元素独立服从 Bernoulli 分布：

$$ m_i \sim \mathrm{Bernoulli}(p_{\text{keep}}), $$

然后在训练时计算：

$$ \tilde{h}i = \frac{m_i}{p{\text{keep}}} h_i. $$

这样 (\mathbb{E}[\tilde{h}_i] = h_i)，保证训练和测试阶段的激活期望一致。 测试时则不再随机丢弃，而是使用完整网络（或在权重上做等价缩放）。

（2）直观理解

• 每次训练都在随机采样一个“变薄的子网络”（thinned network），不同子网络共享权重；
• 测试时等价于对大量子网络做平均（ensemble）；
• 因为神经元不能依赖于固定的“队友”，模型被迫学到更鲁棒、更分散的特征。

（3）实践经验

• 全连接层常用 dropout rate 在 0.1～0.5 之间；
• 卷积层中，如果直接对单个像素位置做 Dropout，效果往往一般，可以使用更结构化的 SpatialDropout / DropBlock 等变体；(ScienceDirect)
• 与 BatchNorm 叠加时要小心，一般将 Dropout 放在 BN 之后、激活函数之后，且强度不宜过大。

【图 2-2-4 占位】 示意图：左边是完整网络，右边是训练时启用 Dropout 后“随机熄灭部分神经元”的网络，配上测试阶段使用完整网络的说明。

2.2.3.2 数据增广：让数据“学会变身”

数据增广（Data Augmentation）通过对已有样本做各种变换，在不改变标签的前提下制造更多样本，是深度学习中效果最直接的正则化手段之一。(ScienceDirect)

（1）图像任务中的经典增广

几乎所有视觉模型都会用到以下几类增广：(forever_happiness)

• 几何变换：随机水平翻转、旋转、平移、缩放、裁剪；
• 光照 / 颜色变换：亮度、对比度、饱和度、色相扰动，加入高斯噪声、模糊等；
• 遮挡 / 混合类增广：
  • Cutout：随机挖掉图像中的方块区域；
  • Mixup：将两张图像按比例线性混合、标签也加权混合；
  • CutMix：剪切一块图像贴到另一张上，同时按面积混合标签。(Medium)

这些方法可以显著提升模型在噪声、遮挡和标签噪声条件下的鲁棒性。

（2）具身智能场景下的数据增广

对于机器人场景，我们可以在更多模态上做增广和“域随机化”（Domain Randomization）：

• 视觉增广：改变背景纹理、光照条件、物体颜色、摄像机视角等，使模型不过度依赖特定桌面材质或灯光；
• 状态 / 轨迹增广：对关节角、末端位姿、动作加入小扰动，保证物理可行的前提下丰富轨迹分布；
• 语言增广：对指令做同义改写、改变语序而不改变语义；
• 在仿真中更激进地随机环境参数（摩擦系数、物体质量），为后续的 Sim2Real 做铺垫。

【图 2-2-5 占位】 示意图：展示同一个机器人抓取场景的原图与若干增广结果（光照改变、背景纹理随机、遮挡、颜色扰动等）。

2.2.3.3 其他正则化：L1/L2、BatchNorm 的正则作用、模型集成

（1）L2 正则化 / 权重衰减（Weight Decay）

在损失函数中附加惩罚项： $$ \mathcal{L}{\text{total}} = \mathcal{L}{\text{task}} + \lambda |W|_2^2 $$

对梯度下降而言，等价于在每轮更新中给权重乘上一个略小于 1 的系数（向 0 收缩），抑制权重无限变大，有助于提高泛化能力。(d2l.ai)

• 在纯 SGD 下，L2 正则与显式的 weight decay 本质等价；
• 在 Adam / AdamW 等自适应优化中，两者存在差别，实践中更推荐使用“解耦的权重衰减”（AdamW）。

（2）L1 正则化

• 惩罚项为 (\lambda |W|_1)，鼓励参数稀疏；
• 用于特征选择或模型压缩时常见，在大规模深网中使用频率相对较低。

（3）BatchNorm 的正则化效果

• 前面的 2.2.2 已经提到，BN 利用 batch 统计带来的噪声，实际上起到了一定“模型集成”的作用；
• 有研究指出，在存在 BN 等归一化层时，L2 正则的“真正作用”更多是调整有效学习率，而不是传统意义上控制模型容量。(arXiv)

（4）模型集成（Ensemble）

• 训练多个结构相同但初始化不同的模型，对其输出取平均，可以显著提高泛化性能；
• 在机器人场景中，完整 ensemble 会带来较大计算成本，但可以在离线阶段或关键任务上使用；
• Dropout、BN 等都可以视为隐式 ensemble 的一种。

总体来说，在真实机器人数据昂贵、样本有限的条件下，数据增广 + 适度的权重衰减 + 归一化，往往比单纯加大 Dropout 更有效、更稳定。

2.2.4 训练监控：损失曲线、学习率调度、早停策略

深度网络训练是一个动态过程，不是“一键跑完看结果”。对损失与指标的持续监控、适当调整学习率以及使用早停策略，是保证训练效率和避免过拟合的关键。

2.2.4.1 监控损失曲线与训练状态

（1）训练集 vs 验证集

• 训练集损失：反映模型对已见数据的拟合程度；
• 验证集损失 / 指标：反映模型对未见数据的泛化性能；
• 通常每若干 step 或每个 epoch 记录一次两者的曲线，并可视化（如 TensorBoard、Weights & Biases 等）。

在机器人 / RL 场景中，验证指标可以是：

• 平均回报（average return）；
• 任务成功率（success rate）；
• 任务完成时间、路径长度等。

（2）典型曲线形态与诊断

1. 正常收敛：
   • 训练损失稳步下降；
   • 验证损失也下降并最终趋于平稳；
   • 说明模型容量和正则化基本合适。
2. 欠拟合：
   • 训练和验证损失都高，且都不再明显下降；
   • 可能的原因：模型太小、训练轮数不够、学习率过低或特征表达不足。
3. 过拟合：
   • 训练损失持续下降；
   • 验证损失先降后升，出现“U 型”或“碗型”曲线；
   • 表明模型已经开始记忆训练噪声，这时应增加正则化或使用早停。(Medium)
4. 训练不稳定 / 发散：
   • 损失忽然剧烈抖动或直冲无穷大，甚至 NaN；
   • 常见原因：学习率过大、梯度爆炸、数值不稳定（如 log(0)）。

【图 2-2-6 占位】 示意图：画出“正常收敛”“欠拟合”“过拟合”三种场景下的训练/验证损失曲线，并用标注指出过拟合开始点。

2.2.4.2 学习率调度：从“粗调”到“精调”

学习率（learning rate）是影响训练速度和稳定性最敏感的超参数之一。很多现代训练策略都会对学习率做随时间变化的调度（schedule）。(arXiv)

（1）为什么需要学习率调度？

• 初期希望快速探索、跳出不良局部极小和鞍点——需要较大的学习率；
• 后期希望细致“打磨”参数——需要较小的学习率以免在最优点附近抖动；
• 固定学习率往往很难兼顾这两种需求。

（2）常见学习率调度策略

1. 阶梯衰减（Step Decay）
   • 每过若干 epoch（如 30、60、90）就将学习率乘以一个固定因子（如 0.1）；
   • 经典 CNN 训练（如 ResNet）中很常见。
2. 指数 / 多项式衰减
   • 按 epoch 或 step 指数级减小学习率，平滑一些，但超参数较多。
3. 余弦退火（Cosine Annealing）
   • Loshchilov & Hutter 在 SGDR 中提出的一类调度：(arXiv) $$ \eta_t = \eta_{\min} + \frac{1}{2}(\eta_{\max} - \eta_{\min}) \left(1 + \cos\frac{T_{\text{cur}}}{T_{\max}}\pi\right), $$ 其中 (T_{\text{cur}}) 是当前 step，(T_{\max}) 是一个周期长度。
   • 学习率随训练呈“半个余弦”缓慢减小，比阶梯衰减平滑；
   • 在很多视觉与 Transformer 训练中表现良好。
4. 余弦退火 + 重启（Cosine Annealing with Warm Restarts, SGDR）
   • 当学习率降低到很小值后，突然“重启”回大值，再一次余弦衰减，如此周期往复；
   • 可以帮助模型反复跳出局部极小，获得更好的最终结果。
5. 循环学习率（Cyclical LR）与 One-cycle Policy
   • 学习率在一个区间内来回震荡（上升再下降），有助于快速找到合适区域；
   • One-cycle 策略常用于大批量、短训练任务。

（3）Warmup（预热）

大模型、尤其是 Transformer，在训练开始时对大学习率非常敏感，容易发散。常用的技巧是在前若干 step/epoch 使用“学习率线性增加”的 warmup：

• 从非常小的值开始，逐步线性增至目标学习率；
• Warmup 结束后再接上余弦退火或其他调度。(ResearchGate)

【图 2-2-7 占位】 示意图：绘制常数学习率、阶梯衰减、余弦退火和带 warmup 的余弦退火曲线，直观比较不同策略随时间的变化。

在后续训练 VLA 大模型（第 9 章）时，Warmup + 余弦退火会是一个非常常见的默认配置。

2.2.4.3 早停（Early Stopping）：在最合适的时候“踩刹车”

早停是一种非常实用、实现简单的正则化技巧：当模型在验证集上的性能不再提升甚至开始下降时，提前停止训练，并回滚到效果最好的那一轮。(Medium)

（1）基本流程

1. 划分出验证集或验证任务集；
2. 在训练过程中定期评估验证指标（如验证损失、准确率、成功率等）；
3. 维护一个“最佳验证指标”和对应模型参数的缓存；
4. 当连续若干次评估（patience）都没有改善时，停止训练，将模型恢复到最佳状态。

（2）超参数与实现细节

• 监控指标：
  • 通常选择验证损失 / 准确率；
  • 在机器人任务中可以选择任务成功率、平均回报等。
• patience（耐心）：
  • 过小：可能在指标随机波动时误判“变差”；
  • 过大：早停效果变弱；
  • 实践中可以从 5～10 个评估周期起步，根据任务调整。(GeeksforGeeks)
• 最小训练轮数：
  • 避免一开始就触发早停，一般设置一个最小 epoch 数，如至少训练 20～30 个 epoch 后才考虑早停。

（3）在 RL / 机器人任务中的注意点

• RL 中性能波动较大，单次评估的噪声很高；
• 可以采用：
  • 在多个随机种子、多个环境实例上取平均；
  • 使用滑动平均平滑验证曲线；
  • 提高 patience，以免过早停止。

【图 2-2-8 占位】 示意图：显示验证集指标随 epoch 变化，在某一点达到峰值后出现下降，并标出早停触发的位置。

小结：从这一节过渡到更大规模模型训练

2.2 小节从权重初始化 → 归一化 → 正则化 → 训练监控与调度，搭起了“如何把一个深度网络训稳、训好”的基本框架。这些技巧在后续章节会不断复用：

• 在第 2.4 节 Transformer 结构中，你会看到 LayerNorm + 残差连接如何让数十层网络可训练；
• 在第 9 章 VLA 预训练与模仿学习中，我们会具体讨论如何结合数据增广、学习率调度和早停，稳健地训练大规模视觉–语言–动作模型；
• 在第 5、7 章强化学习和仿真环境中，梯度稳定性与正则化会直接决定机器人策略能否安全收敛。

掌握了这一节的内容，就相当于为后面所有“大模型 + 机器人”的实验打好了一个坚实的“工程地基”。

2.3 卷积与序列建模

2.3.1 卷积神经网络（CNN）基本结构与感受野

卷积神经网络是现代视觉感知的“工作马”，几乎所有机器人视觉系统——从桌面机械臂抓取、移动机器人导航，到自动驾驶感知——都在某种形式上依赖 CNN。与前面介绍的全连接网络相比，CNN 利用了图像的“局部性”和“平移不变性”，大幅减少参数并提升泛化能力。

2.3.1.1 卷积运算

从直觉上看，卷积就是拿一个小窗口（卷积核，kernel），在图像上滑动，在每个位置做“加权求和”，得到该位置的特征响应。每种卷积核都在寻找一种特定的局部模式：水平边缘、垂直边缘、角点、某种纹理等。

设输入为三通道图像 (x \in \mathbb{R}^{H \times W \times C})，卷积核大小为 (K_h \times K_w)，通道数与输入相同，为 (C)，则输出特征图某个通道在位置 ((i,j)) 的值可写成：

$$ y_{i,j} = \sum_{c=1}^{C} \sum_{m=0}^{K_h-1} \sum_{n=0}^{K_w-1} w_{c,m,n} , x_{c,i+m,j+n} + b, $$

其中 (w) 是卷积核参数，(b) 是偏置。通过在空间上滑动卷积核，可以得到一整张输出特征图。步幅（stride）控制滑动步长，填充（padding）决定是否在边界补零以控制输出大小。(cs231n.github.io)

与全连接层相比，卷积有两个核心特点：

• 局部连接：每个输出神经元只与输入的一个局部区域相连，而不是与整张图像相连。
• 参数共享：同一个卷积核在不同位置复用，检测“同一种模式在不同位置是否存在”。

这样的设计使 CNN 特别适合图像和深度图等“具有空间结构”的输入：对于机器人而言，无论物体出现在图像左上角还是右下角，只要模式相同，卷积核都能给出相似的响应。

【图 2-XX：2D 卷积运算示意图——3×3 卷积核在灰度图像上滑动，标出一个位置处的卷积计算过程（图片占位）】

2.3.1.2 CNN 层级结构

单层卷积只能看到很局部的模式；而深度 CNN 通过多层堆叠，逐步从“像素”上升到“语义”。

典型 CNN 的主干结构可以抽象为反复堆叠的模块：

卷积层（Conv） → 非线性激活（如 ReLU）→（可选）池化或下采样

底层卷积核通常会学到非常简单的局部特征，例如水平或垂直边缘、角点等；中层逐渐聚合这些低级特征，形成纹理、局部形状（如圆弧、孔洞）；高层则组合出更抽象的概念，如物体部件（车轮、桌面边缘）乃至整个物体类别的典型轮廓。(cs231n.github.io)

对于具身智能中的机器人，这种层级表示非常关键：

• 底层特征帮忙分辨边缘、空隙等几何信息，有利于抓取点或障碍物边界的估计；
• 高层特征则更多编码“这是杯子”“这是抽屉把手”这样的语义信息，方便上层决策模块根据人类指令（如“拿起杯子”）去关联对应视觉区域。

【图 2-XX：CNN 层级特征示意图——从输入图像开始，展示浅层特征图（突出边缘）、中层特征图（纹理/轮廓）、深层特征图（物体部件）（图片占位）】

2.3.1.3 感受野

感受野（receptive field） 指的是，网络中某一层的一个神经元在原始输入上“能看到”的区域大小——即输入图像中有哪一块区域会影响到这个神经元的输出。(AI Summer)

需要特别区分：

• 卷积核大小：某一层卷积操作本身的窗口大小，例如 3×3、5×5。
• 感受野大小：考虑到前面所有层（卷积、池化、下采样）的组合效果后，高层单元在原始输入上的覆盖范围。

一个简单例子：连续堆叠两层 3×3、stride=1 的卷积（假设无池化），看起来每层都只看 3×3 的局部，但第二层的每个神经元实际上已经“间接看到了”输入的 5×5 区域——第一层每个单元看 3×3，第二层再在这些单元上卷积 3×3，两者叠加扩张了实际感受野。随着层数增加，感受野会越来越大。(ultralytics.com)

更严格地，若第 (l) 层卷积核大小为 (k_l)，步幅为 (s_l)，则可以递推该层感受野大小 (r_l) 和“步距” (j_l)：

$$ \begin{aligned} r_l &= r_{l-1} + (k_l - 1), j_{l-1}, j_l &= j_{l-1} \cdot s_l, \end{aligned} $$

其中第 0 层（输入）有 (r_0 = 1, j_0 = 1)。我们不必在实践中手算所有层的感受野，但要形成直觉：

• 堆叠小卷积核（例如多层 3×3）可以渐进扩大感受野；
• 下采样（stride 或池化）会让每个高层单元对应更大的输入区域。

更进一步的研究指出，有效感受野（effective receptive field） 往往比理论计算的小——中心区域对输出影响最大，边缘区域的权重逐渐减弱，大致近似高斯分布。(NeurIPS Proceedings)

对机器人来说，感受野大小直接影响行为安全性与全局规划能力：

• 如果用于抓取的视觉特征感受野太小，模型可能只看到目标物体的一角，而忽略桌边、障碍物等关键信息；
• 在导航任务中，如果高层特征感受野不足，机器人难以从单帧图像中理解整个通道或房间布局，会造成局部最优、反复“来回试探”。

后续 2.3.2 中的池化与特征金字塔，以及 3 章中的视觉主干选择，本质上都在围绕“如何在不同尺度与足够大的感受野之间做平衡”。

【图 2-XX：感受野随网络深度扩大的示意图——三层 3×3 卷积叠加后，高层单元对应输入上较大的方块区域（图片占位）】

2.3.2 池化、下采样与特征金字塔

卷积层负责发现局部模式，而池化和下采样则在空间尺度上“压缩信息”，构建多尺度表示。对于机器人来说，这关系到：

• 模型是否能在有限算力下实时运行；
• 是否能同时识别远处的大物体和近处的小物体；
• 是否对相机轻微抖动、物体位置的小变化保持鲁棒。

2.3.2.1 池化层

池化（Pooling） 是在局部窗口内对特征进行聚合的操作，其输入是一张特征图，输出为尺寸更小的特征图。常见形式包括最大池化（Max Pooling）和平均池化（Average Pooling）。(geeksforgeeks.org)

设输入特征图为 (x \in \mathbb{R}^{H \times W \times C})，池化窗口大小为 (f \times f)，步幅为 (s)，则最大池化可写成：

$$ y_{i,j,c} = \max_{0 \le m, n < f} x_{is+m,, js+n,, c}, $$

平均池化则是取窗口内所有值的平均。

从效果上看：

• 最大池化：保留局部区域内最强的激活，适合回答“这里是否存在某种特征”；
• 平均池化：平均化局部响应，更关注整体强度，起到一定平滑和去噪作用；
• 全局平均池化（Global Average Pooling）：对整张特征图在空间维度上取平均，将每个通道压缩为一个数，常用来替代最后的全连接层。(Towards AI)

池化的主要作用包括：(Milvus)

• 降低空间维度：缩小特征图尺寸，减少后续层的参数和计算量；
• 抑制过拟合：通过聚合邻域信息，减少模型对单个像素噪声的敏感度；
• 提升平移不变性：微小位置偏移在池化后往往不会改变聚合结果，使模型对物体位置变化更鲁棒。

在机器人视觉中，池化有助于应对：相机轻微抖动、机器人自身微小位姿变化导致的图像差异，使感知对高层任务而言更加“稳定”。

【图 2-XX：池化层示意图——左侧为输入特征图，局部 2×2 区域通过最大池化或平均池化被压缩成单个值，右侧为下采样后的特征图（图片占位）】

2.3.2.2 下采样的作用

下采样（Downsampling） 并不局限于显式的池化层，使用卷积层时将步幅设为大于 1（如 stride=2）同样可以实现下采样效果。(cs231n.github.io)

从信号处理的视角看，下采样会丢失部分高频细节，但带来几个重要好处：

1. 扩大有效感受野 每向下采样一次，后续卷积层的每一个单元对应的输入区域就成倍扩大。几层卷积 + 下采样之后，高层特征能“看到”更大的场景，用较小的特征图表达更大范围的信息，这对理解全局布局至关重要。
2. 降低计算成本 特征图尺寸每缩小一半，后续卷积的计算量大致缩小为原来的四分之一。对于需要高帧率感知的机器人系统，下采样是控制推理时间的关键手段。
3. 提高尺度与平移鲁棒性 多次下采样后的特征更关注粗尺度的语义结构，对物体位置、大小的小幅变化不敏感。这使机器人在不同距离观察同一物体时仍能做出相似判断。(Milvus)

当然，下采样也带来一个明显问题：小物体信息容易在多次压缩后消失。例如桌面上的螺丝、插头，或者远处的路标、行人，如果在感知链路中过早、过多地下采样，最终用于决策的高层特征中可能再也看不到这些小目标。这正是后面特征金字塔与 FPN 要解决的问题。

【图 2-XX：下采样级联示意——一张输入图像经过若干层卷积+下采样，特征图从 256×256 逐步缩小到 128×128、64×64、32×32 等（图片占位）】

2.3.2.3 特征金字塔应用

特征金字塔（Feature Pyramid） 的思想源自传统计算机视觉中的图像金字塔：通过对输入图像做多次下采样，在不同尺度上进行处理，从而同时兼顾大物体和小物体。深度学习时代的特征金字塔进一步利用了 CNN 各层天然具有不同分辨率的特征图。(CVF开放获取)

Feature Pyramid Network（FPN） 是这一思想的代表性结构，其核心设计包括：(CVF开放获取)

1. 自下而上的路径（Bottom-up） 主干 CNN（如 ResNet）逐层下采样，得到一系列从高分辨率到低分辨率的特征图。浅层特征分辨率高但语义弱，深层特征分辨率低但语义强。
2. 自上而下的路径（Top-down） 将最深层、语义最强的特征图通过上采样（如最近邻或双线性插值）逐层放大，再与对应的浅层特征通过横向连接（lateral connections）相加或拼接，让每一层既保留高分辨率，又拥有足够的语义信息。
3. 多尺度检测头 在构成的金字塔每一层上分别布置检测头：高分辨率层负责小物体，中等分辨率层负责中等物体，低分辨率层负责大物体。实践表明，FPN 极大提升了小物体检测性能，已成为现代目标检测框架（如 Faster R-CNN、RetinaNet）的标准组件。(arXiv)

在机器人具身智能领域，多尺度特征的价值同样显著：

• 桌面操作中，机器人既要看清“桌子整体布局”（大尺度），又要准确识别“插头孔位、螺丝孔、瓶盖刻度”（小尺度）；
• 移动机器人或自动驾驶，需要同时感知远处道路结构和近处行人脚步、小物体障碍物；
• 在复杂场景中，小目标（开关、按钮）往往决定任务是否成功，FPN 等结构因此常被用于机器人视觉感知前端。

【图 2-XX：FPN 结构示意图——底部为 CNN backbone 的多层特征图，自上而下路径通过上采样和横向连接构成多尺度特征金字塔，每一层连接到相应检测头（图片占位）】

CNN、池化、下采样和特征金字塔共同构成了现代机器人视觉中的“基础设施”。在此基础上，我们还需要处理另一类核心数据：时间序列，这正是下一小节 RNN/LSTM/GRU 所要解决的问题。

2.3.3 RNN / LSTM / GRU 的基本结构与局限性

具身智能不仅要看“这一帧是什么样子”，还要理解“之前发生了什么”、“接下来会发生什么”。机器人每一步的决策都依赖历史观测、动作和隐含的环境状态，这天然是一个时间序列问题。循环神经网络（Recurrent Neural Networks, RNN）及其门控变体 LSTM、GRU 是在 Transformer 出现之前，处理序列数据的主力模型。

2.3.3.1 RNN

循环神经网络（RNN） 的核心思想是：在每个时间步 (t)，不仅处理当前输入 (x_t)，还维护一个隐藏状态 (h_t)，用于“记住”此前的信息。更新可以写成：(Amazon Web Services, Inc.)

$$ \begin{aligned} h_t &= \phi(W_x x_t + W_h h_{t-1} + b), y_t &= W_y h_t + c, \end{aligned} $$

其中 (\phi) 通常是非线性函数（如 (\tanh)）。如果把 RNN 沿时间轴展开，可以看到它是一条链式结构：同一个单元在每个时间步重复使用，参数在时间维度共享。

直观理解：

• (h_t) 相当于到目前为止序列的“压缩记忆”；
• 给定整个输入序列 ((x_1, x_2, \dots, x_T))，RNN 依次递推，得到隐藏状态序列 ((h_1, \dots, h_T)) 和输出序列 ((y_1, \dots, y_T))。

在机器人场景中，RNN 可以用来：

• 处理关节角度、速度、力矩等时间序列，预测未来状态或控制信号；
• 对连续的视觉特征序列进行建模，例如从视频序列中推断物体动态；
• 建模传感器序列（IMU、力传感器）以检测异常模式。

然而，基础 RNN 存在明显缺陷：反向传播过程中的梯度在时间维很容易出现 消失或爆炸，使得网络难以学习长时间跨度的依赖关系。这正是 LSTM 和 GRU 被提出的背景。(ResearchGate)

【图 2-XX：RNN 展开结构示意——单个 RNN 单元在多个时间步重复，显示输入 x_t、隐藏状态 h_t 的递推关系（图片占位）】

2.3.3.2 LSTM

长短期记忆网络（Long Short-Term Memory, LSTM） 通过引入显式的“记忆单元”和门控机制，缓解了普通 RNN 的长期依赖问题。(arXiv)

LSTM 的核心是两条状态：

• 单元状态 (c_t)：用于长期存储信息，相对“直通”，可跨越多个时间步几乎不变；
• 隐藏状态 (h_t)：对外暴露的状态，用于当前预测。

以及三个门：

• 遗忘门 (f_t)：决定保留多少旧记忆；
• 输入门 (i_t)：决定写入多少新信息；
• 输出门 (o_t)：决定暴露多少记忆给当前输出。

一组典型的更新公式是：

$$ \begin{aligned} f_t &= \sigma(W_f [x_t, h_{t-1}] + b_f), i_t &= \sigma(W_i [x_t, h_{t-1}] + b_i), g_t &= \tanh(W_g [x_t, h_{t-1}] + b_g), c_t &= f_t \odot c_{t-1} + i_t \odot g_t, o_t &= \sigma(W_o [x_t, h_{t-1}] + b_o), h_t &= o_t \odot \tanh(c_t), \end{aligned} $$

其中 (\sigma) 是 sigmoid，(\odot) 为逐元素乘。

直觉上：

• 如果遗忘门 (f_t) 接近 1，输入门 (i_t) 接近 0，则 (c_t \approx c_{t-1})，网络就会“几乎原样地”把记忆传下去；
• 如果遗忘门接近 0，输入门接近 1，则 LSTM 会丢弃旧记忆并写入新内容。

这一机制使得 LSTM 在许多序列任务（语言建模、语音识别、时间序列预测等）上远优于普通 RNN，也更擅长处理长距离依赖。(arXiv)

在机器人具身智能中，可以用 LSTM 来建模：

• 长时间的操作序列，例如“开门→进入→关门→走向桌子→抓取杯子→放进柜子”，帮助机器人记住所处阶段；
• 复杂环境动态，例如预测移动障碍物的轨迹。

但 LSTM 的代价也很明显：结构复杂、参数较多，计算量大，训练时间长。这在算力受限、需要实时响应的机器人平台上，有时会成为瓶颈。(Medium)

【图 2-XX：LSTM 单元结构示意——展示 c_t 的水平流动、f/i/o 三个门与候选更新 g_t 的乘加路径（图片占位）】

2.3.3.3 GRU

门控循环单元（Gated Recurrent Unit, GRU） 是 LSTM 的一种简化变体，试图在保持长期依赖建模能力的同时减少参数数量与计算复杂度。(ResearchGate)

GRU 只有一个状态 (h_t)，不再区分 (c_t) 和 (h_t)，并使用两个门：

• 更新门 (z_t)：在“保留旧记忆”和“写入新记忆”之间做权衡；
• 重置门 (r_t)：决定在计算当前候选状态时，参考过去记忆的程度。

典型更新公式为：

$$ \begin{aligned} z_t &= \sigma(W_z [x_t, h_{t-1}] + b_z), r_t &= \sigma(W_r [x_t, h_{t-1}] + b_r), \tilde{h}t &= \tanh(W_h [x_t, r_t \odot h{t-1}] + b_h), h_t &= (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t. \end{aligned} $$

直觉上：

• 若 (z_t) 很小，(h_t) 接近旧状态 (h_{t-1})；
• 若 (z_t) 很大，则更多采用新候选状态 (\tilde{h}_t)。

GRU 相比 LSTM 有更少的门、更少的矩阵乘法，在许多任务上能获得相近甚至更好的性能，同时训练和推理速度更快；这对实时性要求高的机器人场景尤其有吸引力。(Medium)

【图 2-XX：GRU 单元结构示意——显示更新门、重置门以及新旧状态的加权合成路径（图片占位）】

2.3.3.4 序列建模局限

尽管 RNN / LSTM / GRU 在一段时间内是序列建模的主角，至今仍在很多工业系统中发挥作用，但在机器人具身智能这一更复杂的场景下，它们也暴露出一些核心局限，为后续 Transformer 类架构的出现埋下伏笔。(arXiv)

1. 对极长序列依然吃力 LSTM 和 GRU 相比基本 RNN 大幅改善了梯度消失问题，但在需要建模数百甚至上千步依赖的场景中（例如几十分钟的多阶段任务），训练仍然困难，模型往往倾向于只利用较近的历史。对于希望“记住用户最开头指令细节”的家庭服务机器人，这是明显瓶颈。
2. 时间维度无法并行 RNN 家族在时间维度上具有天然的顺序依赖：(h_t) 必须先计算 (h_{t-1})。这导致训练和推理都难以在时间轴上做大规模并行。相比之下，卷积和自注意力可以同时处理整个序列，大幅提升训练效率。对于需要处理高帧率传感数据或长时间视频的机器人系统，这种串行计算会严重限制模型规模和性能。(geeksforgeeks.org)
3. 优化敏感、调参成本高 RNN 的训练对学习率、梯度裁剪阈值、序列截断长度等超参数都较为敏感，很容易出现梯度爆炸（loss 突然变成 NaN）或收敛到次优。对于实际机器人系统，工程团队往往无法像离线 NLP 训练那样反复尝试多套配置，这限制了其大规模应用。(alinlab.kaist.ac.kr)
4. 难以直接建模“任意远”的交互 在 RNN 框架下，所有历史信息被“压缩”进一个向量序列 ((h_t))，模型难以显式知道“当前决策依赖于哪几个关键时间点”。而基于自注意力的模型可以通过注意力权重直接连接任意两个时间步，更容易表达“当前动作需要参考 20 步之前那次观察”的模式，也更易于可视化和解释。(geeksforgeeks.org)
5. 多模态长序列融合能力有限 在具身智能任务中，我们常常需要同时处理：视觉特征序列、语言指令 token 序列、机器人状态轨迹等多种模态。如果全部塞进一个 RNN，其隐藏状态必须非常高维才能容纳这些信息，训练难度和参数规模都迅速膨胀；而多头自注意力则更自然地支持在不同模态、不同时间步之间建立稀疏而有结构的相关性。

综合来看，RNN / LSTM / GRU 在处理短到中等长度的序列、传统时间序列预测任务时依然有用，也在早期机器人控制与预测中发挥了重要作用。但随着数据规模增大、序列变长、模态变多、并行计算硬件发展，自注意力与 Transformer 架构逐渐成为主流选择。下一节将从自注意力机制切入，系统介绍 Transformer 如何在时间与空间上统一建模，为后文的视觉-语言-动作（VLA）模型打下基础。

2.4 Transformer 结构

下面是按你给出的提纲，完整展开后的 2.4.1–2.4.5 章节正文草稿（书稿风格）。我会适度承接前文 RNN/CNN 内容，并给后续 VLA 章节留呼应点，图片用占位说明。

2.4.1 Self-Attention 机制与 Query/Key/Value

在前面的序列建模部分已经看到，RNN/LSTM 通过“递归地”一格一格地处理序列，这使得长距离依赖不易捕获，也难以并行训练。Self-Attention（自注意力）则直接在序列中任意两个位置之间建立可学习的“相似度连接”，从而在一次运算中融合全局信息，是 Transformer 的核心思想之一。(arXiv)

2.4.1.1 自注意力机制：在序列内部做“加权信息汇总”

设输入序列长度为 (n)，每个位置的向量维度为 (d_\text{model})，将整个序列写成矩阵形式： $$ X \in \mathbb{R}^{n \times d_\text{model}}. $$

通过三组不同的线性变换，得到 Query（Q）、Key（K）、Value（V）： $$ Q = X W^Q,\quad K = X W^K,\quad V = X W^V, $$ 其中 (W^Q, W^K, W^V \in \mathbb{R}^{d_\text{model} \times d_k}) 或 (\mathbb{R}^{d_\text{model} \times d_v}) 是可训练的权重矩阵。

标准的 scaled dot-product attention 定义为：(维基百科)

$$ \text{Attention}(Q, K, V) = \text{softmax}!\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V. $$

其中：

• (QK^\top \in \mathbb{R}^{n\times n}) 给出序列中任意两个位置之间的“相关性分数”（内积越大，越相似）；
• 除以 (\sqrt{d_k}) 是为了避免维度过大时内积值过大导致 softmax 饱和；
• softmax 在每一行上做归一化，将相关性分数转为“注意力权重”（非负且和为 1）；
• 将这些权重对 (V) 做加权和，得到每个位置融合了整句信息的新表示。

直观地看，每个位置 (i) 的输出向量就是“从全序列所有位置的 Value 中，按相关性做加权平均”的结果，自注意力因此可以在单层中捕获任意距离的依赖关系。

【图 2-4-1 占位：自注意力示意图。上方是一行 token（或 patch）向量，中间通过 Q/K/V 线性变换，下面是一个 (n\times n) 注意力矩阵热力图；矩阵第 i 行突出显示该位置对其它位置的关注程度。】

2.4.1.2 Query / Key / Value 的含义与类比

Q/K/V 的命名可以类比为“查字典”的过程：(billparker.ai)

• Query（Q，查询）：当前想要“查”的词条，如一个位置上的 token 表示；
• Key（K，键）：所有候选词条的“索引标签”，用于和 Query 做匹配；
• Value（V，值）：与每个 Key 对应的内容，一旦某个 Key 与 Query 匹配度高，就会更多地读取其对应的 Value 信息。

注意力分数由 Query 与各个 Key 的相似度决定（通常就是向量内积），再通过 softmax 归一化后，作为对 Value 的加权系数。因此：

• 若 Query 与某个 Key 成“高相似度”，对应 Value 在输出中权重更大；
• 若 Query 与某些 Key 几乎无关，则它们对应的 Value 在输出中的权重接近 0。

在 编码器自注意力 中，Q/K/V 都来自同一个输入序列；在 解码器的交叉注意力（encoder-decoder attention） 中，Q 来自解码器当前状态，而 K/V 来自编码器输出，这将在 2.4.4 节进一步展开。(维基百科)

从具身智能的角度可以这样理解：机器人在某个时间步要做决策时，它把当前状态向量作为 Query，把过去观测或语言指令编码后的向量作为 Key/Value，通过 attention“查”到与当前状况最相关的信息，再基于这些信息输出动作。

2.4.1.3 注意力矩阵与掩码机制

把自注意力的权重部分单独记为矩阵： $$ A = \text{softmax}!\left(\frac{QK^\top}{\sqrt{d_k}}\right) \in \mathbb{R}^{n\times n}. $$

• (A_{ij}) 表示“序列中位置 (i) 对位置 (j) 的注意力权重”；
• 每一行都是一个概率分布（和为 1），体现了位置 (i) 对各个位置的关注程度。

Encoder 层中常用的 全连接自注意力，允许每个位置关注序列中任意位置；而在 Decoder 的自回归生成中，为避免“偷看未来”，会对注意力矩阵进行下三角 因果掩码（causal mask） 处理：在 softmax 前将所有“未来位置”的相关性分数置为 (-\infty)，softmax 之后它们的权重就变为 0，仅允许当前位置看到自己与其之前的 token。(维基百科)

【图 2-4-2 占位：注意力矩阵与掩码示意图。左图为完整的 (n\times n) 注意力矩阵热力图；右图为 Decoder 中的下三角掩码矩阵，上三角区域被灰色遮挡（权重为 0）。】

在机器人动作序列建模中，自回归 Decoder-only 架构同样使用这种因果掩码，以保证每一步动作仅依赖过去的观测和动作历史，符合物理因果顺序。

2.4.2 多头注意力（Multi-Head Attention）

单一的自注意力头相当于从一个“投影子空间”里计算相似度和信息汇总。Transformer 引入 多头注意力（Multi-Head Attention），并行地在多个子空间中计算注意力，从而提高表达能力。(NeurIPS论文)

2.4.2.1 多头机制的形式化定义

在多头注意力中，我们为每个头 (i) 单独学习一组线性变换： $$ W_i^Q, W_i^K, W_i^V \in \mathbb{R}^{d_\text{model} \times d_k},\quad i = 1,\dots,h, $$ 令 $$ \text{head}_i = \text{Attention}(QW_i^Q,\ KW_i^K,\ VW_i^V). $$

然后将所有头的输出在特征维上拼接，再通过一个线性层 (W^O) 做整合： $$ \text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h), W^O. $$ (维基百科)

这样，每个头都在各自的投影子空间中学习不同的相似性模式，最终汇聚为一个更丰富的表示。

【图 2-4-3 占位：多头注意力结构图。上方 Q/K/V 通过多组线性变换分别进入多个 attention 单元（Head 1, Head 2, …, Head h），各自输出后在特征维拼接，再经过一个线性层得到最终输出。】

2.4.2.2 不同注意力头学习不同的关系

大量实证分析表明，不同注意力头往往会“专注”于不同类型的模式：(科学导向)

• 在自然语言任务中，有的头擅长捕获邻近词之间的局部依赖（如短语结构），有的头捕获长距离依赖（如跨句子的共指、主题联系）；
• 在视觉 Transformer 中，有的头聚焦局部 patch 的几何关系，有的头关注整体场景结构或物体的语义轮廓。

对于具身智能任务，可以预期：

• 某些头重点关注与目标物体相关的视觉区域；
• 某些头偏重障碍物和安全边界；
• 还有一些头可能更关注时间维度上动作的连续性或物体轨迹。

虽然这些“功能分工”不是硬编码的，而是训练过程中自发涌现，但在实践中，可以通过可视化注意力权重来分析模型行为，从而对机器人决策过程获得一定的可解释性（在第 10 章可解释性部分会再回到这一点）。

【图 2-4-4 占位：多头注意力可视化示例。对同一句话（或同一图像 patch 序列），展示多个头的注意力矩阵热力图，每个头关注的模式不同。】

2.4.2.3 计算开销与并行执行

从复杂度角度看，多头注意力虽然引入了多个头，但每个头通常使用较小的 (d_k)（例如 (d_k = d_\text{model} / h)），因此总的计算量与单个大头的注意力同阶，只是常数因子有所增加。(NeurIPS论文)

更重要的是，各个头之间完全可以在 GPU/TPU 上并行计算，因此在现代硬件上，多头注意力的实际计算效率很高，与标准矩阵乘法的实现高度契合。这也是 Transformer 能够在视觉、语言以及多模态任务上高效扩展到大规模模型的关键工程基础。

在机器人应用中，多头注意力使得单个 VLA 模型可以同时在不同“视角”下理解环境与任务指令，为后续的动作决策提供更丰富的上下文表征。

2.4.3 位置编码（绝对 / 相对）

自注意力机制本身对输入顺序是“置换不变”的——如果不显式加入位置信息，模型仅将序列视为一个“集合”，无法区分不同排列顺序，从而无法正确建模时间顺序或语序。(ACL Anthology)

为了解决这一问题，Transformer 在输入层或各层内部引入 位置编码（Positional Encoding），将位置信息注入到每个 token 或 patch 的表示中。

2.4.3.1 绝对位置编码：正弦/余弦函数形式

原始 Transformer 论文提出了一种 固定的正弦–余弦位置编码，给每个位置 (pos) 分配一个维度为 (d_\text{model}) 的向量：(arXiv)

$$ \begin{aligned} \text{PE}(pos, 2i) &= \sin\left(\frac{pos}{10000^{2i/d_\text{model}}}\right), \text{PE}(pos, 2i+1) &= \cos\left(\frac{pos}{10000^{2i/d_\text{model}}}\right), \end{aligned} $$ 其中 (i = 0,1,\dots, d_\text{model}/2-1)。

特点与直觉：

• 不同维度对应不同波长的正弦波，低频维度编码粗粒度的位置信息，高频维度编码细粒度的局部差异；
• 由于是解析函数定义，不需要训练额外参数，并且可以自然地外推到比训练时更长的序列长度；
• 通过线性组合不同维度，模型可以在一定程度上推断两个位置之间的相对距离。

在实现上，常见做法是在输入 embedding 上“相加”位置编码： $$ X^\text{input}_i = X^\text{embed}_i + \text{PE}(i). $$

【图 2-4-5 占位：若干维度的正弦/余弦位置编码随位置变化的曲线图，展示不同频率、不同波长的波形。】

除正弦编码之外，很多模型也采用 可学习的绝对位置 embedding，即像词向量一样为每个位置建立一个可训练表，将其加到输入上。实现更简单，但在泛化到更长序列时往往需要额外技巧。

2.4.3.2 相对位置编码：对相对距离更敏感

绝对位置编码强调的是“某个 token 在整个序列中处于第几位”；然而很多任务更关心的是 token 之间的相对距离——例如“当前词前面最近的名词在哪里”，“上一时刻与当前时刻的相对差值”等。(arXiv)

相对位置编码（Relative Positional Encoding, RPE） 的基本思想，是让注意力分数不仅依赖于内容相似度 (q_i^\top k_j)，还依赖于位置差值 ((i-j)) 对应的一个向量或偏置，例如：(Lilian Weng)

$$ \text{score}{ij} = \frac{q_i^\top k_j + q_i^\top r{i-j}}{\sqrt{d_k}}, $$ 其中 (r_{i-j}) 是与相对位移 ((i-j)) 相关的参数向量或标量偏置。

代表性工作包括：

• Shaw 等人在机器翻译中的相对位置编码；
• Transformer-XL 使用相对位置编码解决长上下文建模问题；
• 后续的 T5、RoPE（Rotary Position Embedding）等方法，对相对位置进一步推广，使模型对序列整体平移具有更好的不变性。(Lilian Weng)

在机器人与具身智能任务中，时间维度往往很长，而我们关注的是“前后几步”动作与观测之间的因果关系，相对位置编码因此更加契合时序决策的需求。

【图 2-4-6 占位：相对位置编码示意图。以当前时间步为中心，展示不同相对位移（-k…0…+k）的编码向量，或绘制一个相对位置偏置矩阵。】

2.4.3.3 位置编码的重要性：从“集合”到“有序序列”

如果不给 Transformer 加入任何位置信息，网络对输入的任何排列都将给出相同的输出（只是对应位置发生置换），这会导致：

• 在语言任务中无法区分 “把红色方块放入盒子” 与 “盒子放入红色方块”；
• 在机器人控制中无法区分“先抓取后放置”与“先放置后抓取”的时序逻辑。

位置编码正是将 “序列顺序” 显式注入到模型中的关键步骤，使自注意力从“集合运算”转变为真正的“序列建模”。(ACL Anthology)

在后续构建 VLA 模型时，时间步编号、视频帧序号、甚至任务分段（如“示教阶段/执行阶段”）都会通过某种形式的“位置或阶段编码”进入模型，使机器人能够理解“何时发生了什么”。

2.4.4 Encoder–Decoder 架构与纯 Decoder 架构

Transformer 最初以 编码器–解码器（Encoder–Decoder） 形式提出，用于机器翻译等序列到序列任务。随后，纯 Decoder-only 架构（如 GPT 系列）成为大语言模型和部分 VLA 模型的主流。理解两者差异，有助于后面选择适合具身智能任务的结构。(arXiv)

2.4.4.1 编码器–解码器架构：典型 Seq2Seq 形式

在 Encoder–Decoder Transformer 中：

• 编码器（Encoder）：由多层“自注意力 + 前馈网络（FFN）”组成。输入为源序列（例如源语言句子、环境描述、视觉特征序列），经过多层编码后，得到每个位置的上下文表示。
• 解码器（Decoder）：同样由多层堆叠组成，但每一层一般包括：
  1. 带因果掩码的自注意力（masked self-attention），建模目标序列内部已生成部分；
  2. 编码器–解码器注意力（encoder-decoder cross-attention），使用解码器当前层隐藏状态作为 Query，编码器输出作为 Key/Value，从源序列里“查找”与当前生成位置相关的信息；
  3. 前馈网络。

这种结构天然适合“把一段信息转换为另一段信息”的任务，例如机器翻译、摘要生成等。(arXiv)

【图 2-4-7 占位：Encoder–Decoder 架构总览图。左侧是若干 Encoder 层叠加，右侧是 Decoder 层，Decoder 每层中有 self-attention、cross-attention 两种注意力模块，中间用箭头表示 cross-attention 连接。】

在具身智能场景中，如果希望“根据视觉感知或状态序列生成一整段动作脚本”，也可以将视觉/状态作为编码器输入，把动作序列作为解码器输出，这与机器翻译非常类似，只是“目标语言”换成了“机器人动作语言”。

2.4.4.2 纯解码器（Decoder-only）架构：统一序列建模

Decoder-only 架构则去掉了单独的编码器，仅保留一堆带因果掩码的自注意力层。训练时将所有内容串成一个长序列，采用自回归语言建模目标：给定前缀 token 预测下一个 token。(Hugging Face)

其特点是：

• 所有信息（指令、上下文、历史观测、历史动作等）都以统一 token 序列的形式输入；
• 模型结构更加简洁——本质上就是一个大号自回归 Transformer；
• 通过合适的分隔符 token 和位置段编码，可以区分“指令区域”“状态区域”“动作区域”等。

这正是 GPT 系列等大语言模型采用的结构，也是许多最新 VLM/VLA 模型采用的范式 —— 将视觉特征、语言指令、机器人状态和动作都离散化成 token，统一交给一个 Decoder-only 模型处理。(科学导向)

2.4.4.3 架构选择：任务类型与工程需求

总结两者的适用场景：

• Encoder–Decoder 架构：
  • 适合“源序列–目标序列”有明显区分的任务，如机器翻译、长文本摘要、将一段视觉/语言描述转换为完整动作脚本；
  • 在具身智能中，可用于“先感知–后离线规划”的场景，例如根据任务描述和环境扫描生成一条完整的执行计划。
• Decoder-only 架构：
  • 适合大规模预训练的通用语言/多模态模型。通过把不同模态与任务都统一到 token 序列上，可以用同一套训练目标和基础设施扩展到非常大的规模；
  • 在具身智能中，可通过“指令 + 多模态观测 + 历史轨迹”的统一序列，让同一个基础模型同时学会多种机器人和多种任务的行为模式。

在第 8 章讨论 VLA 架构时，将可以看到两种思路的具体实现：一类是“感知模块 + Decoder 生成动作”的结构（更接近 Encoder–Decoder），另一类则是基于大号 Decoder-only 模型，通过 token 化动作实现统一序列建模的结构。

【图 2-4-8 占位：架构对比图。左侧是 Encoder–Decoder 结构示意，右侧是 Decoder-only 结构示意，下方各自标注典型应用场景（机器翻译 vs GPT 风格生成 vs 多模态 VLA）。】

2.4.5 参数规模与计算复杂度

Transformer 的表达能力很强，但背后对应的是相当可观的参数规模与计算复杂度。本节从参数量和时间/空间复杂度两个角度建立直观认识，这对于后续讨论机器人系统部署、模型压缩与高效注意力尤为重要。(科学导向)

2.4.5.1 Transformer 参数规模估算

以一个标准 Transformer Block 为例，假设：

• 模型隐藏维度为 (d_\text{model})；
• 前馈网络内部维度为 (d_\text{ff})（通常取 (4d_\text{model}) 左右）；
• 注意力头数为 (h)。

单层的大致参数量：

1. 自注意力部分
   • Q/K/V 三个线性层：约 (3 d_\text{model}^2) 参数；
   • 输出线性层 (W^O)：约 (d_\text{model}^2) 参数。 合计 (\approx 4 d_\text{model}^2)。
2. 前馈网络部分（两层 MLP）
   • 第一层：(d_\text{model} \times d_\text{ff})；
   • 第二层：(d_\text{ff} \times d_\text{model})。 合计 (\approx 2 d_\text{model} d_\text{ff})，在 (d_\text{ff} \approx 4d_\text{model}) 时，同样是 (\mathcal{O}(d_\text{model}^2)) 量级。(arXiv)

因此，单层 Transformer Block 的参数规模近似为： $$ \mathcal{O}\big(d_\text{model}^2\big), $$ 整个模型若有 (L) 层，则总参数量大致为： $$ \mathcal{O}\big(L, d_\text{model}^2\big). $$

这解释了为何在提升模型能力时，增大 (d_\text{model}) 和层数会带来近似“平方级别”的参数增长。现代大语言模型和多模态模型往往具有数十到数百层、数千到上万的隐藏维度，对应参数规模可以轻松达到百亿甚至万亿级别。(科学导向)

对于具身智能而言，大参数模型意味着更强的跨任务、跨场景泛化能力（“一个模型包办很多机器人和任务”），但也意味着更重的训练和部署成本，这在后续“模型压缩与边缘部署”相关章节中会成为反复讨论的话题。

2.4.5.2 自注意力的时间与空间复杂度

从计算复杂度角度，自注意力的瓶颈在于构造和使用 (n \times n) 的注意力矩阵，其中 (n) 为序列长度。(Proceedings of Machine Learning Research)

假设隐藏维度为 (d)：

1. 计算 Q/K/V：需要三次矩阵乘法，复杂度约为 (\mathcal{O}(n d^2))；
2. 计算相关性矩阵 (QK^\top)：复杂度约为 (\mathcal{O}(n^2 d))；
3. 计算 softmax 并与 V 相乘：同样约为 (\mathcal{O}(n^2 d))。

当 (n) 较大时，(\mathcal{O}(n^2 d)) 项占主导，因此通常说 自注意力在序列长度上的时间和空间复杂度均为 (\mathcal{O}(n^2))。(ACL Anthology)

这在 NLP 中已经构成长文本建模的瓶颈，而在具身智能中，情况往往更加严峻：

• 机器人控制序列可能包含成千上万步决策；
• 视觉输入可能是一长段视频（每帧又被切分为多个 patch）；
• 若将语言、视觉、状态、动作 token 统一串成一个长序列 (n)，则注意力矩阵大小和计算量会极快增长。

为此，近几年出现了大量 高效 Transformer 变体，如 Linformer、Performer、Longformer 等，通过低秩近似、稀疏注意力、窗口注意力等机制，将复杂度从 (\mathcal{O}(n^2)) 降低到近似线性的 (\mathcal{O}(n)) 或 (\mathcal{O}(n \log n))，使得长序列任务（包括视频、长轨迹建模）变得可行。(arXiv)

【图 2-4-9 占位：复杂度对比曲线。横轴为序列长度 (n)（对数尺度），纵轴为计算/显存开销（对数尺度），画出标准自注意力的 (n^2) 曲线与若干近似方法的线性或次线性曲线，标出典型 Transformer 变体名称。】

在本书后面更偏工程实践的章节，将会简要介绍这些高效注意力结构的使用场景，帮助读者在实际机器人项目中根据环境复杂度与硬件条件做出合理选择。

2.4.5.3 模型规模与性能：缩放效应与资源约束

大量工作表明，在足够的数据和计算资源下，Transformer 模型的性能往往随着参数量、训练数据量和训练算力的增加呈现近似幂律关系，即“缩放定律（scaling laws）”：更大模型在语言理解、视觉感知和多模态任务上往往获得更好的泛化能力和少样本学习能力。(科学导向)

然而，在具身智能与机器人领域，还必须严肃考虑以下现实因素：

• 训练数据与成本限制 真实机器人互动数据极其昂贵，仿真数据也需要大量算力生成。很难像语言模型那样简单地“堆数据、堆算力”。因此实践中往往采用“互联网多模态预训练 + 少量机器人数据微调”的方式，让大模型在丰富的视觉–语言知识基础上学习具身技能。
• 推理延迟与实时性要求 机器人控制通常需要在几十毫秒级内完成一次决策，超出这个延迟可能会明显影响动作平滑性甚至安全性。过大的模型虽然能力强，但若推理速度不足，就只能用于离线规划或云端辅助，而难以直接用于实时闭环控制。
• 部署位置与算力约束 在云端运行大模型可以使用强大 GPU/TPU，但极度依赖网络连接，且存在安全与隐私问题；在机器人本体或边缘设备上，则必须结合嵌入式 GPU、专用加速芯片等选择合适规模的模型。这些问题将在第 10 章“部署与评测”和第 10.4 节“工程优化与压缩”中进一步展开。

因此，在实际的 VLA 系统设计中，“尽可能大”并不总是最佳答案。更合理的策略通常是：

• 利用大规模模型作为“通用基础模型”或云端规划者；
• 同时通过蒸馏、量化和架构简化，在机器人本体上部署较小的实时控制模型；
• 在任务复杂度、泛化能力、实时控制、安全性和成本之间寻找平衡点。

这也是本书从理论到实践不断强调的一条主线：Transformer 和大模型为具身智能提供了前所未有的表达能力，但要真正落地到物理机器人上，必须在 模型能力与系统工程 之间进行精心权衡与设计。

以上就是 2.4.1–2.4.5 的完整展开稿，后续在第 8 章你就可以直接把这里的 Self-Attention、多头、位置编码、架构差异自然嫁接到具体 VLA 模型的输入输出与训练设计上。

2.5 大模型训练与微调

下面是按你给出的提纲，完整展开后的 2.5.1–2.5.5 章节正文草稿（书稿风格）。我会适度承接前文 RNN/CNN 内容，并给后续 VLA 章节留呼应点，图片用占位说明。

2.5.1 Self-Attention 机制与 Query/Key/Value

在前面的序列建模部分已经看到，RNN/LSTM 通过“递归地”一格一格地处理序列，这使得长距离依赖不易捕获，也难以并行训练。Self-Attention（自注意力）则直接在序列中任意两个位置之间建立可学习的“相似度连接”，从而在一次运算中融合全局信息，是 Transformer 的核心思想之一。(arXiv)

2.5.1.1 自注意力机制：在序列内部做“加权信息汇总”

设输入序列长度为 (n)，每个位置的向量维度为 (d_\text{model})，将整个序列写成矩阵形式： $$ X \in \mathbb{R}^{n \times d_\text{model}}. $$

通过三组不同的线性变换，得到 Query（Q）、Key（K）、Value（V）： $$ Q = X W^Q,\quad K = X W^K,\quad V = X W^V, $$ 其中 (W^Q, W^K, W^V \in \mathbb{R}^{d_\text{model} \times d_k}) 或 (\mathbb{R}^{d_\text{model} \times d_v}) 是可训练的权重矩阵。

标准的 scaled dot-product attention 定义为：(维基百科)

$$ \text{Attention}(Q, K, V) = \text{softmax}!\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V. $$

其中：

• (QK^\top \in \mathbb{R}^{n\times n}) 给出序列中任意两个位置之间的“相关性分数”（内积越大，越相似）；
• 除以 (\sqrt{d_k}) 是为了避免维度过大时内积值过大导致 softmax 饱和；
• softmax 在每一行上做归一化，将相关性分数转为“注意力权重”（非负且和为 1）；
• 将这些权重对 (V) 做加权和，得到每个位置融合了整句信息的新表示。

直观地看，每个位置 (i) 的输出向量就是“从全序列所有位置的 Value 中，按相关性做加权平均”的结果，自注意力因此可以在单层中捕获任意距离的依赖关系。

【图 2-4-1 占位：自注意力示意图。上方是一行 token（或 patch）向量，中间通过 Q/K/V 线性变换，下面是一个 (n\times n) 注意力矩阵热力图；矩阵第 i 行突出显示该位置对其它位置的关注程度。】

2.5.1.2 Query / Key / Value 的含义与类比

Q/K/V 的命名可以类比为“查字典”的过程：(billparker.ai)

• Query（Q，查询）：当前想要“查”的词条，如一个位置上的 token 表示；
• Key（K，键）：所有候选词条的“索引标签”，用于和 Query 做匹配；
• Value（V，值）：与每个 Key 对应的内容，一旦某个 Key 与 Query 匹配度高，就会更多地读取其对应的 Value 信息。

注意力分数由 Query 与各个 Key 的相似度决定（通常就是向量内积），再通过 softmax 归一化后，作为对 Value 的加权系数。因此：

• 若 Query 与某个 Key 成“高相似度”，对应 Value 在输出中权重更大；
• 若 Query 与某些 Key 几乎无关，则它们对应的 Value 在输出中的权重接近 0。

在 编码器自注意力 中，Q/K/V 都来自同一个输入序列；在 解码器的交叉注意力（encoder-decoder attention） 中，Q 来自解码器当前状态，而 K/V 来自编码器输出，这将在 2.5.4 节进一步展开。(维基百科)

从具身智能的角度可以这样理解：机器人在某个时间步要做决策时，它把当前状态向量作为 Query，把过去观测或语言指令编码后的向量作为 Key/Value，通过 attention“查”到与当前状况最相关的信息，再基于这些信息输出动作。

2.5.1.3 注意力矩阵与掩码机制

把自注意力的权重部分单独记为矩阵： $$ A = \text{softmax}!\left(\frac{QK^\top}{\sqrt{d_k}}\right) \in \mathbb{R}^{n\times n}. $$

• (A_{ij}) 表示“序列中位置 (i) 对位置 (j) 的注意力权重”；
• 每一行都是一个概率分布（和为 1），体现了位置 (i) 对各个位置的关注程度。

Encoder 层中常用的 全连接自注意力，允许每个位置关注序列中任意位置；而在 Decoder 的自回归生成中，为避免“偷看未来”，会对注意力矩阵进行下三角 因果掩码（causal mask） 处理：在 softmax 前将所有“未来位置”的相关性分数置为 (-\infty)，softmax 之后它们的权重就变为 0，仅允许当前位置看到自己与其之前的 token。(维基百科)

【图 2-4-2 占位：注意力矩阵与掩码示意图。左图为完整的 (n\times n) 注意力矩阵热力图；右图为 Decoder 中的下三角掩码矩阵，上三角区域被灰色遮挡（权重为 0）。】

在机器人动作序列建模中，自回归 Decoder-only 架构同样使用这种因果掩码，以保证每一步动作仅依赖过去的观测和动作历史，符合物理因果顺序。

2.5.2 多头注意力（Multi-Head Attention）

单一的自注意力头相当于从一个“投影子空间”里计算相似度和信息汇总。Transformer 引入 多头注意力（Multi-Head Attention），并行地在多个子空间中计算注意力，从而提高表达能力。(NeurIPS论文)

2.5.2.1 多头机制的形式化定义

在多头注意力中，我们为每个头 (i) 单独学习一组线性变换： $$ W_i^Q, W_i^K, W_i^V \in \mathbb{R}^{d_\text{model} \times d_k},\quad i = 1,\dots,h, $$ 令 $$ \text{head}_i = \text{Attention}(QW_i^Q,\ KW_i^K,\ VW_i^V). $$

然后将所有头的输出在特征维上拼接，再通过一个线性层 (W^O) 做整合： $$ \text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h), W^O. $$ (维基百科)

这样，每个头都在各自的投影子空间中学习不同的相似性模式，最终汇聚为一个更丰富的表示。

【图 2-4-3 占位：多头注意力结构图。上方 Q/K/V 通过多组线性变换分别进入多个 attention 单元（Head 1, Head 2, …, Head h），各自输出后在特征维拼接，再经过一个线性层得到最终输出。】

2.5.2.2 不同注意力头学习不同的关系

大量实证分析表明，不同注意力头往往会“专注”于不同类型的模式：(科学导向)

• 在自然语言任务中，有的头擅长捕获邻近词之间的局部依赖（如短语结构），有的头捕获长距离依赖（如跨句子的共指、主题联系）；
• 在视觉 Transformer 中，有的头聚焦局部 patch 的几何关系，有的头关注整体场景结构或物体的语义轮廓。

对于具身智能任务，可以预期：

• 某些头重点关注与目标物体相关的视觉区域；
• 某些头偏重障碍物和安全边界；
• 还有一些头可能更关注时间维度上动作的连续性或物体轨迹。

虽然这些“功能分工”不是硬编码的，而是训练过程中自发涌现，但在实践中，可以通过可视化注意力权重来分析模型行为，从而对机器人决策过程获得一定的可解释性（在第 10 章可解释性部分会再回到这一点）。

【图 2-4-4 占位：多头注意力可视化示例。对同一句话（或同一图像 patch 序列），展示多个头的注意力矩阵热力图，每个头关注的模式不同。】

2.5.2.3 计算开销与并行执行

从复杂度角度看，多头注意力虽然引入了多个头，但每个头通常使用较小的 (d_k)（例如 (d_k = d_\text{model} / h)），因此总的计算量与单个大头的注意力同阶，只是常数因子有所增加。(NeurIPS论文)

更重要的是，各个头之间完全可以在 GPU/TPU 上并行计算，因此在现代硬件上，多头注意力的实际计算效率很高，与标准矩阵乘法的实现高度契合。这也是 Transformer 能够在视觉、语言以及多模态任务上高效扩展到大规模模型的关键工程基础。

在机器人应用中，多头注意力使得单个 VLA 模型可以同时在不同“视角”下理解环境与任务指令，为后续的动作决策提供更丰富的上下文表征。

2.5.3 位置编码（绝对 / 相对）

自注意力机制本身对输入顺序是“置换不变”的——如果不显式加入位置信息，模型仅将序列视为一个“集合”，无法区分不同排列顺序，从而无法正确建模时间顺序或语序。(ACL Anthology)

为了解决这一问题，Transformer 在输入层或各层内部引入 位置编码（Positional Encoding），将位置信息注入到每个 token 或 patch 的表示中。

2.5.3.1 绝对位置编码：正弦/余弦函数形式

原始 Transformer 论文提出了一种 固定的正弦–余弦位置编码，给每个位置 (pos) 分配一个维度为 (d_\text{model}) 的向量：(arXiv)

$$ \begin{aligned} \text{PE}(pos, 2i) &= \sin\left(\frac{pos}{10000^{2i/d_\text{model}}}\right), \text{PE}(pos, 2i+1) &= \cos\left(\frac{pos}{10000^{2i/d_\text{model}}}\right), \end{aligned} $$ 其中 (i = 0,1,\dots, d_\text{model}/2-1)。

特点与直觉：

• 不同维度对应不同波长的正弦波，低频维度编码粗粒度的位置信息，高频维度编码细粒度的局部差异；
• 由于是解析函数定义，不需要训练额外参数，并且可以自然地外推到比训练时更长的序列长度；
• 通过线性组合不同维度，模型可以在一定程度上推断两个位置之间的相对距离。

在实现上，常见做法是在输入 embedding 上“相加”位置编码： $$ X^\text{input}_i = X^\text{embed}_i + \text{PE}(i). $$

【图 2-4-5 占位：若干维度的正弦/余弦位置编码随位置变化的曲线图，展示不同频率、不同波长的波形。】

除正弦编码之外，很多模型也采用 可学习的绝对位置 embedding，即像词向量一样为每个位置建立一个可训练表，将其加到输入上。实现更简单，但在泛化到更长序列时往往需要额外技巧。

2.5.3.2 相对位置编码：对相对距离更敏感

绝对位置编码强调的是“某个 token 在整个序列中处于第几位”；然而很多任务更关心的是 token 之间的相对距离——例如“当前词前面最近的名词在哪里”，“上一时刻与当前时刻的相对差值”等。(arXiv)

相对位置编码（Relative Positional Encoding, RPE） 的基本思想，是让注意力分数不仅依赖于内容相似度 (q_i^\top k_j)，还依赖于位置差值 ((i-j)) 对应的一个向量或偏置，例如：(Lilian Weng)

$$ \text{score}{ij} = \frac{q_i^\top k_j + q_i^\top r{i-j}}{\sqrt{d_k}}, $$ 其中 (r_{i-j}) 是与相对位移 ((i-j)) 相关的参数向量或标量偏置。

代表性工作包括：

• Shaw 等人在机器翻译中的相对位置编码；
• Transformer-XL 使用相对位置编码解决长上下文建模问题；
• 后续的 T5、RoPE（Rotary Position Embedding）等方法，对相对位置进一步推广，使模型对序列整体平移具有更好的不变性。(Lilian Weng)

在机器人与具身智能任务中，时间维度往往很长，而我们关注的是“前后几步”动作与观测之间的因果关系，相对位置编码因此更加契合时序决策的需求。

【图 2-4-6 占位：相对位置编码示意图。以当前时间步为中心，展示不同相对位移（-k…0…+k）的编码向量，或绘制一个相对位置偏置矩阵。】

2.5.3.3 位置编码的重要性：从“集合”到“有序序列”

如果不给 Transformer 加入任何位置信息，网络对输入的任何排列都将给出相同的输出（只是对应位置发生置换），这会导致：

• 在语言任务中无法区分 “把红色方块放入盒子” 与 “盒子放入红色方块”；
• 在机器人控制中无法区分“先抓取后放置”与“先放置后抓取”的时序逻辑。

位置编码正是将 “序列顺序” 显式注入到模型中的关键步骤，使自注意力从“集合运算”转变为真正的“序列建模”。(ACL Anthology)

在后续构建 VLA 模型时，时间步编号、视频帧序号、甚至任务分段（如“示教阶段/执行阶段”）都会通过某种形式的“位置或阶段编码”进入模型，使机器人能够理解“何时发生了什么”。

2.5.4 Encoder–Decoder 架构与纯 Decoder 架构

Transformer 最初以 编码器–解码器（Encoder–Decoder） 形式提出，用于机器翻译等序列到序列任务。随后，纯 Decoder-only 架构（如 GPT 系列）成为大语言模型和部分 VLA 模型的主流。理解两者差异，有助于后面选择适合具身智能任务的结构。(arXiv)

2.5.4.1 编码器–解码器架构：典型 Seq2Seq 形式

在 Encoder–Decoder Transformer 中：

• 编码器（Encoder）：由多层“自注意力 + 前馈网络（FFN）”组成。输入为源序列（例如源语言句子、环境描述、视觉特征序列），经过多层编码后，得到每个位置的上下文表示。
• 解码器（Decoder）：同样由多层堆叠组成，但每一层一般包括：
  1. 带因果掩码的自注意力（masked self-attention），建模目标序列内部已生成部分；
  2. 编码器–解码器注意力（encoder-decoder cross-attention），使用解码器当前层隐藏状态作为 Query，编码器输出作为 Key/Value，从源序列里“查找”与当前生成位置相关的信息；
  3. 前馈网络。

这种结构天然适合“把一段信息转换为另一段信息”的任务，例如机器翻译、摘要生成等。(arXiv)

【图 2-4-7 占位：Encoder–Decoder 架构总览图。左侧是若干 Encoder 层叠加，右侧是 Decoder 层，Decoder 每层中有 self-attention、cross-attention 两种注意力模块，中间用箭头表示 cross-attention 连接。】

在具身智能场景中，如果希望“根据视觉感知或状态序列生成一整段动作脚本”，也可以将视觉/状态作为编码器输入，把动作序列作为解码器输出，这与机器翻译非常类似，只是“目标语言”换成了“机器人动作语言”。

2.5.4.2 纯解码器（Decoder-only）架构：统一序列建模

Decoder-only 架构则去掉了单独的编码器，仅保留一堆带因果掩码的自注意力层。训练时将所有内容串成一个长序列，采用自回归语言建模目标：给定前缀 token 预测下一个 token。(Hugging Face)

其特点是：

• 所有信息（指令、上下文、历史观测、历史动作等）都以统一 token 序列的形式输入；
• 模型结构更加简洁——本质上就是一个大号自回归 Transformer；
• 通过合适的分隔符 token 和位置段编码，可以区分“指令区域”“状态区域”“动作区域”等。

这正是 GPT 系列等大语言模型采用的结构，也是许多最新 VLM/VLA 模型采用的范式 —— 将视觉特征、语言指令、机器人状态和动作都离散化成 token，统一交给一个 Decoder-only 模型处理。(科学导向)

2.5.4.3 架构选择：任务类型与工程需求

总结两者的适用场景：

• Encoder–Decoder 架构：
  • 适合“源序列–目标序列”有明显区分的任务，如机器翻译、长文本摘要、将一段视觉/语言描述转换为完整动作脚本；
  • 在具身智能中，可用于“先感知–后离线规划”的场景，例如根据任务描述和环境扫描生成一条完整的执行计划。
• Decoder-only 架构：
  • 适合大规模预训练的通用语言/多模态模型。通过把不同模态与任务都统一到 token 序列上，可以用同一套训练目标和基础设施扩展到非常大的规模；
  • 在具身智能中，可通过“指令 + 多模态观测 + 历史轨迹”的统一序列，让同一个基础模型同时学会多种机器人和多种任务的行为模式。

在第 8 章讨论 VLA 架构时，将可以看到两种思路的具体实现：一类是“感知模块 + Decoder 生成动作”的结构（更接近 Encoder–Decoder），另一类则是基于大号 Decoder-only 模型，通过 token 化动作实现统一序列建模的结构。

【图 2-4-8 占位：架构对比图。左侧是 Encoder–Decoder 结构示意，右侧是 Decoder-only 结构示意，下方各自标注典型应用场景（机器翻译 vs GPT 风格生成 vs 多模态 VLA）。】

2.5.5 参数规模与计算复杂度

Transformer 的表达能力很强，但背后对应的是相当可观的参数规模与计算复杂度。本节从参数量和时间/空间复杂度两个角度建立直观认识，这对于后续讨论机器人系统部署、模型压缩与高效注意力尤为重要。(科学导向)

2.5.5.1 Transformer 参数规模估算

以一个标准 Transformer Block 为例，假设：

• 模型隐藏维度为 (d_\text{model})；
• 前馈网络内部维度为 (d_\text{ff})（通常取 (4d_\text{model}) 左右）；
• 注意力头数为 (h)。

单层的大致参数量：

1. 自注意力部分
   • Q/K/V 三个线性层：约 (3 d_\text{model}^2) 参数；
   • 输出线性层 (W^O)：约 (d_\text{model}^2) 参数。 合计 (\approx 4 d_\text{model}^2)。
2. 前馈网络部分（两层 MLP）
   • 第一层：(d_\text{model} \times d_\text{ff})；
   • 第二层：(d_\text{ff} \times d_\text{model})。 合计 (\approx 2 d_\text{model} d_\text{ff})，在 (d_\text{ff} \approx 4d_\text{model}) 时，同样是 (\mathcal{O}(d_\text{model}^2)) 量级。(arXiv)

因此，单层 Transformer Block 的参数规模近似为： $$ \mathcal{O}\big(d_\text{model}^2\big), $$ 整个模型若有 (L) 层，则总参数量大致为： $$ \mathcal{O}\big(L, d_\text{model}^2\big). $$

这解释了为何在提升模型能力时，增大 (d_\text{model}) 和层数会带来近似“平方级别”的参数增长。现代大语言模型和多模态模型往往具有数十到数百层、数千到上万的隐藏维度，对应参数规模可以轻松达到百亿甚至万亿级别。(科学导向)

对于具身智能而言，大参数模型意味着更强的跨任务、跨场景泛化能力（“一个模型包办很多机器人和任务”），但也意味着更重的训练和部署成本，这在后续“模型压缩与边缘部署”相关章节中会成为反复讨论的话题。

2.5.5.2 自注意力的时间与空间复杂度

从计算复杂度角度，自注意力的瓶颈在于构造和使用 (n \times n) 的注意力矩阵，其中 (n) 为序列长度。(Proceedings of Machine Learning Research)

假设隐藏维度为 (d)：

1. 计算 Q/K/V：需要三次矩阵乘法，复杂度约为 (\mathcal{O}(n d^2))；
2. 计算相关性矩阵 (QK^\top)：复杂度约为 (\mathcal{O}(n^2 d))；
3. 计算 softmax 并与 V 相乘：同样约为 (\mathcal{O}(n^2 d))。

当 (n) 较大时，(\mathcal{O}(n^2 d)) 项占主导，因此通常说 自注意力在序列长度上的时间和空间复杂度均为 (\mathcal{O}(n^2))。(ACL Anthology)

这在 NLP 中已经构成长文本建模的瓶颈，而在具身智能中，情况往往更加严峻：

• 机器人控制序列可能包含成千上万步决策；
• 视觉输入可能是一长段视频（每帧又被切分为多个 patch）；
• 若将语言、视觉、状态、动作 token 统一串成一个长序列 (n)，则注意力矩阵大小和计算量会极快增长。

为此，近几年出现了大量 高效 Transformer 变体，如 Linformer、Performer、Longformer 等，通过低秩近似、稀疏注意力、窗口注意力等机制，将复杂度从 (\mathcal{O}(n^2)) 降低到近似线性的 (\mathcal{O}(n)) 或 (\mathcal{O}(n \log n))，使得长序列任务（包括视频、长轨迹建模）变得可行。(arXiv)

【图 2-4-9 占位：复杂度对比曲线。横轴为序列长度 (n)（对数尺度），纵轴为计算/显存开销（对数尺度），画出标准自注意力的 (n^2) 曲线与若干近似方法的线性或次线性曲线，标出典型 Transformer 变体名称。】

在本书后面更偏工程实践的章节，将会简要介绍这些高效注意力结构的使用场景，帮助读者在实际机器人项目中根据环境复杂度与硬件条件做出合理选择。

2.5.5.3 模型规模与性能：缩放效应与资源约束

大量工作表明，在足够的数据和计算资源下，Transformer 模型的性能往往随着参数量、训练数据量和训练算力的增加呈现近似幂律关系，即“缩放定律（scaling laws）”：更大模型在语言理解、视觉感知和多模态任务上往往获得更好的泛化能力和少样本学习能力。(科学导向)

然而，在具身智能与机器人领域，还必须严肃考虑以下现实因素：

• 训练数据与成本限制 真实机器人互动数据极其昂贵，仿真数据也需要大量算力生成。很难像语言模型那样简单地“堆数据、堆算力”。因此实践中往往采用“互联网多模态预训练 + 少量机器人数据微调”的方式，让大模型在丰富的视觉–语言知识基础上学习具身技能。
• 推理延迟与实时性要求 机器人控制通常需要在几十毫秒级内完成一次决策，超出这个延迟可能会明显影响动作平滑性甚至安全性。过大的模型虽然能力强，但若推理速度不足，就只能用于离线规划或云端辅助，而难以直接用于实时闭环控制。
• 部署位置与算力约束 在云端运行大模型可以使用强大 GPU/TPU，但极度依赖网络连接，且存在安全与隐私问题；在机器人本体或边缘设备上，则必须结合嵌入式 GPU、专用加速芯片等选择合适规模的模型。这些问题将在第 10 章“部署与评测”和第 10.4 节“工程优化与压缩”中进一步展开。

因此，在实际的 VLA 系统设计中，“尽可能大”并不总是最佳答案。更合理的策略通常是：

• 利用大规模模型作为“通用基础模型”或云端规划者；
• 同时通过蒸馏、量化和架构简化，在机器人本体上部署较小的实时控制模型；
• 在任务复杂度、泛化能力、实时控制、安全性和成本之间寻找平衡点。

这也是本书从理论到实践不断强调的一条主线：Transformer 和大模型为具身智能提供了前所未有的表达能力，但要真正落地到物理机器人上，必须在 模型能力与系统工程 之间进行精心权衡与设计。

以上就是 2.5.1–2.5.5 的完整展开稿，后续在第 8 章你就可以直接把这里的 Self-Attention、多头、位置编码、架构差异自然嫁接到具体 VLA 模型的输入输出与训练设计上。

3.1 经典视觉任务与数据集

下面这一节，可以直接作为你书里 3.1.1–3.1.3 的主体内容使用。我会尽量和前面“机器学习评价指标”“CNN 基础”等不重复，只在需要的地方作联结，并在必要处留出“图片占位”。

3.1.1 图像分类、目标检测、实例分割 / 语义分割

这一小节讨论的任务，可以理解为“视觉理解的三个层级”：

• 图像分类：只回答“这张图整体是什么？”
• 目标检测：回答“图里有哪些目标、在什么位置？”
• 分割（语义 / 实例）：精确到“每一个像素属于什么东西？哪些像素属于同一个物体个体？”

从具身智能角度看，这三个层级对应着从“看懂是什么”到“知道在哪里”再到“知道它的形状和边界”，直接影响机器人能否安全地移动、对物体进行精细操作。

图片占位建议：一张包含多辆车和行人的街景，分别画出 – 只标注整图类别（如 “city street”）； – 带边界框的检测结果； – 语义分割伪彩色图； – 实例分割图（同类物体用不同颜色或不同边界）。

3.1.1.1 图像分类（Image Classification）

任务定义

给定一张图像 (x)，输出一个或多个类别标签 (y)：

• 单标签分类：一张图只对应一个主类别，例如 “狗”“飞机”。 数学上是 (y \in {1,\dots, C})。
• 多标签分类：一张图可以同时属于多个类别，例如“室内 + 厨房 + 有人”。 数学上是 (y \in {0,1}^C)。

典型做法是：用 CNN 或 ViT 把图像编码成一个向量特征，然后接一个全连接层 + Softmax（多标签时用 Sigmoid）输出每个类别的概率。前面章节已经介绍过 CNN/Transformer 的结构，这里不再展开。

在机器人中的角色

• 场景识别：判断当前是“走廊 / 楼梯间 / 厨房”，帮助移动机器人选择行为模式。
• 物体存在性检测（粗粒度）：例如“桌上是否有杯子”“仓库里是否有托盘”，不要求精确位置，只要知道有没有。
• 状态识别：例如“红绿灯状态”“门是开着还是关着”，本质上也是一种分类。

随着后面引入更细粒度的视觉任务，单纯分类在机器人中更多扮演“高层语义标签”的角色，而不是唯一的信息来源。

图片占位建议：图像分类网络结构示意图：左边是一张输入图片，中间是若干卷积/Transformer 模块，右边是一个类别概率条形图（dog, cat, car…）。

3.1.1.2 目标检测（Object Detection）

任务定义

目标检测要在图像中找出所有感兴趣的目标，并给出：

• 每个目标的 类别标签；
• 每个目标的 位置，通常用矩形边界框（bounding box）表示：
  • 形式一：((x_{\min}, y_{\min}, x_{\max}, y_{\max}))
  • 形式二：((c_x, c_y, w, h))（中心点 + 宽高）

输出是一个可变长集合： $$ {(b_i, c_i, s_i)}_{i=1}^N $$ 其中 (b_i) 是边界框，(c_i) 是类别，(s_i) 是置信度（模型认为这个框有多靠谱）。

与图像分类相比，检测多了两件事：

1. 目标个数是未知的（0 个、1 个、很多个都有可能），模型要自己决定输出多少个框；
2. 要精准定位——不仅要“认得出”，还要“画得准”。

典型检测器结构

现代深度学习检测器大致可以分成两类：

1. 两阶段（two-stage）检测器
   • 代表：R-CNN 系列（Fast R-CNN、Faster R-CNN、Mask R-CNN 等）。
   • 流程： 1）先用一个网络产生少量“候选框”（Region Proposal）； 2）再对每个候选框进行精细分类和位置回归修正。
   • 特点：精度高、速度相对较慢，适合离线分析或对实时性要求不特别苛刻的机器人应用。
2. 单阶段（one-stage）检测器
   • 代表：YOLO 系列、SSD、RetinaNet 等。(arXiv)
   • 流程：直接在特征图上预测每个位置可能有哪些目标、对应的框和类别。
   • 特点：速度快，适合实时场景（如无人机、移动机器人），精度略低但在工程中往往更受欢迎。

此外，还有 anchor-based（在预定义框上微调）与 anchor-free（直接预测框中心和尺寸）等差异，这些细节在后续讲检测网络时可以展开。

在机器人中的角色

• 行人 / 障碍物检测：移动机器人或自动驾驶车辆的基础能力。
• 操作前目标定位：机械臂抓取前，需要知道目标的 2D 位置，用于进一步估计 3D 位姿（见 3.3 节）。
• 多目标场景理解：例如一个仓库机器人需要知道哪些是“货架”“箱子”“叉车”，并区分它们的位置关系。

图片占位建议：同一张街景图，标出不同类别的边界框，并在旁边画一个典型检测网络示意（backbone + FPN + detection head）。

3.1.1.3 实例分割 vs 语义分割

共同点：都是“每个像素要有标签”

分割任务比检测更精细：不再满足于框出一个矩形，而是要知道每个像素属于哪一类，甚至属于哪一个具体物体。

1. 语义分割（Semantic Segmentation）
   • 目标：为图像中的每一个像素分配一个语义类别，如“路面 / 行人 / 汽车 / 建筑 / 背景”。
   • 特点：不区分实例。所有“汽车像素”都被标为同一个类别 ID，不管场景中有几辆车。
2. 实例分割（Instance Segmentation）
   • 目标：不仅要告诉你每个像素“是什么”，还要告诉你“属于哪一个物体实例”。
   • 特点：同一类别的不同物体要有不同的实例 ID，例如“车 1”“车 2”“车 3”。
   • 技术上通常结合检测 + 分割（如 Mask R-CNN：先检测出框，再为每个框预测掩膜）。

可以用简单的类比理解：

• 语义分割：把城市地图按区域涂色（道路全是灰色、绿地全是绿色）；
• 实例分割：不仅涂色，还给每一辆车、每一个行人单独编号。

图片占位建议：一张街景图的三种输出对比： – 语义分割：所有车相同颜色； – 实例分割：每辆车不同颜色； – 并用箭头标出“同类不同实例”的区别。

Panoptic Segmentation（全景分割）简单点到为止

在 COCO 等数据集中，还提出了 panoptic segmentation： 同时输出“语义类别 + 实例 ID”，并区分“thing 类”（可数的物体，如车、人）和“stuff 类”（背景材料，如天空、草地）。(cocodataset.org)

这是语义分割和实例分割的统一视角，本书在后续更高级的场景理解部分可以再展开。

在机器人中的角色

• 精准抓取与放置：知道物体的形状和边界，才能规划手爪接触点、避免夹到旁边物体。
• 可通行区域检测：语义分割可把“可走区域”（地面、台阶）与“不可走区域”（桌子、墙）区分出来，用于导航。
• 精细安全约束：机器人可以通过分割结果理解“人体的轮廓”，从而在靠近人体时自动减速或绕行。

3.1.2 常见基准数据集（ImageNet、COCO 等）的作用

在深度学习时代，大规模标注数据集 + 标准评测协议 是推动视觉算法发展的关键基础设施：

• 提供统一的“试卷”，方便比较不同模型的好坏；
• 提供大规模、多样化的数据，用于预训练通用视觉特征；
• 形成社区共识：大家默认在 ImageNet / COCO 等基准上“打分”，就像标准化考试成绩一样。

在具身智能里，大多数视觉 backbone（ResNet、ViT 等）都来自这些数据集上的预训练模型，然后再迁移到机器人场景。

3.1.2.1 ImageNet

基本情况

ImageNet 是一个规模巨大的图像分类数据集，最经典的是 ILSVRC 使用的 ImageNet-1K 子集：

• 1000 个类别；
• 约 128 万张训练图像、5 万张验证图像、10 万张测试图像。(image-net.org)
• 整个 ImageNet 项目总共包含 1400 万以上图像、2 万多个类别。(维基百科)

从 2010 年开始，ImageNet 每年举办 ILSVRC 挑战赛，主要任务就是大规模图像分类和定位。2012 年 AlexNet 在 ImageNet 上大幅超越传统方法，被普遍视作深度学习在计算机视觉中爆发的起点。

为什么对机器人仍然重要？

尽管 ImageNet 中大多是互联网图片（和机器人摄像头看到的分布不完全一样），但：

• 低层的边缘、纹理等特征具有较好的通用性；
• 在 ImageNet 上预训练的 CNN / ViT，在很多下游任务（检测、分割、机器人操作）上都展现出显著更快的收敛和更好的性能，这一点在大量论文中得到验证。

因此，“从 ImageNet 预训练开始”几乎是视觉模型的默认选项，本书后面提到 ResNet、ViT 等 backbone 时，默认你已经知道它们通常是先在 ImageNet 上训练好的。

图片占位建议：展示 ImageNet 一些类别示例（动物、工具、交通工具），以及挑战赛年份与错误率下降的简单折线图。

3.1.2.2 COCO

基本情况

COCO（Common Objects in Context）是面向检测 + 分割 + 关键点 + 图像描述的综合性数据集：(cocodataset.org)

• 约 33 万张图像，其中约 20 万张带检测 / 分割 / 描述标注；
• 80 个“thing”类（可数物体，如人、车、椅子等），并扩展出 91 个“stuff”类（天空、路面等）形成 COCO-Stuff，合计 172 类。(cocodataset.org)
• 每张图配有 5 条图像描述（captions），支持视觉–语言任务。(cocodataset.org)
• 提供边界框、实例分割 mask、人体关键点（姿态）等丰富标注。

COCO 的评测标准以 AP@[0.5:0.95] 为核心（后面 3.1.3 会详细解释），已经成为检测、实例分割论文中最常见的“成绩单格式”。

COCO 的特点

• “In Context”：强调物体在复杂背景中的关系，而不是简单白底产品图；
• 目标尺度变化大，小物体（如远处行人、路牌）较多，是检验模型鲁棒性的好试金石；
• 评测细致：按照小 / 中 / 大物体分别统计 AP，对检测大物体、小物体的能力都有要求。(Ultralytics Docs)

面向机器人的启示

• 用 COCO 预训练的检测器，是移动机器人和操作机器人常用的“起点模型”；
• 但 COCO 仍然是“互联网自然场景”，与具体实验室或工厂环境有 domain gap，因此在机器人系统中通常需要再做微调或增补专用数据。

图片占位建议：COCO 官方样例图：一张室内场景，标注出人、椅子、桌子等边界框 + 实例掩膜 + 文字描述。

3.1.2.3 其他数据集（Pascal VOC、Cityscapes、KITTI 等）

本书后面会在机器人专用数据集章节进一步展开，这里只介绍几个对“经典视觉任务”很重要、同时和机器人密切相关的基准。

1. PASCAL VOC

• 早期非常重要的目标检测 / 分割 / 分类基准；
• 典型年份（VOC2007 / 2012）包含约 20k 张图像，20 个常见类别（人、车、自行车、动物等），提供边界框和分割标注。(Ultralytics Docs)
• 使用 mAP@0.5 做为主要指标（后文解释），历史上很多经典检测器（Faster R-CNN、早期 YOLO 版本）都是首先在 VOC 上验证。

VOC 如今在学术论文中使用较少，但仍是入门实践很好的数据集（规模适中、类别简单）。

2. Cityscapes

专注于城市街景语义理解的数据集：(cityscapes-dataset.com)

• 在 50 个城市采集的街景双目视频序列；
• 5000 张图像具有高质量的像素级分割标注，额外 2 万张带粗标注；
• 主要任务：语义分割（路面、人行道、建筑、车辆、行人等）。

Cityscapes 特别适合研究自动驾驶和城市移动机器人中的感知问题，是各种语义分割网络（FCN、DeepLab、PSPNet 等）的常用评测基准。

3. KITTI

KITTI Vision Benchmark Suite 面向自动驾驶场景，提供 多模态传感器数据：(cvlibs.net)

• 采用配备多相机、LiDAR、GPS/IMU 的车辆采集；
• 提供 2D/3D 目标检测、立体匹配、光流、视觉里程计、语义分割等多个子任务；
• 3D 检测基准中，约 7k 训练图像、7k 测试图像，并配有点云标注。(cvlibs.net)

对具身智能来说，KITTI 是典型的“从 2D 到 3D 感知”过渡数据集，帮助你理解如何从相机 / LiDAR 获得三维信息。

图片占位建议：三张小图拼在一起，分别展示 – VOC 中标注的边界框； – Cityscapes 的街景语义分割伪彩色图； – KITTI 的 2D 图像配合 3D 检测框和点云示意。

3.1.3 评价指标（mAP、IoU 等）

前面机器学习基础部分已经介绍过“准确率、精确率、召回率”等通用指标。本节重点放在视觉检测/分割场景下常用的几个专门指标，并说明它们如何影响机器人系统的实际效果。

3.1.3.1 准确率（Accuracy）

在图像分类任务中，准确率定义很直接：

$$ \text{Accuracy} = \frac{\text{预测正确的样本数}}{\text{总样本数}} $$

在 ImageNet 竞赛中，经常看到 Top-1 / Top-5 准确率：

• Top-1：预测概率最高的类别是否等于真实类别。
• Top-5：真实类别是否出现在预测概率最高的前 5 个类别中。

在机器人领域，分类准确率仍然有用，例如判断“当前场景类别”“开关状态”等。但对于 目标检测和分割：

• 一个图像中可能有多个目标；
• 预测的是框 / 掩膜集合，而不是单一标签；

此时简单的准确率已经不够，必须结合位置精度和多个预测之间的对应关系，这就引出了 IoU 和 mAP。

3.1.3.2 平均精度均值（mAP）

1）核心思想：基于 Precision–Recall 曲线

假设你训练了一个检测器，它对每个候选框输出一个置信度分数（score）。如果我们从高到低改变这个分数阈值：

• 阈值高：只保留特别有信心的框，精确率（Precision）高，但漏检多，召回率低；
• 阈值低：检测更多目标，召回率高，但也引入许多假阳性，精确率下降。

在每个阈值下，我们都可以计算一对 ((P, R))，在平面上连起来就是一条 Precision–Recall 曲线。

图片占位建议：一条典型的 P–R 曲线，并用阴影区域表示“曲线下的面积”。

2）单类别的 AP（Average Precision）

对某一个类别，AP 就是 P–R 曲线下面积，数值范围在 0–1 之间：(v7labs.com)

• AP 越高，说明在各种阈值下，这个类别的精确率和召回率整体越好；
• AP 会受到 IoU 阈值 的影响：要先用 IoU 决定每个预测框是否算“正确”（下节讲）。

3）多类别的 mAP（mean Average Precision）

如果有 (C) 个类别，可以对每个类别分别算一遍 AP，然后取平均：

$$ \text{mAP} = \frac{1}{C}\sum_{c=1}^{C} AP_c $$

mAP 提供一个单一数字，方便比较模型整体性能。

4）VOC mAP vs COCO AP

这里需要特别指出：不同数据集对 “mAP” 的定义略有不同：

• PASCAL VOC：
  • 传统上使用 AP@0.5：即只在 IoU ≥ 0.5 的情况下计算 AP；
  • mAP 就是 20 个类别 AP@0.5 的平均。(Ultralytics Docs)
  • 指标相对宽松，对框定位要求不那么苛刻。
• COCO：
  • 使用更严格的 AP@[0.50:0.95]：在 0.5, 0.55, …, 0.95 共 10 个 IoU 阈值下分别计算 AP，然后取平均；(kharshit.github.io)
  • COCO 文档常直接把这个量记为 AP，也就是所谓 “COCO mAP”；
  • 还会报告 AP50、AP75 等子指标。

这种设计使得 COCO 的 AP 对“定位偏差”更加敏感：框稍微画不准，IoU 从 0.9 掉到 0.5，多数阈值下都会受到惩罚。

5）阅读论文和工程实践时的注意事项

• 看别人报 “mAP = 40” 时，一定要确认是 VOC@0.5** 还是 COCO@[0.5:0.95]**，两者差别非常大；
• 对机器人任务，如果偏重“是否发现目标”，AP50 更相关；如果关心“抓取位置是否足够精确”，更严格的 AP75 或 COCO AP@[0.5:0.95] 更有意义；
• 在自建数据集时，建议沿用 COCO 风格评测，避免只在单一 IoU 阈值上评价。

3.1.3.3 交并比（IoU，Intersection over Union）

1）定义

IoU 是衡量两个区域重叠程度的指标，广泛用于目标检测和分割评估。给定预测区域 (A) 和真值区域 (B)：

$$ IoU(A, B) = \frac{|A \cap B|}{|A \cup B|} $$

• 完全重合：IoU = 1；
• 完全不相交：IoU = 0；
• 部分重叠：介于 0 和 1 之间。

在目标检测中，(A) 和 (B) 是两个矩形框；在分割中，则是两个像素集合。(learnopencv.com)

图片占位建议：两个矩形框的重叠示意图，用不同颜色涂出交集和并集，并标出 IoU = 交集面积 / 并集面积。

2）在评测中的用法

• 在 目标检测 中，通常先设定一个 IoU 阈值，例如 0.5：
  • 如果预测框与某个真值框的 IoU ≥ 0.5，则认为是一次 True Positive（正确检测）；
  • 否则是 False Positive（错误检测），或者如果真值框没有被任何预测框“覆盖”，则记为 False Negative（漏检）。(wikidocs.net)
• 在 分割 中，IoU 常直接用作主要指标（也称 Jaccard 指数），表示预测掩膜与真值掩膜的重叠程度。(wikidocs.net)

IoU 是 mAP 计算的基础：只有知道每个预测是 TP 还是 FP，才能画精确率–召回率曲线，从而得到 AP / mAP。

3）对机器人的含义

• 对移动机器人来说，检测到障碍物就行，框的边缘偏差一点问题不大，IoU 0.5 可能已经足够；
• 对精细操作（插销、抓小物体）来说，即使 IoU 达到 0.7、0.8，也可能意味着末端位置偏差数厘米，对任务成功率有明显影响；
• 因此，在具体工程中，应该根据任务容忍误差的大小，选择合适的 IoU 阈值和指标（如 AP75、AP@[0.75:0.95]）。

小结一下这一节的逻辑：

• 图像分类 → 检测 → 分割，是视觉理解精度不断提高的三个层级；
• ImageNet / COCO / VOC / Cityscapes / KITTI 等数据集，提供了从分类、检测、分割到 3D 感知的一整套“训练场”；
• IoU 和 mAP 是连接“模型输出”和“我们如何评价它”的关键纽带，它们的具体定义（VOC vs COCO）会直接影响结论解读。

在后续 3.2 及以后的章节，我们会从特征表示（ResNet、ViT、自监督）和三维几何的角度，进一步讨论如何让这些视觉能力真正服务于具身智能和机器人控制。

3.2 视觉特征与表示学习

注：上面只是示意图，实际书稿中建议用自绘或重画的简洁示意图替换。

3.2 视觉特征与表示学习（节选）

本节聚焦“视觉 backbone 究竟在学什么”。从卷积的层级特征，到 Vision Transformer 的 patch-token 表示，再到自监督预训练与迁移使用方式，这一节是后面 VLM / VLA 模型视觉部分的“放大镜”。

3.2.1 卷积特征与层级表示直觉

卷积神经网络（CNN）已经被证明会自动学习出从边缘、纹理到物体部件、完整对象的分层表征，与生物视觉皮层中从 V1 到 IT 的层级处理有相似之处。(arXiv) 对机器人来说，这意味着：同一个相机画面，在不同层中被编码成不同抽象层级的信息，为后续抓取、导航、场景理解提供基础。

3.2.1.1 卷积网络的层级特征

可以把卷积核看成一块块可学习的小“模板”，在图像上滑动，检测某种局部模式是否出现。早期层的模板非常“原始”，后期层变得“语义化”。

• 低层特征：边缘和纹理

在第一、二层卷积中，可视化滤波器时，经常能看到“Gabor 滤波器”式的条纹、斑点、方向性边缘等。(arXiv) 对机器人来说，这一层类似回答“这里有一条明暗边界”“这里有一段重复纹理”的问题，有助于后续识别桌沿、物体轮廓。

• 中层特征：局部图形和部件

随着网络加深，卷积层的感受野（能“看到”的输入区域）逐渐变大，中层卷积核开始响应更复杂的局部结构，比如圆形角落、T 字交界、物体的一部分（杯把、车轮、门把手等）。这些特征已经脱离“几何原始元素”，开始向“物体部件”靠拢。(SPIE Digital Library)

• 高层特征：对象和类别级模式

在靠近分类头的高层卷积中，特征往往与具体类别强相关，例如“狗头”“键盘区域”“车前脸”等高度语义化的激活。Zeiler & Fergus 的可视化工作表明，高层 feature map 上，一整块区域常常只在特定类别图像中被激活。(arXiv)

【插图占位 3.2.1-1】 “CNN 不同层的卷积核与激活可视化”： 左侧为浅层卷积核（类似边缘检测器）；中间为中层对纹理与局部形状的响应；右侧为高层对物体部件/对象的响应。用一张输入图（如桌面上有杯子）对应三层 feature map 激活。

在具身智能场景中，可以这样理解：当机械臂视觉系统通过 ResNet 看一张桌面图像时，早期层主要检测各种边缘和纹理（桌沿、物体阴影），中层开始形成“杯子边缘”“盒子角”等部件特征，高层则直接形成“杯子”“蓝色盒子”等对象级特征，供上层任务（如“抓起杯子”）使用。

3.2.1.2 特征图（Feature Map）

卷积操作对输入图像进行处理后，输出的是一个多通道的张量，通常记作大小为 (H \times W \times C)：

• (H, W)：空间维度，对应图像在当前层的分辨率；
• (C)：通道数，每个通道就是一个 feature map，代表某个卷积核在整幅图上的“响应强度图”。

可以把 feature map 看成：“对于这一种视觉模式，每个像素位置匹配的程度是多少”。例如某个通道专门响应“垂直边缘”，那在所有垂直物体边缘的位置，这个通道的值会比较大。

随着网络前进，卷积步长和池化层会逐步降低 (H,W)，而提高通道数 (C)。这意味着：

• 空间分辨率下降：单个激活对应的物理区域更大；
• 通道维表达能力增强：每一个空间位置上，C 维向量可以编码非常丰富的语义。

这样的结构自然形成了多尺度特征金字塔：浅层 feature map 分辨率高，适合描述精细边界和小物体；深层 feature map 分辨率低、语义强，适合理解“这块区域大致是什么东西”。

【插图占位 3.2.1-2】 “Feature Map 尺寸变化示意”： 画出一张输入图像，经过多层卷积+池化后 feature map 的形状从 (224\times224\times3) 变为 (112\times112\times64)、(56\times56\times128)…直至 (7\times7\times2048)，用不同颜色方块表示不同通道。

在机器人应用中，这些 feature map 通常不会直接显示，而是输入到检测头、抓取预测头或下游 Transformer 中，作为视觉语义的“压缩表达”。

3.2.1.3 层级表示直觉

总结起来，卷积网络的层级表示有几个直观要点：

1. 从局部到全局 早期层只“看见”局部几像素，后期层的感受野可以覆盖图像中很大的区域甚至全图，逐步整合上下文。
2. 从具体到抽象 表征从“这有条边”“这里有条纹理”逐渐演化为“这个区域像是一个杯子”“这大概是桌面的一角”。这种从低级特征到高级语义的抽象，与认知科学中人类视觉皮层的层级处理趋势相似。(ScienceDirect)
3. 局部平移不变性和结构先验 卷积核在整幅图上共享权重，让网络天然对小范围平移具有不变性。这种强归纳偏置使 CNN 在中等规模数据集上非常高效、稳定，但也导致其对更复杂的长程关系（如远处两个物体之间的关系）建模能力有限。

对具身智能来说，这意味着：如果任务主要依赖局部形状与纹理（例如检测桌沿、防止跌落、识别可抓取边缘），卷积 backbone 通常已经足够；而当任务涉及复杂全局关系（例如“把桌面最左边的杯子移到靠近门的那边”），我们更希望有能力建模“全局 patch 之间关系”的结构——这正是 Vision Transformer 要解决的问题。

3.2.2 视觉 Transformer（ViT）的基本结构

Vision Transformer（ViT）直接把图像视为一串“视觉 token”，用 Transformer 编码器处理，从而将 NLP 中已经验证有效的全局自注意力机制引入视觉。(arXiv)

3.2.2.1 图像分块

经典 ViT 的第一步是 图像分块（patch embedding）：

1. 给定一幅大小为 (H \times W \times C) 的图像；
2. 使用固定大小的 patch（如 (P \times P)）将图像划分为 (N = \frac{HW}{P^2}) 个不重叠的小块；
3. 每个 patch 展平为长度 (P^2 C) 的向量，并通过一个线性层投影到 (D) 维，得到一个 token；
4. 所有 patch token 组成长度为 (N) 的序列，再加上一个 learnable 的 class token，总长度为 (N+1)；
5. 再加上可学习的位置编码，以保留 patch 的空间位置信息。(arXiv)

【插图占位 3.2.2-1】 “ViT patch embedding 架构”： 左侧是一张输入图像，被切成若干 (P\times P) 的小 patch；每个 patch 展平后通过线性层映射为 D 维向量；所有 patch token 与一个 class token 拼接成序列，并加上位置编码输入 Transformer encoder。

在机器人视角下，可以理解为：摄像头拍到的画面首先被离散为几十到上百个“小视野格子”，每个格子由一个向量描述。后续的自注意力层决定这些格子之间如何互相“交流”。

3.2.2.2 自注意力在图像中的应用

在 ViT 中，Transformer 编码器对 token 序列应用多层 自注意力（self-attention）：

• 每个 patch token 通过线性变换产生 Query / Key / Value；
• 每个 patch 的 Query 与所有 patch 的 Key 计算相似度，经 softmax 得到注意力权重；
• 使用权重对 Value 做加权和，得到融合了全局信息的新表示。(d2l.ai)

直觉上，这相当于：每个 patch 决定“应该向哪些其他位置要信息”。例如在桌面场景中：

• 表示“杯子”的 patch 可能会关注桌面边缘（判断杯子是否在边缘，是否安全）；
• 表示“目标盒子”的 patch 会关注周围障碍物 patch，辅助规划路径。

多头注意力让不同“注意力头”在不同子空间内学习不同的关注模式：有的头关注近邻局部纹理，有的头捕捉对称、重复结构，有的头专门建模远距离物体间的关联。(wikidocs.net)

与 CNN 相比，自注意力有两大关键差异：

• 显式全局建模：每个位置可以直接与任意位置交互，而不需要堆叠许多局部卷积才能间接感知远处；
• 归纳偏置更弱：不强假设局部平移不变性，网络在足够数据上可以学习更丰富的模式，但在小数据集上也更容易过拟合或训练不稳定。

3.2.2.3 ViT 特点

综合来说，ViT 作为视觉 backbone 具有以下特点：(arXiv)

1. 全局视野与强表示能力

自注意力使得 ViT 在每一层就能获取全局信息，对复杂布局、长程关系建模有天然优势。在大规模预训练（如 ImageNet-21k 或图文对齐数据）下，ViT 在分类、检测、分割等任务上已经超越或媲美同规模 CNN。

2. 对数据量敏感

由于缺乏 CNN 那种强的局部归纳偏置，ViT 在小数据集从头训练通常表现不佳，需要：

- 借助大规模有监督或自监督预训练；
- 或在结构中引入层次化、局部窗口（如 Swin Transformer 一类）。

3. 与自监督方法高度契合

ViT 的“token 化”结构与掩码建模（MAE 等）天然匹配，在自监督框架下表现尤为突出，这是后续 3.2.3 将重点展开的内容。(arXiv)

4. 对机器人应用的影响
   • 在算力足够（如云端推理或高性能边缘设备）且数据丰富时，可使用 ViT/层次 Transformer backbone 作为机器人视觉主干，更好地理解复杂场景；
   • 在实时性、算力严苛的场景中，往往采用轻量化 Transformer 变体，或与 CNN 混合使用，以兼顾性能与速度。

3.2.3 自监督视觉表征（对比学习、MAE 等基本思想）

对于具身智能而言，最稀缺的不是图像，而是 高质量标注和示教。机器人可以 24 小时拍视频，但人类不可能 24 小时在旁边标注。这使得“如何利用大量未标注视觉数据学习通用表示”成为关键问题，自监督学习正是目前最主流的答案之一。(SpringerLink)

3.2.3.1 对比学习

对比学习（contrastive learning）的核心想法是：把“同一个事物的不同观察”拉近，把“不同事物”拉远。在视觉自监督中，常见做法是“实例判别（instance discrimination）”：每张图像被视为自己的“类别”。(CVF开放获取)

典型框架（SimCLR、MoCo 等）的基本流程：

1. 对同一张原始图像做两次随机数据增强（裁剪、翻转、颜色抖动、模糊等），得到两张“视角不同”的图像；
2. 使用共享参数的编码器（CNN 或 ViT）分别将这两张图像映射到特征向量；
3. 通过一个小的投影头（MLP）映射到对比空间；
4. 设计对比损失（如 InfoNCE）：
   • 把这两个来自同一图像的向量视为“正样本对”；
   • 与 batch 中其他图像的向量作为“负样本”；
   • 优化目标是让正样本对在特征空间距离更近，负样本更远。

直觉上，相当于告诉网络：“即便这杯子的姿态、光照改变，它在特征空间也应该是同一个‘点附近’。” 训练完成后，编码器就学到了一种对常见变化（旋转、光照、轻微遮挡）不敏感、但对语义差异敏感的特征。

在机器人场景中：

• 正样本可以是同一次操作的不同帧，或同一物体在不同位置、不同抓取阶段的图像；
• 负样本是其他物体或其他任务场景；

这样，机器人在没有任何“类别标签”的情况下，就能学会“哪些图像属于同一事物或同一过程”，为后续的抓取预测或策略学习提供基础特征。

3.2.3.2 掩码图像建模（MAE）

对比学习强调“区分”，而 掩码图像建模（Masked Image Modeling, MIM） 更强调“重建”。其中影响力最大的工作之一就是 MAE（Masked Autoencoders）。(arXiv)

MAE 的关键思想：

1. 仍然基于 ViT 的 patch 表示，将图像切成若干 patch；
2. 随机遮挡大部分 patch（例如 75%），只保留少量可见 patch；
3. 编码器（ViT encoder）只处理可见 patch，生成其高维表示；
4. 将可见 patch 表示与位置编码、掩码标记一起输入一个轻量解码器；
5. 解码器的任务是重建被遮挡部分的像素（或某种压缩形式，如低分辨率图）。

重要特性有两点：

• 极高遮挡比例：迫使模型必须真正理解全局结构，而不是简单“补纹理”；
• 编码器轻负载：只对可见 patch 计算自注意力，大幅节约计算，特别适合大规模预训练。(arXiv)

直觉上，MAE 要求模型回答的问题是：“在只看见一小部分图像补丁的情况下，这张图合理的完整样子是什么？” 这使得模型必须学到：

• 物体典型形状（杯子大致是圆柱、桌子是平面等）；
• 背景与物体的相互约束关系；
• 不同 patch 之间的纹理、颜色、结构一致性。

在机器人应用中，遮挡是常态——机械臂自己会挡住部分视野，桌面物体会相互遮挡。通过 MAE 预训练的 ViT 在面对大面积遮挡、视角变化时，往往比纯监督训练的模型更稳健。后续还有很多基于 MIM 的变体，扩展到视频、点云等模态，在这里不展开。(ScienceDirect)

【插图占位 3.2.3-1】 “MAE 自监督框架”： 左侧为原始图像和其 patch；中间展示随机遮挡的 patch（大面积灰块）；右侧是编码器只处理可见 patch，解码器重建完整图像的流程图。

3.2.3.3 自监督的意义

自监督视觉学习对具身智能的意义，并不仅仅是“省标签”，更深层的价值在于：

1. 大幅提高数据利用率

现实中很容易收集到“机器人看到的一切”：摄像头视频、深度图、点云等。但完整标注每一帧中的物体、语义、动作几乎不可能。自监督允许我们用这些原始数据构建大规模预训练语料库，让视觉 backbone 从“无标签的观察”中学习世界的结构。(SpringerLink)

2. 得到更通用、与任务无关的表示

和在单一标注任务（比如 ImageNet 分类）上训练得到的特征相比，对比学习和 MAE 这种预训练方式往往给出更“面向世界”的表征——它们捕捉到的是一般性的视觉规律，而不是某个数据集里特定类别的边界。因此，在目标检测、分割、3D 理解乃至机器人策略学习上迁移时，都更容易适配。

3. 为世界模型和长期规划打基础

重建式自监督（如 MAE）和时序预测式自监督（预测下一帧、未来轨迹）本质上都是在学习“如果世界缺了一部分信息，我能不能根据上下文补完”的能力。这种能力对于构建具身智能的“世界模型”至关重要，是后续章节（例如 9.3、12.1）要讨论的核心方向之一。

4. 实际工程中的策略

对一个真实机器人平台，常见做法是：

- 长时间录制未标注视频，构建视觉自监督预训练数据；
- 先用对比学习或 MAE 预训练视觉 backbone；
- 再用少量示教数据、标注任务数据微调到具体操作任务上（抓取、分类、可抓取检测等）。

这种“先学看，再学做”的范式，在多模态 VLM/VLA 模型中会进一步扩展为“先学看 + 听（视觉 + 语言），再学做（动作）”。

3.2.4 视觉 Backbone 的选择与迁移（ResNet、ViT 等）

在具身系统中，视觉 backbone 不只是一个“分类器的前半部分”，而是整个系统对世界的主要感知入口。选择何种 backbone，以及如何迁移预训练权重，对最终性能、实时性、部署成本都有直接影响。

这里重点讨论两类主力骨干：ResNet（典型 CNN）与 ViT（典型 Transformer），以及它们在迁移学习中的常见用法。

3.2.4.1 ResNet

ResNet（Residual Network）的核心思想是引入 残差连接，即让每一层只需要学习相对于输入的“增量”。这极大缓解了深层网络中的梯度消失问题，使得 50 层、101 层甚至更深的 CNN 训练变得可行。(SPIE Digital Library)

从视觉 backbone 的角度看，ResNet 有几个工程上非常重要的特点：

1. 强归纳偏置与稳定性能

标准的卷积+池化+残差结构，使得 ResNet 在中等规模数据集上具有极高的收敛稳定性和泛化能力。即便没有大规模自监督预训练，直接在任务数据上微调也常能得到不错的结果。

2. 成熟的工具链与硬件友好性

各种深度学习框架和推理引擎对卷积操作高度优化，在嵌入式 GPU、加速器上都有现成的高效实现；因此 ResNet 类 backbone 在移动机器人、嵌入式机械臂上非常常见。

3. 多尺度特征易于复用

ResNet 的分层结构天然适合构造特征金字塔（如 FPN），用于目标检测、实例分割等任务——这些任务又恰恰是机器人抓取、障碍检测的基础模块。(SPIE Digital Library)

在具身智能的实践中，一条常见经验是：

• 初期实验 / 小规模项目：优先选用 ResNet-18 / 34 等轻量骨干，保证训练和部署简单、鲁棒；
• 性能要求更高：可升级到 ResNet-50 / 101 加 FPN，用于精度更高的场景理解，再将结果提供给上层 VLA 决策模块。

3.2.4.2 ViT

相比之下，ViT 系列 backbone 更“现代”，也更依赖大规模预训练。当前主流开源模型（如 vit-base-patch16-224 等）通常先在 ImageNet-21k 等大数据集上预训练，再在 ImageNet-1k 上微调。(Hugging Face)

作为视觉 backbone，ViT 有几方面的特点：

1. 全局建模能力

利用自注意力，ViT 对全图 patch 之间的关系进行显式建模，尤其有利于需要理解复杂场景关系的任务，例如：

- 判断多个物体之间的相对位置（哪一个“更靠近门口”）；
- 推理遮挡关系（哪个物体被挡住、相对深度）。

2. 与图文预训练、VLM 的天然适配

ViT 常被用作图文对齐模型（如 CLIP）中的视觉编码器，学习到的特征与语言空间对齐良好，非常适合直接用作机器人 VLM/VLA 模型的视觉 backbone。(arXiv)

3. 在大数据下优于 CNN，小数据下需谨慎

多项比较研究显示，当训练和预训练数据足够大时，ViT 在分类、识别类任务上的表现可以显著超越或至少不弱于同规模 ResNet。(arXiv) 但在小数据集、从头训练或迁移数据分布与预训练差异很大时，原始 ViT 可能难以训练稳定，这时需要：

- 使用 MAE/对比学习等自监督权重；
- 或采用带卷积前端、窗口注意力的改进架构（如 Swin、ConvNeXt 等）。

在具身智能系统中，常见的一种组合是：语言–视觉对齐用 ViT（或其变体），低层几何理解和实时感知仍以 CNN 为主，二者通过特征融合或多任务训练结合起来。

3.2.4.3 迁移学习

无论使用 ResNet 还是 ViT，视觉 backbone 在机器人任务中几乎总是以“预训练 + 迁移”的方式出现，而不是从零开始训练。迁移学习通常包含几个关键决策：(arXiv)

1. 选择预训练来源
   • 经典监督预训练：如 ImageNet 分类；
   • 自监督预训练：对比学习（SimCLR、MoCo、DINO 等）、MAE 等；
   • 多模态预训练：图文对齐模型（CLIP 风格）、视频自监督等。

对机器人来说，多模态和自监督预训练往往更有优势，因为它们捕捉到的是更通用的世界结构，而不是某个特定分类任务。

2. “冻结 vs 全量微调 vs 参数高效微调”
   • 冻结特征 + 训练任务头：适合数据较少、算力有限、对性能要求不极致的场景；
   • 全量微调：适合数据相对充足、希望 backbone 充分适应特定场景（特殊光照、视角、相机）的情况；
   • 参数高效微调（Adapter / LoRA 等）：在不修改大部分预训练权重的前提下，仅训练少量插入模块，达到较好适应能力，又控制了训练成本；这与第 2.5.3 节中语言模型微调的思想完全一致。
3. 根据任务和资源选择 backbone 类型

一个实用的经验表，可以帮助在具身智能项目中快速做出初步选择：

- **小数据集 + 强实时性 + 嵌入式设备**

→ 轻量 CNN（ResNet-18/34、MobileNet 等），使用 ImageNet 或自监督预训练权重，冻结大部分层，仅微调最后几层和任务头。 - 中等数据规模 + 单一场景（固定工位、固定相机） → 可以使用更深的 ResNet 或轻量 ViT / Swin；优先使用自监督预训练权重（SimCLR/MoCo/MAE）以提高数据效率。 - 大规模多场景数据 + 多任务机器人平台 → 优先使用 ViT 或层次 Transformer backbone（如 Swin）、甚至直接采用 CLIP-ViT 或 MAE-ViT 作为视觉模块，与大语言模型共同组成 VLM / VLA 系统。在这种情况下，视觉编码器的能力将成为整个系统泛化能力的关键瓶颈之一。

【插图占位 3.2.4-1】 “视觉 backbone 迁移流程”： 画出一个从左到右的流程： “大规模预训练数据（ImageNet/图文/未标注视频）” → “预训练视觉 backbone（ResNet/ViT）” → “加入机器人特定任务头（检测、抓取预测等）” → “在机器人任务数据上微调（可选：冻结部分层、Adapter 微调）”。

在后续章节中，视觉 backbone 会以多种角色重复出现：在第 4 章中作为图文对齐模型的一部分，在第 8 章中作为 VLA 统一模型的视觉输入模块。读者理解了本节中 CNN 层级特征与 ViT patch-token 表示、自监督预训练与迁移学习的基本思路，就具备了“读懂后面模型结构图中视觉那一坨方块究竟干什么”的能力。接下来，我们会在 3.3 节进一步将 2D 视觉表示延伸到 3D 场景理解，为机器人在物理世界中行动铺路。

3.3 场景理解与 3D 信息

3.3.1 多视角几何与相机模型基本概念

从这一节开始，我们正式从“看一张图像”升级到“理解三维世界”。具身机器人要在真实空间中抓、放、躲、走，都离不开对 3D 几何的建模，而这一切的入口就是相机模型和多视角几何。

3.3.1.1 针孔相机模型

1）从透视投影开始

理想化的相机可以看作一个“针孔”：所有从场景出发的光线都通过同一个小孔，投到后面的成像平面上。这就是经典的 针孔相机模型。

在相机坐标系下，设三维点为 $$ P=(X, Y, Z)^\top $$ 针孔相机的基本透视关系可以写成： $$ x = f \frac{X}{Z},\quad y = f \frac{Y}{Z} $$ 其中 (f) 是焦距，((x,y)) 是该点在成像平面的坐标（以相机光轴与成像平面的交点为原点）。(cs.cmu.edu)

【图 3-1 占位：针孔相机几何示意图】 图中画出相机坐标系、针孔位置、成像平面，以及从 3D 点 (P) 射向针孔并投影到平面的光线，标出焦距 (f)、坐标 (X,Y,Z) 与投影点 ((x,y)) 的关系。

2）从“理想平面”到真实像素：相机内参矩阵

真实图像的坐标是以左上角为原点的像素坐标 ((u,v))，与上面的理想几何坐标 ((x,y)) 还差一个线性变换和偏移。常用 相机内参矩阵 (K) 将两者联系起来： $$ K = \begin{bmatrix} f_x & s & c_x 0 & f_y & c_y 0 & 0 & 1 \end{bmatrix} $$ 其中：

• (f_x, f_y)：x/y 方向的“有效焦距”（包含像素尺寸的缩放）；
• (c_x, c_y)：主点（principal point），即光轴在图像上的交点；
• (s)：像素轴之间的切变（大多数相机可近似为 0）。

在齐次坐标下，三维点 (X=(X,Y,Z,1)^\top) 到图像点 (x=(u,v,1)^\top) 的投影可写成矩阵形式： $$ x \sim K [R\mid t] X $$

这里：

• ([R\mid t]) 是相机相对于世界坐标的旋转矩阵和平移向量（外参）；
• “(\sim)” 表示相差一个非零尺度因子。(users.cecs.anu.edu.au)

【图 3-2 占位：相机坐标系、世界坐标系及内参与外参示意图】 图中画出世界坐标系、相机坐标系，标出相机位姿 ([R|t])，以及内参矩阵 (K) 将相机坐标投影到图像像素的流程框图。

3）畸变一笔带过

真实镜头往往存在 径向畸变（直线变弯）和 切向畸变。在多视几何理论中常假设图像已经做了去畸变，便于使用简单的针孔模型。具体如何标定和去畸变会在 3.4 节详细讨论，这里只需记住：

绝大多数视觉几何公式，都默认你已经把像素坐标“拉直”成理想针孔相机的坐标了。

3.3.1.2 多视角几何

单张图像只能看到“投影”，距离信息被压缩到 2D 中。多视角几何研究的是：当我们有两张或多张从不同视点拍摄的图像时，如何恢复场景的三维结构和相机之间的相对关系。这是立体视觉、结构光重建、SLAM 等技术的理论基础。(r-5.org)

1）极几何与基础矩阵

考虑两个针孔相机，拍到同一个三维点 (X)。在两张图像中的投影分别是 (x) 和 (x’)。两张图像之间存在一个几何约束，叫做 极线约束： $$ x’^{\top} F x = 0 $$ 这里 (F) 是一个 (3\times3) 的 基础矩阵（Fundamental Matrix）。它编码了两台 未标定 相机之间的全部极几何信息。(维基百科)

几何含义是：

• 给定左图上的一点 (x)，右图中与其对应的点 (x’) 必须落在一条 极线 上：(l’ = F x)；
• 搜索匹配点时，不必在整张图上盲目搜索，只需要沿这条线搜索，大幅降低匹配难度。

2）本质矩阵与相机标定

如果两台相机的内参 (K, K’) 已知，则可以定义 本质矩阵（Essential Matrix） (E)： $$ E = K’^{\top} F K $$ 本质矩阵与相机间的相对旋转 (R) 与平移 (t) 直接相关。通过估计 (F) 再结合内参，就能恢复两台相机的相对位姿（最多有少数离散歧义）。(维基百科)

对于机器人而言，这意味着：

• 只要能在两帧图像中匹配到足够多的特征点，就能估计相机的运动（视觉里程计）；
• 再结合多帧图像的 3D 点重建，就能逐步构建环境地图——这就是视觉 SLAM 背后的核心几何。

3.3.1.3 三角测量

有了多视角、相机位姿和匹配到的特征点，对应的三维点怎样求出来？答案就是 三角测量（Triangulation）。(ics.uci.edu)

1）几何直觉

对同一个 3D 点 (X)，从相机中心 (C_1) 和 (C_2) 发出的两条光线分别“穿过”像平面上的点 (x) 和 (x’)。理论上，这两条光线在空间中会相交于 (X)。

【图 3-3 占位：两相机三角测量几何示意图】 图中画出两个相机中心、两条投影光线以及三维点交点，示意通过两条线求交得到 3D 位置。

在无噪声理想情况下，直接求两条直线的交点即可。但真实世界中，由于检测误差、标定误差，光线往往不会完全相交，而是“错开”一小段距离。

2）线性三角测量（概念层面）

在齐次形式下，两相机投影矩阵分别为 (P_1, P_2)，图像点为 (x, x’)。由于 $$ x \sim P_1 X,\quad x’ \sim P_2 X $$ 可以写出一组关于 (X) 的线性方程组，通过最小二乘求解，使得重投影误差最小。这就是经典的线性三角测量方法。(ics.uci.edu)

对具身智能来说，你可以简单记住：

“三角测量”就是：给我两个视角下同一个像素点的位置 + 两个相机是如何摆放的，我就能算出这个点在三维世界大概在哪里。

后续在 3.3.2 的立体视觉深度中，我们会看到三角测量在规则双目系统中可以简化成非常漂亮的一个公式。

3.3.2 深度估计与点云表示

前面的多视角几何更多关注“稀疏的点”：少量特征点的 3D 恢复。对于机器人操作与导航，更常用的是：为每个像素估计一个深度（生成深度图），再把整个场景表示成点云。

3.3.2.1 双目视觉深度

1）视差与深度公式

考虑一对平行摆放、经过极线校正的双目相机，左右相机的光轴大致平行，基线长度为 (B)，焦距为 (f)。同一 3D 点在左右图像上投影为 ((u_L, v)) 和 ((u_R, v))。定义 视差（disparity）： $$ d = u_L - u_R $$

经典双目几何推导给出深度公式： $$ Z = \frac{fB}{d} $$ 其中 (Z) 是点到相机平面的距离。可见视差越大（左右像素差越大），物体离相机越近；视差越小，物体越远。(teledynevisionsolutions.com)

【图 3-4 占位：立体双目几何与视差示意图】 画出左右相机、基线 (B)、焦距 (f)、空间点以及左右图像中的投影位置，标出视差 (d) 与深度关系。

2）视差计算与极线约束

要利用公式估深度，需要为每个像素找到左、右图之间的 对应点。在极线校正后，对应点应该在同一行上，因此只需沿水平方向搜寻视差，大大简化计算。(ni.com)

实际算法会：

• 使用块匹配或代价聚合（SGBM 等）在左右图上匹配；
• 对每个像素估计一个视差值 (d)，形成视差图；
• 再用 (Z=\frac{fB}{d}) 变换成深度图。

深度分辨率与 (B, f) 和视差测量精度密切相关——基线越大、焦距越长，近距离深度精度越高，但视野和最大可测距离也会发生变化。(ni.com)

3）双目与其他深度传感器的比较

• 双目优点：只需两台普通 RGB 相机，成本较低，室外和远距离适用；
• 双目缺点：纹理少、强反光区域容易匹配失败；远距离时视差很小，深度噪声大；
• 其他选择：结构光 / ToF 深度相机、LiDAR 等将会在后续点云表示与机器人章节中频繁出现。

3.3.2.2 单目深度估计

1）纯几何角度：多帧单目结构恢复

如果只有单目相机，但有一段时间序列（视频），可以利用相机的运动产生视差：相机移动时，每一帧可以看作一个新的“视角”，配合估计的相机位姿，再通过三角测量得到稀疏或稠密深度。这是 单目视觉 SLAM / SfM 的传统思路。(IJCAI)

2）深度学习的单帧 / 视频深度估计

近年来更主流的路线是：直接训练一个网络，从单张图像或短视频片段预测每个像素的深度。

• 监督式方法使用有真值深度的数据集（如 LiDAR 测量）进行回归；
• 自监督方法则通过 视图合成 作为监督信号：给定相邻帧图像、预测的深度与相机相对位姿，重投影前后帧，让网络最小化光度重建误差，而不需要真值深度标签。(CVF开放获取)

例如经典的自监督单目深度工作将深度估计网络和位姿估计网络一起训练，使得从视频中学习出几何一致的深度图和相机运动。

同时，基于 Vision Transformer 的单目深度网络（如 DPT，Dense Prediction Transformer）在大规模数据上预训练后，能够在不同场景中提供较为准确且平滑的深度估计。(arXiv)

3）单目深度的特点

• 优点：只需一台普通 RGB 相机；可以离线地从互联网视频或机器人日志中学习，适合大规模数据预训练；
• 局限：绝对尺度存在不确定性（除非有额外尺度信息），预测容易受训练数据分布影响；对纹理贫乏区域仍然困难。

在机器人系统中，单目深度估计常与 SLAM、结构化光或额外传感器结合使用，用于补充或增强深度感知。

3.3.2.3 点云

1）什么是点云？

点云（Point Cloud） 是一组三维点的集合，每个点通常包含： $$ (x, y, z)\quad (+\text{颜色/强度/法向等属性}) $$ 点云可以来自：

• 立体视觉/单目深度估计生成的深度图（每个像素反投影为一点）；
• LiDAR、闪光 LiDAR 等测距设备；
• 结构光或 ToF 深度相机。(SpringerLink)

【图 3-5 占位：室内场景点云可视化】 展示一个简单室内场景（桌子、椅子、墙壁）的彩色点云，点的稠密程度中等，便于读者直观感受点云是什么。

2）有序点云与无序点云

• 有序点云：由深度图反投影而来，点的排列与像素网格一致（可以看作带深度的图像）；
• 无序点云：由 LiDAR 或多视角融合得到，点通常是不规则散布的。

有序点云便于和图像特征对齐，无序点云则更适合全局建图、三维重建与高精度几何计算。

3）点云在机器人中的作用

• 建图与定位：对连续帧点云进行配准（如 ICP、NDT 等算法），构建三维地图并估计机器人位姿，是 3D SLAM 的核心。(维基百科)
• 障碍物检测与避障：从点云中分割出地面、障碍物，给路径规划模块使用。(sensors.myu-group.co.jp)
• 物体识别与抓取：在点云中拟合几何形状（平面、圆柱、盒子），或基于点云特征进行 3D 检测与 6D 位姿估计。(arXiv)

在后面的 3.3.3 和 3.3.4 节中，我们会看到点云如何与物体检测、抓取和避障紧密结合。

3.3.3 物体检测与 6D 位姿估计

机器人若要“抓住某个物体”，光知道“画面里有个杯子”是不够的，还必须知道：杯子在三维空间中的位置和朝向。这由 6D 位姿估计 提供。

3.3.3.1 6D 位姿

1）6 自由度位姿的定义

6D 位姿（6-DoF pose）通常指刚体在三维空间中的：

• 3 维平移：((x, y, z))，位置；
• 3 维旋转：可以用欧拉角（roll/pitch/yaw）、旋转矩阵 (R)、四元数 (q) 等表示。

我们经常直接写成一个齐次变换矩阵： $$ T = \begin{bmatrix} R & t 0 & 1 \end{bmatrix} $$

在 6D 物体姿态估计问题中，我们关心的是物体相对于 某个坐标系 的位姿，常见为相机坐标系或者机器人基座坐标系。(arXiv)

2）为什么 6D 位姿对机器人如此关键？

• 抓取：爪子从哪个方向接近物体、如何旋转才能避免碰撞，完全取决于物体的 6D 姿态；
• 精密操作：如插入插座、对接零件，要求物体与工具之间的姿态误差在毫米/角度量级；
• 多物体操作：在堆叠、整理、装箱任务中，需要准确知道每个物体的空间布局。

从具身智能宏观角度看，6D 位姿估计可以视为连接“视觉理解”和“工程控制”的关键桥梁，是许多机器人抓取系统的前置步骤。(arXiv)

3.3.3.2 物体检测 + 姿态估计流水线

现实系统中，6D 位姿估计通常建立在 2D 物体检测的基础上形成一个 流水线。可以概括为以下几个步骤：

1）2D 物体检测或分割

使用目标检测或实例分割网络（如 YOLO、Faster/Mask R-CNN 等），识别出图像中的物体类别与 2D 边界框 / 像素掩膜。此时我们知道 哪里 有一个“杯子”或“方块”，但还不知道它的空间姿态。

2）建立 2D–3D 对应关系

根据物体类型，通常有以下几种方式建立 2D–3D 对应：

• 已知 CAD 模型或模板：在模型坐标系中选取一组 3D 特征点（如角点），网络预测这些点在图像中的 2D 位置。
• 类别级 3D 盒子：网络预测物体的 3D 包围盒形状和方向，从而隐含给出一些“虚拟”3D 点与 2D 点的对应关系。(MDPI)

3）求解 PnP 或直接回归位姿

有了若干个对应的 3D 点 ({X_i}) 和像素点 ({x_i})，再加上相机内参 (K)，就可以通过 PnP（Perspective-n-Point） 问题求解物体相对于相机的旋转 (R) 和平移 (t)。(r-5.org)

另一类方法则直接用神经网络回归 6D 位姿参数，然后再结合渲染或 ICP 进行几何优化。

4）利用深度 / 点云进行精细对齐

如果有深度图或点云，可以将 CAD 模型渲染到深度图中，与观测到的点云对齐，利用 ICP 或概率配准（如 NDT）进行 pose refinement，以提升位姿精度，尤其是对遮挡部分的补偿。(维基百科)

【图 3-6 占位：典型“检测 + 6D 位姿估计”流水线示意图】 用流程图展示：输入 RGB/深度 → 2D 检测 → 关键点/分割 → PnP 解位姿 → 利用点云 refine → 输出 6D pose。

整体来看，这条流水线帮助机器人从“这张图里有一个杯子”上升到“杯子在相机前方 0.6m、右侧 0.2m、高度 0.1m，绕 z 轴转了 30°”。

3.3.3.3 应用

1）抓取与放置

在抓取任务中，6D 位姿估计最直接的用途是为运动规划提供目标约束。例如：

• 已知某个物体相对于相机的姿态 (T_{\text{obj}}^{\text{cam}})，再结合相机-机械臂的手眼标定 (T_{\text{cam}}^{\text{base}})，可求出物体在机器人基座坐标系下的位姿；
• 运动规划器据此生成一条无碰路径，让末端执行器在期望的姿态下接近并抓住物体。(arXiv)

2）装配、对接与精确操作

对于插拔连接器、插销入孔等操作，稍有角度偏差就会导致卡顿甚至损坏。6D 位姿估计结合高分辨率点云，可以提供毫米级的位姿测量，为高精度装配与工业机器人应用提供基础。(arXiv)

3）多物体场景理解与 VLA

在更复杂的场景中，6D 位姿与 3D 检测结果可以构成一个“物体级 3D 场景图”：每个物体都有类别标签和空间位姿。这种表示与语言指令（“把右边那个蓝色杯子放到桌子上”）天然契合，为后续第 8 章中的 VLA 模型提供结构化的感知输入。(arXiv)

3.3.4 对机器人特别重要的视觉能力（可抓取检测、障碍物检测等）

前面介绍的多视几何、深度估计和 6D 位姿，为机器人提供了“几何级”的理解。本节聚焦几个在具身智能中极为关键、又高度依赖前面几何基础的 专项视觉能力：可抓取检测、障碍物检测和场景语义理解。

3.3.4.1 可抓取检测

1）从“物体姿态”到“抓取姿态”

6D 位姿估计告诉我们“物体在哪里、怎么放”，但机器人真正执行的是“手爪在哪里、怎么放”。可抓取检测（grasp detection） 更关心的是：

在当前场景几何和任务需求下，哪些手爪位姿是“可行且安全”的抓取姿态？

早期方法常用二维抓取矩形来表示抓取，即在图像平面上预测一个长方形 ((x, y, w, h, \theta))，矩形中心是抓取中心，角度 (\theta) 决定手爪闭合方向。(arXiv)

在 3D 中，抓取姿态则通常包括：抓取接触点的 3D 坐标、抓取方向（法向）、手爪张开宽度以及手爪自身的姿态——本质上就是一个针对末端执行器的 6D pose。(ScienceDirect)

2）基于深度学习的抓取检测

现代抓取检测普遍采用深度学习，从 RGB-D 图像或点云输入直接预测一组抓取候选及其“成功概率”：

• 将场景映射到一个 graspability map：每个像素或点都有“可抓概率”，再从中选取评分高的局部作为抓取目标；(arXiv)
• 使用 CNN/GCN 等对点云或图像进行编码，预测一批 6-DoF 抓取姿态和对应的评分。(ScienceDirect)

【图 3-7 占位：可抓取检测示意图】 上图：叠放杂物的桌面；中图：可抓取热力图（颜色越红越容易抓）；下图：选出的若干 3D 抓取姿态用绿色手爪示意。

3）可供性（Affordance）视角

与其先识别物体类别再决定如何抓取，另一种更“具身”的视角是：直接学习场景中哪些区域 具有某种操作可供性（affordance），比如“可抓”、“可按”、“可拉”。

• 这类方法预测每个像素 / 点的任务相关可供性标签，再生成相应的抓取或操作动作；(cs.columbia.edu)
• 对 VLA 模型而言，可供性图可以看作把视觉输入转化为“行动机会”的中间表征，有利于在复杂任务中做高层决策。

3.3.4.2 障碍物检测

机器人不仅要“抓到东西”，还必须“别撞到东西”。障碍物检测 是所有具身系统最基本的安全能力之一。

1）移动机器人：从深度 / 点云到占据图

对于轮式移动机器人或无人车，常见流程是：

1. 使用双目、LiDAR 或其他深度传感器获取周围环境的点云或深度图；
2. 将这些点投影到地平面坐标系下，构建 占据栅格（occupancy grid） 或 voxel map，标记哪些单元格为“被障碍物占据”；
3. 在此基础上，局部规划算法（如 VFH、DWA）生成避免障碍的安全路径。(维基百科)

有些工作会用更加紧凑的场景表示，如 stixels：将深度信息压缩为一系列垂直“柱子”，每根柱子表示在该方向上的最近障碍物，大大提升了处理效率。(维基百科)

2）机械臂工作空间内的障碍物

对固定底座的机械臂来说，障碍物通常分为：

• 静态环境，例如桌边、墙面、固定装置；
• 动态物体，例如其他机器人、人或者当前操作的物品。

利用机载 RGB-D 相机或外部 3D 传感器，可将障碍物点云融合到机器人坐标系下，交给运动规划器（如基于 RRT* 或轨迹优化的规划器），在规划路径时用碰撞检测排除会穿过障碍物的轨迹。(ScienceDirect)

3）透明 / 复杂障碍物

现实环境中，玻璃、亚克力板等透明障碍物对 RGB 和深度相机都是难点。最近有工作利用 LiDAR 点云 强度 信息和多层网格表示，专门针对透明障碍物进行检测，以提升室内机器人导航的安全性。(arXiv)

3.3.4.3 场景语义理解

仅仅知道“哪儿有障碍物”还不够。具身智能系统还需要理解：哪儿是桌面、哪儿是抽屉、哪儿是垃圾桶、哪儿是不该进入的区域。这就是 场景语义理解 的任务。

1）从像素到语义：2D/3D 语义分割

在 2D 视角上，语义分割模型为每个像素分配类别标签（桌子、地面、墙、物体种类等）；结合深度信息或点云，可将这些语义标记提升到 3D，构建 语义点云 或 语义体素地图。(CVF开放获取)

2）多层次场景表示

一个对机器人有用的场景表征往往包含多层信息：

• 几何层：深度图、点云，提供可通行空间和障碍物；
• 物体层：各个物体的 6D 位姿和形状；
• 语义层：物体和区域的类别及功能（桌子、垃圾桶、储物箱、禁区等）。

例如，多视图融合系统可以从一系列“相机在手”的 RGB 图像中构建场景点云、估算未知物体的大致形状，并对已知物体估计精确 6D 姿态，为机器人操作提供全方位信息。(arXiv)

3）与语言和任务的结合

语义理解是后续“语言——视觉——行动”闭环的关键支撑：

• 当用户说“把桌子上的红杯子放进垃圾桶”，语义分割与检测为 VLA 模型提供“桌子”“杯子”“垃圾桶”等概念在场景中的位置；
• 高层规划可以基于“区域”而不是“裸坐标”思考：先找到桌面区域，再在桌面上搜索目标，再规划路径到垃圾桶区域。

这部分将在第 4 章语言与多模态表示、以及第 8 章 VLA 架构中被系统化地使用。本节的角色是：为具身智能提供一套能够支撑复杂任务的几何与语义感知基础。

到这里，你可以把 3.3 这一大块理解为：

我们已经从“相机如何把 3D 看成 2D”一路走到“机器人如何从多视角、多传感器中重建 3D 世界，并识别其中可以抓取的区域、需要避开的障碍物和具有特定语义的区域”。

接下来 3.4 节会进一步讨论这些视觉能力在真实机器人系统中的工程落地：相机标定、延迟、噪声、帧率等实际问题。

3.4 视觉在机器人中的工程考虑

3.4.1 相机标定与外参估计

机器人要「看得懂世界」，第一步就是让相机的像素坐标与真实世界的几何量建立严格对应关系。这件事在工程上拆成三块：相机内参标定、外参（姿态）估计，以及对于机载相机尤为关键的手眼标定。

[图 3.4-1：相机坐标系、机器人基座坐标系、末端坐标系以及标定板坐标系的相对位置示意图]

3.4.1.1 相机内参标定

1）内参是什么，为什么要标定？

在 3.3 中已经介绍了针孔相机模型，这里从工程角度再做一次简要回顾。理想情况下，3D 点在相机坐标系 ((X, Y, Z)) 下投影到图像平面 ((u, v)) 的关系可写为：

$$ s \begin{bmatrix} u \ v \ 1 \end

\mathbf{K} \begin{bmatrix} \frac{X}{Z} \ \frac{Y}{Z} \ 1 \end{bmatrix}, \quad \mathbf{K} = \begin{bmatrix} f_x & 0 & c_x 0 & f_y & c_y 0 & 0 & 1 \end{bmatrix} $$

这里的 (\mathbf{K}) 就是相机内参矩阵：(f_x, f_y) 是横纵向焦距（以像素为单位），(c_x, c_y) 是主点坐标。实际镜头还会引入径向、切向畸变，需要用若干畸变系数 (k_1, k_2, p_1, p_2, \dots) 建模。(cs280-berkeley.github.io)

对机器人而言，内参的作用很直接：

• 将像素单位（px）转换成角度和长度的约束；
• 为后续外参估计、PnP 位姿求解、三角测量提供基础；
• 畸变校正后，几何关系才严格满足针孔模型假设。

2）典型标定方法（以棋盘格 + Zhang 方法为例）

在工程实践中，使用平面棋盘格进行标定是最常见的方案。Zhang 提出的平面标定方法只需要在不同姿态下拍摄若干张棋盘格图像，即可同时估计内参和畸变，被广泛集成到 OpenCV、ROS 等工具中。(ResearchGate)

核心流程可以概括为：

1. 准备标定板
   • 一块已知尺寸的棋盘格或圆点格（例如 8×6 内角点，每个格子 25 mm）。
   • 在标定程序中配置每个格子的真实尺寸。
2. 采集多视角图像
   • 将棋盘格在相机视野中以不同距离和姿态摆放：近、远；左、右；倾斜、旋转等。
   • 要让角点尽量覆盖整个图像平面，以便估计畸变和主点位置。
   • 一般建议采集 10–20 张以上有代表性的图像。
3. 角点检测与匹配
   • 使用亚像素精度角点检测（如 OpenCV findChessboardCorners 与 cornerSubPix）提取每张图像的角点坐标。
   • 将角点与平面标定板上的 3D 点坐标建立对应（Z=0 的平面）。
4. 线性求解 + 非线性优化
   • 先通过线性方法估计一个初始内参矩阵与畸变参数；
   • 再使用非线性最小二乘（如 Levenberg–Marquardt）优化全部参数，最小化所有图像上角点的重投影误差。
5. 评估与保存结果
   • 查看重投影误差的均值与方差（通常 RMS 在 0.1–0.5 像素级即相当不错）；
   • 将内参、畸变系数存入配置文件或 ROS 参数服务器，供后续去畸变和三角测量使用。

[图 3.4-2：棋盘格标定过程示意，包括多视角图像、角点检测结果和重投影误差可视化]

3）工程实践中的细节与坑

• 曝光与清晰度：图像过曝或模糊会严重影响角点检测质量；建议使用自动曝光锁定或手动曝光。
• 温度与变焦：变焦镜头在调整焦距/对焦后，内参会明显变化；部分工业相机在温度变化较大时内参也会轻微漂移。需要在最终使用配置（焦距、对焦、安装姿态）下完成标定。(MDPI)
• 分辨率变化：若相机分辨率配置改变（例如从 1920×1080 改为 1280×720），内参需要按比例缩放或重新标定。
• RAW vs ISP 输出：若直接在 RAW 域上做几何感知，内参应针对 RAW 分辨率标定；若使用 ISP 后的裁剪/缩放输出，则必须在最终输出分辨率下标定。

3.4.1.2 外参（相机姿态）估计

1）外参的定义

相机外参描述的是相机坐标系相对于某个参考坐标系（例如世界坐标系、机器人基座坐标系）的位姿，即旋转矩阵 (\mathbf{R}) 与平移向量 (\mathbf{t})。通常用一个齐次变换写成：

$$ \mathbf{T}_{\text{world}}^{\text{cam}} = \begin{bmatrix} \mathbf{R} & \mathbf{t} 0 & 1 \end{bmatrix} $$

有了外参，就可以把图像中的点反投影到世界或机器人坐标系，从而实现「看见桌面上的目标 → 指挥机械臂去抓」。(cs280-berkeley.github.io)

2）基于 PnP 的外参求解

在内参已知的情况下，如果我们知道一组 3D 点在世界坐标系中的位置 ({\mathbf{X}_i})，以及这些点在图像中的像素坐标 ({\mathbf{u}_i})，就可以通过**位姿估计（PnP，Perspective-n-Point）**求解相机姿态。 典型工程流程：

1. 在世界中固定一个带已知几何结构的标定物体（棋盘格、ArUco 标志板、定制标定架等）；
2. 记录该标定物体在世界坐标系中的 3D 坐标；
3. 拍摄标定物体，提取图像上的角点或标志点像素坐标；
4. 使用如 OpenCV solvePnP 之类的算法求解 (\mathbf{R}, \mathbf{t})。

为了提高鲁棒性，常见做法是采集多张图像，对每张求得的位姿进行非线性联合优化（bundle adjustment），从而减小噪声影响。

3）固定相机的标定策略

对于安装在环境中的固定相机（如俯视桌面的顶置相机），一般做法是：

• 在机械臂可达区域内放置标定板或精密标记；
• 使用测量工具确定标定板在机器人基座坐标系中的精确位置；
• 拍摄多张标定板图像，通过 PnP 估计 (\mathbf{T}_{\text{world}}^{\text{cam}})；
• 将世界坐标系选为机器人基座坐标系，则可直接得到 (\mathbf{T}_{\text{base}}^{\text{cam}})。

这样，后续任何在图像中检测到的 3D 点或平面，都可以转换到机器人基座下，用于规划运动。

3.4.1.3 手眼标定

1）Eye-in-hand vs Eye-to-hand

• Eye-in-hand（手眼相机）：相机安装在机械臂末端或接近末端的位置，随着机械臂一起运动。
• Eye-to-hand（外部相机）：相机固定在环境中，从外部观察机器人和工作区。(Department of Computer Science)

手眼标定要解决的问题是：

已知机器人末端在机器人基座坐标系下的位姿、以及相机看到的标定物体在相机坐标系下的位姿，求相机与末端之间的刚体变换。

简单说，就是求出「相机相对于机械臂手的精确位置和朝向」。

2）AX = XB 形式化

经典手眼标定可写成矩阵方程：

$$ \mathbf{A}_i \mathbf{X} = \mathbf{X} \mathbf{B}_i $$

其中：

• (\mathbf{A}_i)：机械臂从姿态 (i) 到姿态 (j) 的运动（末端在基座坐标系下的相对变换）；
• (\mathbf{B}_i)：相机从姿态 (i) 到姿态 (j) 的运动（标定物体在相机坐标系下位姿的相对变换）；
• (\mathbf{X})：我们要寻找的「手到眼」刚体变换（相机相对于末端的位姿）。(IARJSET)

通过采集多组不同姿态的 ((\mathbf{A}_i, \mathbf{B}_i)) 对，便可用线性方法求得一个初始解，再用非线性优化细化。

[图 3.4-3：Eye-in-hand 几何关系示意图，显示基座、末端、相机、标定板四个坐标系，以及 AX = XB 中各矩阵对应的运动箭头]

3）数据采集与求解流程

1. 固定一个标定板或标志（如带 ArUco 的平面板）在世界中不动；
2. 控制机械臂末端携带相机，绕标定板做多次不同姿态的运动（尽量覆盖不同位置和朝向）；
3. 记录每个姿态下：
   • 机械臂末端相对于基座的位姿 (\mathbf{T}_{\text{base}}^{\text{ee}})；
   • 标定板相对于相机的位姿 (\mathbf{T}_{\text{cam}}^{\text{target}})；
4. 从这些姿态对构造 (\mathbf{A}_i, \mathbf{B}i)，求解 AX=XB 问题，得到 (\mathbf{X} = \mathbf{T}{\text{ee}}^{\text{cam}})；
5. 可进一步引入非线性最小二乘，最小化所有姿态下标定板重投影误差和几何误差。

4）误差评估与常见问题

• 重投影误差：将世界中已知的标定点，通过「基座 → 末端 → 相机」链路投到图像，再与真实像素位置比较，均方误差越小越好。
• 抓取精度测试：在桌面上放置若干已知位置的小目标，让机器人根据视觉估计去抓取，统计抓取位置误差和成功率。(develop.realman-robotics.com)

常见坑包括：

• 姿态采样不够丰富（都在一个平面附近），导致解病态；
• 相机或末端在采集中产生微小滑动，但未被模型考虑；
• 标定板精度不足或标记尺寸测量不准。

3.4.2 图像处理链路：从传感器到模型输入

本小节关注的是「从光子到张量」的工程过程：相机如何把光信号转成数字图像，图像又如何变成深度学习模型可以接受的张量。这条链路任何细节处理不当，都可能直接影响模型在机器人上的表现。

[图 3.4-4：典型数字相机 ISP + 深度学习预处理的流水线图：光学 → 传感器（RAW）→ ISP（demosaic/降噪/白平衡/gamma）→ RGB 图像 → 尺度调整/裁剪 → 归一化 → Tensor]

3.4.2.1 传感器输出

1）RAW 数据与 Bayer 阵列

大部分 CMOS 图像传感器本质上是单色传感器，前面覆盖了一个彩色滤波阵列（CFA），最常见的是 Bayer 模式（RGGB）。每个像素只测量 R、G 或 B 中的一种分量，输出的是一个 RAW 灰度图像，但每个像素有不同颜色含义。(e-con Systems)

RAW 域通常具有以下特点：

• 响应近似线性（曝光强度与数值基本成正比）；
• 动态范围大，但包含噪声、坏点等；
• 尚未进行白平衡、降噪、锐化等处理。

2）ISP（Image Signal Processing）管线

在绝大多数工业/消费级相机中，RAW 数据会先进入 ISP，再输出常见的 RGB 或 YUV 图像。典型 ISP 包含：(ResearchGate)

1. 黑电平校正、响应线性化；
2. 白平衡（调整不同颜色通道增益）；
3. Demosaicing：从 Bayer CFA 重建完整的 RGB 像素；
4. 降噪、去坏点、锐化；
5. 颜色校正（传感器色域 → 标准 RGB 空间，如 sRGB）；
6. Gamma 矫正、对比度增强、色调映射等。

对于机器人视觉，有两种常见策略：

• 直接使用相机输出的 RGB 图像，让 ISP 完成大部分处理；
• 利用可编程相机/RAW 接口，手动实现简化 ISP，以获得更稳定、更可控的图像风格，为后续模型训练带来一致性。

3）与控制闭环的关系

ISP 的复杂度直接影响感知延迟。在一些高帧率、低延迟要求的场景（如高速飞行器避障），会刻意选择简化 ISP，甚至直接使用灰度或近 RAW 数据，以换取更低延迟。(rpg.ifi.uzh.ch)

3.4.2.2 尺度调整与裁剪

大多数视觉模型要求固定大小的输入（例如 224×224 或 480×480）。原始图像往往分辨率较高、纵横比不规则，需要进行缩放和裁剪。

1）缩放（Resize）的策略

• 保持纵横比缩放：按长边或短边缩放到目标尺寸，再在较短边上填充或裁剪。该策略可避免非均匀拉伸，减小几何畸变对检测、位姿估计的影响。
• 直接拉伸到目标尺寸：简单粗暴，但会扭曲几何关系，尤其对需要精确几何信息（抓取点预测、姿态估计）任务不利。
• 插值方式上，常用双线性、双三次插值；过于激进的插值会模糊边缘。

2）裁剪（Crop）与 ROI 选择

• 对于固定工作区（如实验桌面），可以直接裁剪出桌面区域，减少无关背景。
• 对于多任务场景，可以先用轻量级检测网络找出感兴趣区域，再裁剪出 ROI 输入到精细模型。
• 注意：裁剪会改变对象相对于图像坐标系的位置，对后续几何计算（如像素坐标归一化、PnP）必须做一致处理。

3）与内参与外参的一致性

如果标定是在原始全分辨率下完成的，而后续对图像进行缩放或裁剪，则需要对内参进行相同的线性变换：

• 缩放：(f_x, f_y, c_x, c_y) 按比例缩放；
• 裁剪：主点 (c_x, c_y) 需要减去裁剪偏移。

这是很多工程系统中容易忽略但会直接降低精度的细节。

3.4.2.3 归一化与张量转换

走到这一步，我们已经有了一张「看着还不错」的 RGB 图像，但深度学习模型需要的是一个数值张量。

1）归一化（Normalization）

典型的预处理包括：

• 将像素从 0–255 线性缩放到 0–1 或 -1–1 区间；
• 按通道减去均值、除以标准差（例如 ImageNet 标准均值/方差）；
• 对深度图或灰度图，可能需要做 log 变换或裁剪到物理合理范围。

关键要求是：训练时使用的归一化方式必须在推理时严格一致。否则模型学到的统计分布会在部署时完全失配，导致性能大幅下降。

2）张量格式与内存布局

• 通常深度学习框架使用 NCHW（batch，通道，高度，宽度）格式；
• 来自相机或图像库的数据往往是 HWC（高度，宽度，通道）格式，需要转换维度顺序；
• 对实时系统，数据拷贝和排列本身也会引入延迟，因此实际工程会尽量减少多余格式转换。

3）多模态输入的对齐

在机器人场景中，模型输入可能包括：

• RGB 图像、深度图；
• 机器人关节状态、末端位姿；
• 历史动作序列。

这些张量需要在时间戳上对齐（参见第 7 章的数据采集部分），以免模型把错位的感知和动作拼在一起，导致训练出的策略在真实世界表现异常。

3.4.3 延迟、噪声与帧率对控制的影响

视觉只是机器人控制闭环中的一环：从场景发生变化，到相机采集、ISP 处理、模型推理，再到控制器下发关节指令，中间会不可避免地引入时间延迟；图像本身则存在各种噪声与不确定性；而帧率则决定了系统感知世界的时间分辨率。这三者直接决定了视觉控制的上限性能。

[图 3.4-5：视觉控制闭环时间轴示意图，从真实世界事件发生到机器人执行动作的各个延迟环节；附带不同噪声源的示意]

3.4.3.1 延迟

1）延迟的类型

• 感知延迟：从真实场景变化到相机输出图像的时间，包含曝光时间、传感器读出时间、ISP 处理时间、数据传输时间。(ScienceDirect)
• 计算延迟：图像预处理、模型推理、后处理（如 NMS、轨迹规划）的时间。
• 执行延迟：从控制命令发出到机器人关节产生实际运动的时间，包括通信延迟、电机响应等。

整体延迟可简单理解为：机器人看到的是几帧之前的世界。在静态环境下这还好，在高速运动场景（如无人机避障）中则非常致命。

研究表明，在给定障碍密度和反应能力的前提下，感知延迟会对可安全行驶的最大速度形成硬性上限。(rpg.ifi.uzh.ch)

2）测量与建模

• 实验上可以通过让场景中出现一个在已知时间变化的视觉事件（如 LED 灯突然点亮），测量从事件发生到控制器检测到的时间，即感知+计算延迟。(ScienceDirect)
• 在控制算法层面，可以把延迟作为一个固定时滞或随机时滞进行建模，用离散时间视觉伺服控制、预测控制等方法进行补偿。(MDPI)

3）工程上的缓解策略

• 降低复杂度：简化图像分辨率、模型大小，牺牲部分精度换取更低延迟；
• 管线并行：将图像采集、推理、控制执行做成流水线，而非完全串行；
• 预测补偿：用上一时刻速度估计目标或机器人自身在当前时刻的位置，将控制量作用到「预测状态」上；
• 速度约束：直接在规划层限制最大线速度和角速度，使系统在给定延迟下仍能保证安全距离。

3.4.3.2 噪声

1）噪声的来源

• 传感器层面：读出噪声、光子噪声（shot noise）、热噪声；
• ISP 处理：压缩、锐化、降噪算法可能引入纹理变化和伪影；
• 环境因素：光照变化、反光、高动态范围场景导致局部过曝或欠曝。(ResearchGate)

这些噪声会直接影响：

• 特征检测与匹配的稳定性（角点、特征点抖动）；
• 深度估计与点云的精度（视差误差放大为深度误差）；
• 物体检测和姿态估计模型的置信度。

2）滤波与多帧融合

典型工程手段包括：

• 空间滤波（Gaussian、bilateral filter）去除高频噪声；
• 时间滤波（指数滑动平均）稳定目标位置估计，但会引入额外滞后；
• 多帧融合与超分辨技术，利用多帧观测提高信噪比。

3）在模型和数据层面的应对

• 数据增强时加入高斯噪声、压缩伪影、光照扰动，使模型对噪声更鲁棒；
• 通过鲁棒损失（如 Huber loss）减弱少数极端噪声样本对参数估计的影响；
• 利用原始 RAW 或线性域数据训练模型，避免 ISP 的不可控风格差异。(arXiv)

3.4.3.3 帧率

1）帧率与时间分辨率

帧率（FPS）决定了系统每秒能够获取多少张新图像。帧率越高，系统对环境变化越敏感，能更快发现和响应变化；帧率越低，则容易错过短暂事件或造成控制指令不连贯。

在视觉伺服中，常见的控制频率是相机帧率的整数倍或约数，例如相机 30 FPS、控制循环 30 Hz 或 60 Hz。若控制频率远高于视觉更新频率，后续控制循环只能基于旧图像反复更新，实际价值有限。(faculty.cc.gatech.edu)

2）高帧率的代价

• 采集和传输带宽需求增大（尤其是高分辨率图像）；
• ISP 和模型推理要在更短时间内完成，否则会堆积延迟；
• 嵌入式平台（如 Jetson）上，高帧率往往意味着更高功耗和温度。

因此，在工程上通常要做系统级预算：图像分辨率、帧率、模型大小、硬件性能必须同时考虑，找到一个满足任务需求的折中点。

3）帧率、延迟与噪声的联合作用

三者之间存在天然的联系：

• 提高帧率需要缩短曝光时间，可能降低信噪比，使图像更暗更「粗糙」；
• 过强的降噪又可能引入更多处理时间，增加延迟；
• 降低帧率虽可提高单帧质量，但控制回路响应变慢。

在机器人工程中，合理的做法不是单独追求某一指标极致，而是根据任务（慢速操作 vs 高速运动）选取合适的参数组合。

3.4.4 单目 / 双目 / 手眼相机的差异与适用场景

从「看」这个动作本身来说，相机可以有多种布置方式。不同布置在成本、深度感知能力、遮挡情况和标定复杂度上都有截然不同的特性。本小节主要对比三种典型配置：单目相机、双目相机、手眼相机与外部固定相机。

[图 3.4-6：单目相机、双目相机、Eye-in-hand 与 Eye-to-hand 四种典型配置的示意图，标出各自视野范围和与机器人坐标系的关系]

3.4.4.1 单目相机

1）特点

• 硬件简单、成本最低，安装灵活（机载、固定、头戴式等均可）；
• 无法直接从单帧图像恢复真实尺度的深度，只能得到相对结构或借助先验；
• 适合做 2D 检测、语义分割、场景理解等任务。

2）单目深度与结构推理

虽然单目本身不具备几何尺度，但可以利用：

• 相机运动多帧（结构从运动，SfM / VO）；
• 几何先验（物体尺寸、平面假设）；
• 学习方法（单目深度估计网络）。

这些方法在机器人场景中可以提供「相对深度」或近似距离信息，但其精度与鲁棒性通常不如真正的立体或深度传感器。

3）适用场景

• 低成本移动机器人导航（配合激光雷达或超声波避障）；
• 对绝对距离要求不高的拾取放置任务（如高度固定的桌面、物体尺寸已知）；
• 需要利用大视野和语义信息的任务（如房间场景分析、目标搜索）。

3.4.4.2 双目相机

1）立体几何与深度

双目相机由两台内参相同、外参已知的相机组成，通过视差恢复深度：

• 同一空间点在左右图像上的像素位置存在水平偏移，称为视差；
• 视差与深度成反比，基线越大、分辨率越高，估计精度越好。

在 3.3 已经介绍过基础三角测量原理，这里强调其工程意义：双目提供了稠密或半稠密的深度图，能让机器人在单次观测中获得完整的 3D 信息，而无需相机移动。

2）工程挑战

• 双目标定需要同时估计两台相机的内参和相互外参，对棋盘格姿态和数据质量要求更高；
• 立体匹配算法复杂度较高，对弱纹理区域、反光面表现不佳；
• 两路相机需要精确同步，否则会在快速运动时产生伪视差。

3）适用场景

• 模拟人眼视觉的服务机器人、移动平台导航；
• 抓取与操作任务中的深度感知（如堆叠物体高度估计、障碍物高度判断）；
• 对成本敏感，但又需要一定深度信息的场景，是 RGB-D 相机（结构光/ToF）的一种替代方案。

3.4.4.3 手眼相机 vs 外部固定相机

1）Eye-in-hand（手眼相机）的特点

• 相机固定在末端执行器或机械臂手腕上，视野随机器人运动而改变；
• 可以近距离观察目标，获得高分辨率局部细节，尤其适合精细操作（插入、拧螺丝、检查焊点等）；
• 遮挡问题更容易控制：机器人可以主动移动相机绕过遮挡。

缺点是：

• 手眼标定较复杂，需要解决 AX=XB 问题并维持长期稳定；(Department of Computer Science)
• 视野有限，很难同时观察整个工作区，需要配合路径规划确保相机视线不被自身或环境遮挡；
• 在机械臂高速运动时，图像更容易模糊，对曝光和帧率要求更高。

2）Eye-to-hand（外部固定相机）的特点

• 相机安装在环境中，如俯视工作台的顶置相机、墙角相机；
• 可以一次性覆盖较大的工作区域，方便做全局任务规划与监控；
• 外参标定相对简单，只需对固定标定板做 PnP 标定，且只要不移动相机，参数可以长期保持稳定。

但它也有明显局限：

• 容易被机械臂本体或其他物体遮挡；
• 对小物体或精细操作细节分辨率不足，远处目标角度变化导致姿态估计精度下降；
• 对于多机器人协作，需要复杂的多视角配置和坐标对齐。

3）组合使用与趋势

在较复杂的机器人系统中，常见的做法是：

• 使用一到多台外部相机提供全局感知（物体分布、障碍物、其它机器人位置）；
• 使用手眼相机提供局部精细感知（抓取对准、接触前微调）；
• 通过统一的坐标标定（手眼标定、相机间外参）将多视角信息进行融合。(Robotics Stack Exchange)

这种「全局 + 局部」的配置，也为后续 VLA 模型和世界模型提供了丰富多样的视觉输入基础——在后续章节中，我们会看到如何在这个基础上进一步利用语言、历史轨迹，将几何感知提升为智能行为决策。

4.1 NLP 基础

4.1.1 语言模型与子词分词（BPE、SentencePiece 等）

这一小节的目标，是把“语言”从符号序列变成可以计算的概率对象，并解释为什么几乎所有现代 NLP/LLM 都离不开子词分词。

4.1.1.1 语言模型

**语言模型（Language Model, LM）**的核心任务： 给定一个词（或 token）序列 (w_1, w_2, \dots, w_T)，估计这整个序列出现的概率 $$ P(w_1, w_2, \dots, w_T) $$ 或更常用的条件形式 $$ P(w_t \mid w_1, \dots, w_{t-1}) $$ 即“在前面已经看到的内容条件下，下一个词是什么的概率”。

利用概率论中的链式法则（chain rule），可以把整体概率拆成一连串条件概率的乘积： $$ P(w_1,\dots,w_T) = \prod_{t=1}^T P(w_t \mid w_1,\dots,w_{t-1}) $$

这就是“预测下一个词”的数学形式。无论是传统 n-gram 模型，还是后面 4.2 节要介绍的大型自回归 Transformer 语言模型，都是在近似和建模这类条件概率。

在工程实践中，语言模型主要用于：

• 评估一句话是否“自然”（概率越大越自然）
• 生成新文本（按概率采样或取最大概率的下一个词）
• 作为其它任务（翻译、问答、对话、代码生成、机器人语言理解）的基础模块

评价指标上，**困惑度（perplexity）**常被用来衡量语言模型好坏： 直观理解上，它刻画“模型平均每一步在多少个候选 token 之间摇摆”。困惑度越低，说明模型越“不困惑”，预测越准确。

【图 4-1 占位：语言模型示意图】 建议画一个简单示意：左侧是词序列 “机器人 / 把 / 杯子 / …”，箭头指向右侧一个“softmax 概率分布”柱状图，表示下一个词的概率分布。

4.1.1.2 N-gram 模型

在真实语言里，(P(w_t \mid w_1,\dots,w_{t-1})) 依赖的上下文可能非常长，直接建模几乎不可能。N-gram 模型通过一个强但简单的假设来简化问题：

第 (t) 个词只依赖前面最近的 (n-1) 个词，而不管更早的历史。

即 n 阶马尔可夫假设： $$ P(w_t \mid w_1,\dots,w_{t-1}) \approx P(w_t \mid w_{t-n+1},\dots,w_{t-1}) $$

于是整句的概率就变成： $$ P(w_1,\dots,w_T) \approx \prod_{t=1}^T P(w_t \mid w_{t-n+1},\dots,w_{t-1}) $$

常见的几种 n-gram：

• Unigram（一元组）：每个词独立，(P(w_t))
• Bigram（二元组）：只看前一个词，(P(w_t \mid w_{t-1}))
• Trigram（三元组）：看前两个词，(P(w_t \mid w_{t-2}, w_{t-1}))

参数估计很直观： 在语料库里数共现次数，比如 bigram： $$ \hat{P}(w_t \mid w_{t-1}) = \frac{\text{count}(w_{t-1}, w_t)}{\text{count}(w_{t-1})} $$

数据稀疏和平滑（smoothing） 即使在很大的语料库里，很多 n-gram 组合仍然从未出现，简单的计数估计会得到概率 0，导致整句概率为 0。为此需要平滑技术：

• 加一（Laplace）平滑：全部计数 +1，避免 0 概率
• Kneser–Ney 平滑：更精细地折扣高频 n-gram，将概率质量分配给低阶模型，是实际应用中非常强大的平滑方法

N-gram 模型的优点是直观、易实现、解释性好，但局限也很明显：

• 上下文窗口固定、短（一般 n≤5），难以捕获长距离依赖
• 高阶 n-gram 参数量膨胀严重，极易稀疏
• 需要大量人工设计特征和复杂平滑

这也为后续的神经语言模型和 Transformer-based LLM 铺垫了背景：它们在本质上也是语言模型，但放弃了简单的 n-gram 结构，使用深度网络来拟合长期依赖关系（详见 4.2 节）。

【图 4-2 占位：N-gram 概率图】 一条横向词序列，画出 bigram 的有向边（从前一个词指向后一个词，边上标概率），旁边再画一个 trigram 概率公式。

4.1.1.3 子词分词

语言模型需要先把原始文本切成离散 token，才能定义上面的概率分布。最朴素的做法是“按空格切词”，但这在很多场景中会出问题：

• 词汇表如果只包含完整单词，生僻词、人名、技术术语会变成 OOV（Out-of-Vocabulary）
• 黏着语、形态丰富的语言（如德语、土耳其语）一个词可以拼成非常长的复合词
• 对中文、日文等无空格语言，“按词切分”本身就是困难任务

**子词分词（subword tokenization）**就是折衷方案： 把词拆成更小的子单元（子词、字块、甚至字节），既比字符更长、表达能力更强，又比完整词更泛化。这样，模型只要掌握有限的子词，就能组合出近乎无限的单词。

Byte Pair Encoding（BPE）

BPE 原本是一种数据压缩算法，被 Sennrich 等人改造为子词分词方法，用于机器翻译等任务。 其基本思想：

1. 从字符级开始，将训练语料中的每个词看作字符序列。
2. 统计所有相邻符号（初始是字符对）的出现频率。
3. 找出出现频率最高的一对符号，把它们合并成一个新的符号（子词）。
4. 在整个语料中替换这对符号，更新符号序列。
5. 重复 2–4 步，直到达到预设的词表大小（例如 32k 或 50k 子词）。

举个简单例子（极简示意）：

• 初始：l o w, l o w e r, n e w, n e w e r
• 多次合并之后：lo w, lo wer, ne w, ne wer，再进一步可能变成 low, lower, new, newer

在机器人/多模态场景中，BPE 的优势尤其明显： 当遇到新的对象名（如“电动三轮广告车”）时，模型仍然可以把它拆成若干已知子词组合，而不是完全陌生的一个 token。

SentencePiece 与 Unigram LM

SentencePiece 是 Google 提出的一个子词分词工具，核心特点是：从原始字符序列直接训练子词模型，不依赖预先分词。

它支持两类常见的子词模型：

• BPE 模式：基本同上，只是集成在统一工具中
• Unigram 语言模型（Unigram LM）：为候选子词集合建立一个概率模型，对一句话所有可能的分词方式求概率，选择整体概率最大的那一种。

SentencePiece 还有几个工程上重要的特性：

• 语言无关：可以直接处理日文、中文、混合语种等，无需先用特定语言的分词器
• 直接训练与解码：既提供训练子词词表，也负责编码/解码，方便端到端部署
• 对空格等也视作普通字符，避免“空格信息丢失”的问题

在大模型和 VLA 场景中，我们通常只需要统一、稳定的 tokenization（如 BPE/Unigram + SentencePiece 实现），就能在多任务、多语言、多机器人之间共享同一语言模型。

【图 4-3 占位：BPE/SentencePiece 分词过程示意】 左侧是原始句子，下面列出“字符级表示 → 若干轮合并 → 最终子词序列”的过程，中间可附上合并频率排名的小表格。

4.1.2 词向量、上下文表示（word2vec、ELMo 等）

这一小节从“离散 token 编号”走向“连续向量空间表示”，是从统计 NLP 过渡到神经表示学习的关键步骤。

4.1.2.1 静态词向量

传统做法中，每个单词只是一个 ID，模型无法直接比较“机器人”和“机械臂”的相似程度。**词向量（word embedding）**通过把每个词映射为一个实数向量，能让模型在几何空间中“感受”词义相近性。

背后的直觉是著名的分布式假设：

在相似上下文中出现的词，其语义也相似。

word2vec

Mikolov 等人提出的 word2vec 模型是静态词向量的代表，使用一个小型神经网络在大规模语料上自监督训练。

两种典型结构：

• CBOW（Continuous Bag-of-Words）：给定中心词周围的上下文词，预测中心词
• Skip-gram：给定中心词，预测其左右上下文词；对稀有词效果更好

训练时常用的技巧包括：

• 层次 softmax：用 Huffman 树加速输出层计算
• 负采样（negative sampling）：只采样少量“负例”单词来更新参数，大幅加速训练

训练结束后，每个词对应一个固定维度的向量（如 100 维、300 维），在这个向量空间里：

• 语义相近的词距离较近（cosine 相似度高）
• 有时还能观察到线性关系，如 (\text{vec}(\text{“国王”}) - \text{vec}(\text{“男人”}) + \text{vec}(\text{“女人”}) \approx \text{vec}(\text{“女王”}))

其他静态词向量方法如 GloVe，可以看作对词共现矩阵的某种因子分解，也在许多 NLP 任务中表现良好。

【图 4-4 占位：词向量空间示意图】 通过二维投影展示若干词（如 “机器人”“机械臂”“猫”“狗”）在平面上的位置，同类词聚在一起。

4.1.2.2 上下文表示

静态词向量有一个致命缺陷：同一个词在不同语境中的含义不同，但它的向量是固定的。

比如“银行”在中文中可以是“金融机构”也可以是“河岸”；静态 embedding 无法区分这两种含义。为解决多义词问题，研究者提出了上下文敏感（contextualized）词表示。

ELMo：基于双向语言模型的上下文向量

ELMo（Embeddings from Language Models）是早期具有代表性的上下文表示方法。它的做法是：先训练一个深层双向语言模型（biLM），然后把每个词的表示定义为这个 biLM 内部隐藏状态的函数（通常是不同层表示的加权和）。

关键特点：

• 模型结构：字符级 CNN + 多层 BiLSTM + 语言模型目标（从左到右和从右到左）
• 对于句子中的每个词，ELMo 输出一个向量，这个向量取决于整句上下文
• 将这些向量作为附加特征喂给下游模型（如问答、自然语言推断、情感分析），能显著提升性能

与静态词向量相比，上下文表示有几点明显优势：

• 一词多义：可以根据句子动态区分意义（河边的“银行”和金融“银行”得到不同向量）
• 表达能力更强：深层网络可以捕获语法、语义乃至一些世界知识
• 迁移性好：在大语料上预训练，再迁移到各种下游任务

ELMo 之后，BERT、GPT 等基于 Transformer 的预训练模型进一步统一了“语言建模 + 上下文表示 + 下游任务微调”的范式（详见 4.2 节），但 ELMo 清晰体现了**“从语言模型内部状态抽取表示”**的思想。

【图 4-5 占位：静态 vs 上下文词向量对比】 同一个词 “bank” 在两句

• “I went to the bank to deposit money.”
• “He sat on the river bank.” 中的表示：上图静态 embedding 是同一点，下图上下文 embedding 是两处不同的位置。

4.1.2.3 预训练词向量的作用

无论是静态词向量（word2vec/GloVe），还是上下文表示（ELMo/BERT 系列），共同点是：可以在海量无标注文本上预训练，然后作为下游任务的“通用特征”。

在工程实践中，这带来几方面好处：

1. 更好的初始化 将下游模型的嵌入层初始化为预训练词向量，而不是随机初始化，用少量标注数据就能达到更高性能，并更快收敛。
2. 显著提升小数据任务的效果 许多任务（尤其是领域特定任务，比如“机器人操作日志理解”“工业说明书理解”）标注数据很少。预训练词向量可以把互联网大规模语料中学到的语言知识迁移过来，提高泛化能力。
3. 统一多任务、多领域表示空间 使用同一套预训练向量，多种任务共享一个表示空间，使得跨任务迁移、更大规模的多任务训练更容易实现。这为后续“统一视觉–语言–动作表示”的 VLA 模型打下了先验基础。
4. 在机器人场景中的具体价值
   • 对自然语言指令的理解更鲁棒（可以识别各种同义表达）
   • 可以把人类使用的专业术语、品牌名等编码进机器人可用的向量空间
   • 与视觉、动作表示对齐时，语言侧已经有较好的几何结构，便于跨模态对齐

在现代 LLM 中，“预训练 +（可能的）微调”几乎成为默认范式。4.2 节可以被看作是将“预训练词向量”扩展到“预训练整套语言模型”的自然结果。

4.1.3 常见任务：机器翻译、问答、摘要等

在掌握语言模型与向量表示之后，最典型的应用场景就是各种“序列到序列”任务。这里简要介绍三类与后续 VLA 特别相关的任务：机器翻译、自动问答和文本摘要。

4.1.3.1 机器翻译

**机器翻译（Machine Translation, MT）**的目标是： 给定源语言句子 (\mathbf{x})，生成语义等价的目标语言句子 (\mathbf{y})。

发展脉络（非常简略版）：

1. 基于规则 / 统计的传统翻译
   • 基于语法和词典的规则系统
   • 统计机器翻译（SMT）：学习“翻译模型 + 语言模型”，典型如短语翻译 + n-gram 语言模型
2. 神经机器翻译（Neural Machine Translation, NMT） 使用一个端到端的神经网络直接建模 (P(\mathbf{y} \mid \mathbf{x}))，
   • 早期采用 RNN 编码器–解码器结构
   • Bahdanau 等人引入注意力机制（attention），解码时可以软对齐到源句的不同部分，大幅提升性能
   • 后来 Transformer 架构成为主流翻译模型（与 2.4 节呼应）
3. 子词与开放词汇翻译 由于翻译需要处理大量人名、地名、新词，NMT 特别依赖子词分词。Sennrich 等工作表明，用 BPE 进行子词分词可以显著改善罕见词和未登录词的翻译质量。

机器翻译在具身智能中的作用非常直接： 机器人系统如果希望跨语言工作（例如同时接受中文和英文指令），可以使用统一的多语言表示空间或翻译模块，将不同语言映射到统一的语义指令表示，再交给 VLA 模型进行决策。

【图 4-6 占位：NMT Encoder–Decoder 结构示意】 左边源句 token 序列，经过编码器变成一串向量；右边解码器逐步生成目标句，每一步从注意力层“查看”源句不同位置。

4.1.3.2 自动问答

**自动问答（Question Answering, QA）**任务要求系统根据输入的问题，返回一个自然语言答案。根据是否给定上下文，可以大致分成：

• 机器阅读理解（Machine Reading Comprehension, MRC） 给定一段文本（如维基百科文章）和一个问题，从文本中找出答案。 典型数据集如 SQuAD：每个问题的答案是文章中的一个文本片段。
• 开放域问答（Open-domain QA） 系统可以检索整个知识库或搜索引擎结果，然后综合得到答案。这里通常需要“检索 + 阅读 + 生成”三段式管线。
• 封闭书问答（Closed-book QA） 模型完全依赖参数中“记住”的知识，不提供外部文档。例如直接问 LLM “谁提出了 ELMo”。

早期的 QA 系统通常采用“特征工程 + 机器学习”，或者 “检索 + 规则匹配”。现代 QA 系统则多依赖预训练语言模型，通过：

• 编码问题和文档，使用注意力/交互模块找出答案 span
• 或直接由生成式模型输出答案文本

在机器人场景中，自动问答能力可以自然扩展为：

• 解释型问答：用户询问“你为什么没有抓起杯子？”，机器人根据视觉、状态和任务规划给出语言解释（见 4.4.3）。
• 知识问答：机器人可回答“这个零件的材质是什么”“这个操作步骤下一步是什么”，帮助人类在任务中获取信息。

这些都依赖足够强的语言理解和生成能力，而这些能力本质上都来自于强大的语言模型 + 上下文表示。

4.1.3.3 文本摘要

**文本摘要（Text Summarization）**任务希望模型从长文本中压缩出简短而信息密集的摘要。在现代 NLP 中通常分为两大类：

1. 抽取式摘要（Extractive Summarization）
   • 从原文中选出若干“重要句子/片段”，按一定顺序拼接成摘要
   • 摘要中的句子是原文的子集，不生成新句子
2. 生成式（抽象式）摘要（Abstractive Summarization）
   • 模型“理解”原文要点后，用自己的语言重新组织句子
   • 可以使用原文中没有出现过的表述，更接近人类写作风格

早期抽象式摘要往往采用编码器–解码器结构，结合注意力和指针机制（pointer-generator），既能生成新文本，又能“复制”原文中的关键词语，缓解 OOV 问题。

模型评价上，ROUGE 系列指标被广泛使用，通过比较系统摘要和人工摘要之间的 n-gram 重合来评估质量。

在具身智能和机器人系统中，摘要能力的应用场景包括：

• 实验日志与传感器数据的“语言摘要”：把长时间运行的机器人操作日志自动总结成自然语言报告，帮助研究人员快速了解结果。
• 环境描述压缩：将复杂场景感知结果压缩成高层语言描述（如“桌子上有三个杯子，其中一个是红色”），再交给上层规划模块。
• 人机交互中的简短回顾：机器人执行一长串动作后，用一两句话向用户简单汇报自己做了什么，有利于建立信任和可解释性。

【图 4-7 占位：抽取式 vs 抽象式摘要对比】 左边：原文多句，系统选出其中几句高亮连接成摘要；右边：模型生成几句新文本，箭头指向原文不同部分，表示它综合了多个来源。

本节从语言模型 → N-gram → 子词分词 → 词向量与上下文表示 → 典型 NLP 任务搭建了一个最基础的 NLP 知识框架。后续 4.2 节会在此基础上，引入大规模 Transformer 语言模型及其在多模态、具身智能中的角色，从“会说话的模型”进一步走向“会理解、会行动的机器人大脑”。

4.2 大语言模型（LLM）基础

4.2.1 自回归语言模型与下一个 token 预测

4.2.1.1 自回归模型

在 4.1 节里，我们已经从“语言模型 = 预测下一个词的机器”的角度做过直观介绍。这里开始进入现代大语言模型（LLM）的主流形式：自回归（autoregressive）语言模型。

给定一个 token 序列 (x_{1:T} = (x_1, x_2, \dots, x_T))，自回归模型假设整段文本的概率可以被分解为从左到右的一系列条件概率：

$$ p_\theta(x_{1:T}) = \prod_{t=1}^{T} p_\theta(x_t \mid x_{<t}) $$

也就是说，第 (t) 个 token 的分布，只依赖于它左侧所有已经出现的 token。这就是“自回归”的含义：用自己过去的输出来回归（预测）未来。

在工程上，主流实现是 Transformer 的纯 Decoder 结构（第 2.4.4 节已介绍）：

• 输入是一串 token 的嵌入向量；
• 自注意力（Self-Attention）使用因果掩码（causal mask），只允许每个位置看到自己左边的 token；
• 最后一层通过一个线性层 + Softmax 输出在整个词表上的概率分布，即“下一个 token 的分布”。

生成过程可以用几行伪代码概括：

tokens = [BOS]          # 开始符
for t in range(T_max):
    p = model(tokens)   # 得到当前步的下一个 token 概率分布
    x_next = sample(p)  # 采样或取最大概率的 token
    tokens.append(x_next)
    if x_next == EOS:   # 结束符：生成终止
        break

这里的 sample 可以是贪心（取最大概率）、带温度的采样、top-k / nucleus sampling 等，在 8 章讲到动作 token 生成时还会再次出现。自回归生成的特点是：一步一步往后写，前文一旦写出就不再修改。

【图 4-2-1 插图占位：画出一个 Transformer Decoder，仅向左注意力的掩码示意，并标注从 “我 / 今天 / 去 / 了 / …” 逐步预测下一 token 的流程。】

对于具身智能，本章暂时先只把“自回归语言模型”当成一个可以自然生成序列的核心模块。在第 8 章你会看到，把“token”从纯文本扩展到视觉 token、动作 token 后，同样的自回归结构就能统一生成“视觉–语言–动作”序列，为 VLA 打下统一建模的基础。

4.2.1.2 预训练目标

大语言模型的预训练阶段，本质上就是在海量文本上，把上面的分解式变成一个优化问题：

$$ \mathcal{L}{\text{LM}}(\theta) = - \mathbb{E}{x_{1:T} \sim D} \left[ \sum_{t=1}^{T} \log p_\theta(x_t \mid x_{<t}) \right] $$

也就是最小化所有 token 的交叉熵损失，最大化训练语料在模型下的对数似然。这里的语料库 (D) 通常包括互联网网页、书籍、论文、代码、对话等复杂混合数据。

几个关键点：

1. 自监督（self-supervised） 每个序列本身就自带标签：前缀是输入，当前 token 是要预测的“标签”。不需要额外人工标注，这使得 LLM 可以利用极其巨大的无标注语料进行训练。
2. Teacher Forcing 训练方式 训练时第 (t) 步的条件 (x_{<t}) 是真实文本，而不是模型上一步生成的 token，这叫 teacher forcing。好处是梯度传播稳定、训练高效；代价是在推理时会出现所谓 exposure bias（见 4.2.1.3）。
3. 统一的预训练任务 不论是翻译、问答、代码补全还是推理题，在预训练阶段统统都被当成“补完一段文本”来处理：
   • 输入部分可以是“题目 + 提示”；
   • 输出部分是“答案 + 解释”；
   • 模型完全不知道“现在是在做什么任务”，它只是尽量把“后面的 token 写得像训练数据里的样子”。

大量理论与经验研究表明，单一的“下一个 token 预测”目标，已经足以让模型学会相当复杂的模式：包括上下文学习（in-context learning）、算术推理等。

从具身智能的角度，可以先把这一步理解为：在预训练阶段，我们只是教会模型**“读写符号序列”**，包括自然语言、代码、数学公式等，还没有加入任何机器人动作或传感信息。后续在第 8、9 章，会把这些新模态也统一成“token 序列”，继续用同一个目标进行训练或微调。

4.2.1.3 优点与局限

一、优点

（1）目标统一、实现简单 自回归 + 下一个 token 预测，为整个大模型生态提供了一个极其统一的训练目标：

• 不需要为每个任务设计专门的损失函数；
• 不需要显式区分“分类 / 回归 / 生成”；
• 所有东西都变成“在某个上下文下继续写 token”。

（2）高效利用无标注数据 由于是自监督，可以拿几乎任何文本（甚至代码、公式、注释）去训练 LLM，极大提高了参数中的“世界知识密度”，也带来了预训练规模和能力随之扩展的Scaling Law 现象：模型变大、数据变多、算力增大，性能往往按幂律提升，并出现新的能力。

（3）生成能力自然、可扩展到多模态 自回归模型本来就是生成模型，扩展到多模态时，只需把图像 patch、动作 token 等也视作序列中的元素，让模型继续“从左到右生成序列”即可。这种统一视角是 VLM / VLA 等方向的基础（见第 8 章）。

二、局限

（1）推理与训练目标的错位 预训练阶段只关心“像训练语料一样写下一个 token”，并不直接关心真伪、因果、价值观。如果训练语料里存在虚假或有害文本，模型也会学到相应模式。在开放式问答时，这直接表现为“看起来很真但其实瞎编”的幻觉（4.2.3、4.2.4 将展开）。

（2）Exposure Bias 与错误放大 训练时用真实历史 (x_{<t})，推理时用模型自己生成的历史。一旦前面几步略有偏差，后续条件分布就建立在“错误的历史”之上，错误可能迅速滚雪球。

（3）上下文有限与生成不可回头 自回归生成是单向、不可回退的：

• 一旦生成了前面的 token，就很难整体重写全部回答；
• Transformer 的注意力复杂度是 (O(n^2))，上下文长度有限，长推理链或长对话中的信息很容易被截断。

（4）对具身任务来说缺乏环境闭环 在机器人场景中，只靠“文本自回归”是远远不够的：

• 现实世界状态随时间变化；
• 机器人需要根据传感器反馈不断调整动作。 然而自回归语言模型本身只看到“历史 token 序列”，看不到真实物理状态。这就是为什么后文会引入指令微调、RLHF、工具调用、VLA 架构等机制，把“预测 token”这套能力嵌入到更大的闭环系统中。

4.2.2 指令微调与对话式模型

4.2.2.1 指令微调

预训练后的 LLM 更像一个“万能补全引擎”：写小说、续代码、模仿网页风格都没问题，但并不一定会乖乖按人类给出的“指令”办事。指令微调（Instruction Tuning）就是要把它从“自动补全器”变成一个“听得懂任务说明的助手”。

典型流程（以 InstructGPT 为例）：

1. 构造指令数据集 收集大量“指令–输入–输出”三元组，例如：
   • 指令：“请用一句话总结下列实验结果。”
   • 输入：一段论文中的实验部分；
   • 输出：简要总结。 这些样本覆盖分类、翻译、抽取、推理、代码等多种任务，并尽量使用自然语言描述，而不是硬编码任务 ID。
2. 仍然使用下一个 token 预测作为目标 把“指令 + 输入 + 特殊分隔符”与“期望回答”拼接成一个长序列，继续用交叉熵最小化： $$ \mathcal{L}{\text{SFT}}(\theta) = - \sum{t \in \text{answer}} \log p_\theta(x_t \mid x_{<t}) $$ 这一步通常被称为 SFT（Supervised Fine-Tuning），从行为上把模型“拉向”人类示范。
3. 指令格式与元信息 工程上往往约定统一格式，例如：

### 指令:
解释下面这段代码的功能。

### 输入:
...

### 回答:

模型只在“回答”部分计算损失。对于具身任务，这里的“输入”可以扩展为文字描述场景、传感信息摘要等。

指令微调的本质，是把“任务是什么”也用自然语言编码进输入，让同一个预训练模型，在见到不同指令时自动切换行为。对 VLA 而言，“把红色方块放进蓝色盒子”也只是另一种指令，后续我们会让模型学会把这种指令翻译成动作序列。

4.2.2.2 ChatGPT 风格的对话模型

在指令微调的基础上，再进一步引入多轮对话数据，就得到 ChatGPT 这类对话式模型。典型训练样本不再是单轮的 “指令–回答”，而是一整段带角色的对话：

[system] 你是一个乐于助人的机器人助手。
[user]   我想学一下强化学习，需要什么基础？
[assistant] 你可以从概率论、线性代数和优化方法开始...
[user]   那和监督学习的主要区别是？
[assistant] ...

训练方式仍然是自回归下一个 token 预测：把整段对话视作一个长序列，只对 assistant 角色的 token 计算损失。通过大量此类数据，模型逐渐学会：

• 如何在对话中保持礼貌、连贯；
• 如何利用历史轮次补全省略信息（如“那这个算法呢？”中的“这个”指代前文）；
• 如何遵守 system 角色设定（例如保持某种语气、遵守安全规范）。

在机器人场景下，ChatGPT 风格的模型承担的是人类接口角色：

• 用户用自然语言表达需求、偏好和约束；
• 对话模型负责解释、澄清、分解任务；
• 后端再把相对明确的“子任务描述”交给 VLA 或传统规划器去执行（见第 8、10 章）。

【图 4-2-2 插图占位：对话式模型的输入输出示意图，展示 system / user / assistant 三类 role 如何拼接成一个统一的 token 序列。】

4.2.2.3 对话管理

传统任务型对话系统一般分成四个模块：

1. 语义理解（NLU）：把用户话语解析成槽位、意图；
2. 对话状态跟踪（DST）：维护“当前任务进展到哪一步”；
3. 策略（Policy）：根据状态选择下一步系统动作；
4. 自然语言生成（NLG）：把动作转成回复句子。

大语言模型出现后，很多系统把这四步合并到一个 LLM 里，让它直接“端到端生成回复”。但在工程实践，尤其是具身机器人领域，完全端到端的对话管理仍然不够安全与可靠，通常会采用“LLM + 外部对话管理器”的混合方案。

可以粗略分成三个层次：

• 纯生成式对话管理 全部状态都以文本形式隐含在对话历史中，由 LLM 自行“脑补”。优点是简单；缺点是难以强约束、安全性难保证。
• 结构化状态 + LLM 把关键信息（当前任务、机器人位置、是否抓到物体等）维护在结构化的“世界状态”中，让 LLM 只做两件事： 1）理解用户意图并转换为结构化指令（如调用 API pick(object=red_block)）； 2）在需要时给出自然语言说明。 这类似 Chapter 10 所说的“VLA 与传统规划模块共存”。
• LLM 作为高层“对话策略模块” 高层由 LLM 决定“应该和用户说/问什么”“需要调用哪个工具或子系统”；低层对话轮次管理、日志记录、安全过滤则由传统对话管理框架负责。

对机器人而言，对话管理还有一个核心要求：把“语言状态”与“物理状态”对齐。例如用户说“再往左一点”，系统需要结合当前相机画面、机器人位姿来解释这个“左”。这要求对话管理器必须同时读懂对话历史和环境状态，而不能只靠语言模型单方面推理；这一点会在第 4.4、10.1 节继续展开。

4.2.3 RLHF（人类反馈强化学习）的动机与基本流程

4.2.3.1 模型幻觉与价值不对齐问题

从前两小节可以看到：

• 预训练 + 指令微调的模型已经很会“说话”；
• 但它的优化目标依然是“写出高似然的下一个 token”。

结果就是：

1. 幻觉（Hallucination） LLM 会产生看起来流畅、逻辑通顺但事实错误的内容，例如捏造不存在的论文、凭空编造 API 接口等。多篇综述将这种现象统称为“幻觉”，强调其在开放式问答、信息检索等场景中的严重性。近期研究指出，当前评测指标往往鼓励“宁可乱猜也不要说不知道”，这进一步放大了幻觉：模型会被奖励为“好考生”，而不是“诚实的助手”。
2. 价值观与安全的不对齐 预训练语料包含大量有毒言论、偏见、甚至危险做法。仅靠指令微调，很难保证模型在所有场景下都避免攻击性语言、尊重隐私、避免提供危险操作建议。InstructGPT 的工作系统地展示了：仅放大模型规模，不能自动解决“对齐（alignment）”问题。

在纯文本助手里，幻觉“顶多说错话”；而在具身机器人中，如果把 LLM 输出直接映射成实际动作，错误决策可能导致设备损坏甚至安全事故。这就是引入 RLHF 的直接动机：

• 不再只看“预测下一个 token 的概率”；
• 而是让人类对模型行为进行打分或排序，用强化学习把这些偏好编码进策略中，使之更“有用、无害、诚实”。

4.2.3.2 人类反馈数据

RLHF 一般包含两类核心人类数据（在 InstructGPT 与后续工作中已形成“标准三部曲”）：

1. 示范数据（Demonstrations）——监督微调阶段 标注者看到一个 prompt（例如用户问题），直接写出一份他们认为“理想的回答”。这些数据用于 SFT 阶段，把模型从纯 LM 拉到“基本像个助手”的水平。
2. 偏好数据（Preference Data）——奖励模型阶段 给定同一个 prompt 和多条候选回答（通常来自 SFT 模型采样），标注者只需在其中排序或选择更喜欢的一条。

训练一个奖励模型 (r_\phi(x, y))，目标是让其在“好回答”上给出的分数高于“差回答”。典型的损失函数为成对逻辑回归： $$ \mathcal{L}{\text{RM}}(\phi) = - \mathbb{E}{(x, y_w, y_l)} \left[ \log \sigma\big(r_\phi(x, y_w) - r_\phi(x, y_l)\big) \right] $$ 使得 (r_\phi) 近似“人类偏好函数”。

- 相比绝对打分，成对比较更稳定、简单；
- 采集到的样本形如 ((x, y_{\text{good}}, y_{\text{bad}}))。

除了文本助手，类似的人类偏好也可以施加在机器人轨迹上：例如给两段示教视频打分“哪种抓取更稳定、更安全”。这与 5.3 节的“奖励学习”“逆强化学习”在思想上是一致的，只是对象从“物理轨迹”变成了“文本回答”。

4.2.3.3 强化学习微调

在拿到 SFT 模型和奖励模型后，RLHF 的第三步才是真正的“强化学习”：用奖励模型指导策略（LLM）更新。

典型做法（以 PPO 为例）可简化为：

1. 策略初始化 把指令微调后的模型记为 (\pi_{\text{SFT}})。以其为起点初始化 RL 策略 (\pi_\theta)，这样一开始行为就已经“像个人”。
2. 生成数据并打分 从真实或合成的 prompt 分布 (x \sim D) 采样，令策略生成回答 (y \sim \pi_\theta(\cdot \mid x))。
   • 用奖励模型计算分数 (r_\phi(x, y))；
   • 同时加入一个 KL 惩罚项，限制策略不要偏离初始的 (\pi_{\text{SFT}})。
3. 优化目标 我们希望最大化期望奖励，同时保持与 SFT 模型接近，可以写成：[ \max_\theta \ \mathbb{E}{x, y \sim \pi\theta} \big[, r_\phi(x, y) - \beta , \mathrm{KL}(\pi_\theta(\cdot|x)\Vert \pi_{\text{SFT}}(\cdot|x)) \big] ]其中 (\beta) 控制“听奖励模型”和“别离谱乱跑”之间的平衡。实际实现中使用 PPO 这样的 Actor–Critic 算法，以保证更新稳定（这与第 5 章中的 RL 算法是一脉相承的）。
4. 得到 RLHF 模型 经过多轮迭代，我们得到一个既继承预训练知识、又更符合人类偏好的新策略。InstructGPT 结果显示，1.3B 参数的 RLHF 模型，在人工偏好评估中甚至可以优于 175B 的原始 GPT-3，可见“对齐”有时比“变大”更重要。

【图 4-2-3 插图占位：RLHF 三阶段流水线示意图——左侧是 SFT，中央是“人类偏好数据 + 奖励模型”，右侧是 PPO 微调策略的循环。】

在具身智能语境下，可以类比地考虑：

• 策略 (\pi_\theta) 不再输出文本，而是输出动作 token 序列；
• 奖励模型可以基于人类对轨迹视频的偏好训练；
• PPO 之类的 RL 算法同样适用。 不过机器人 RLHF 还需要解决安全约束、样本效率等额外问题，这会在第 5 章和第 9 章进一步探讨。

4.2.4 LLM 的推理能力与局限性

4.2.4.1 涌现的推理能力

一个看似“魔法”的现象是：随着参数量、数据量和训练算力的扩大，LLM 会突然表现出一些在小模型中不存在的能力，例如多步算术推理、链式思维（Chain-of-Thought）推理、复杂代码生成等。Wei 等人将这种现象命名为“涌现能力（emergent abilities）”并进行了系统量化。

典型观察包括：

• 在模型规模较小时，某些任务（如多步骤算术、逻辑组合题）准确率接近随机；
• 当参数量跨过某个阈值后，性能会突然出现“跳变”；
• 一些研究从理论上分析了：单一的下一个 token 预测任务，就足以让模型在上下文中学会“隐式拟合任务”和“算法样式”，从而表现出 in-context learning、算术等能力。

更直观地说，大模型在学习如何“最合理地接龙”时，被迫压缩了大量统计结构和模式，包括：

• 语法、语义模式；
• 论证结构（先提出假设，再论证，再得结论）；
• 问题–解题步骤–答案的模板。

当我们用“逐步思考一下再回答”的提示（Chain-of-Thought prompting）时，其实是在要求模型显式展开它在内部已经学到的“解题模板”。这并不等价于人类的逻辑推理，但在很多任务上效果非常接近。

【图 4-2-4 插图占位：横轴为模型规模（log 尺度），纵轴为某推理任务准确率，画出一条在某点附近出现明显“弯折”的曲线，用以说明涌现能力。】

对具身智能来说，这种涌现能力的意义在于：

• 可以把高层任务分解、策略规划、条件判断等“符号逻辑味很重”的部分交给 LLM；
• 再由 VLA 或传统控制模块负责把这些高层步骤“编译”成具体的物理动作。 换句话说，LLM 更适合担当文本世界里的“策士”，而不是直接作为底层执行器。

4.2.4.2 知识局限

尽管 LLM 参数中“存了大量知识”，但它的知识能力有几个根本限制：

1. 静态知识：有时间截止 预训练数据是在某个时间点之前采集的，之后发生的事件、发布的论文、新的 API 等，模型天然不知道。要获取最新知识，必须连接检索或工具。
2. 不完整且有偏 即便在截止时间之前，训练语料也不可能覆盖世界的全部事实，而且采集自互联网势必带来地域、语言、阶层等偏差。这些偏差会被模型放大乃至固化。
3. “记住在参数里”并不等于“随时取得出” 即使某个事实确实出现在训练文本中，模型也可能因为 prompt 的写法不同、上下文干扰等原因而给出错误答案。这和人类“记得学过，但一时想不起来”有点类似，但机制完全不同。

一种主流缓解方式是 检索增强生成（Retrieval-Augmented Generation, RAG）：在推理时先从外部知识库（如 Wikipedia 或公司内网文档）检索相关文段，再把检索结果和用户问题一起喂给 LLM，让它在“外部记忆 + 内部参数”的联合信息上生成答案。RAG 已被证明能显著提高知识密集型任务的准确度和可追溯性。

另一个方向是工具增强（tool-augmented）语言模型：让 LLM 学会在需要时调用外部计算器、搜索引擎、数据库查询、代码执行环境等，从而把自己从“单机离线模型”升级为“会使用工具的代理（agent）”。系统性综述表明，这类架构在复杂推理、数值计算、领域专用知识等任务中有显著优势。

对于机器人而言，这种“外部知识源”更加重要：

• 参数里的知识可以告诉机器人“如何一般性地折叠衣服”；
• 但只有外部传感（相机、力觉）和专用地图/数据库，才能告诉它“这件衣服到底在哪、当前皱成什么样”。 因此，在具身系统中，LLM 的知识局限应该通过环境感知 + 检索 + 专用知识库来弥补，而不能被当成“世界真相的唯一来源”。

4.2.4.3 错觉与事实性问题

“幻觉”一词在本书中已经多次出现，这里做一个更系统的整理。大部分研究把 LLM 幻觉定义为：输出内容在形式上流畅自然，但在事实、逻辑或与上下文一致性上存在错误或捏造。

常见类型可以粗略分为：

• 上下文外幻觉（extrinsic）：回答与外部真实世界矛盾，例如捏造不存在的论文、引用虚假的法律条款；
• 上下文内幻觉（intrinsic）：回答与输入上下文自身矛盾或逻辑不一致，例如前面说“这是一个 3×3 矩阵”，后面却把它当成 2×2 处理。

造成幻觉的根本原因有：

1. 目标函数不追求“真”，只追求“像” 下一个 token 预测 + RLHF（以人类偏好为导向），本质上都鼓励模型产生“看起来像好答案的文本”。只要在训练/偏好数据中，高分回答往往是“自信作答”而不是“诚实地说不知道”，模型就会更倾向于猜测而不是拒答。
2. 训练数据本身包含错误与噪声 互联网文本并不总是可靠，模型可能正确学习到“错误的事实”。
3. 生成算法放大高概率但错误的“故事” 为了提高可读性，我们常用温度调节、top-k / nucleus sampling 等采样策略；这些策略会倾向抽取“概率较高的 token”，一旦模型的内部分布略有偏差，就可能生成一条表面极其合理的错误叙事。

在工程上，人们提出了多种缓解方案：

• RAG 与知识库 grounding：在回答前强制检索权威数据源，让模型“围绕检索结果说话”；
• 自一致性与多次采样交叉验证：对同一问题生成多份答案，相互比对，选取一致性更高的一份；
• 显式不确定性表达：修改训练与评价指标，鼓励模型在不确定时说“我不知道”而不是乱猜；
• 外部验证器：用小模型或规则系统对 LLM 输出进行事实核查，例如验证引用是否真实存在。

尽管如此，当前共识仍然是：幻觉无法被完全消除，只能被压低到某个可接受水平。这在纯文本助手里已经是一个严重问题，在具身机器人系统中更是安全关键：

• 如果 LLM 错把“有水的杯子”当成空杯子去翻转倒置，后果就是一桌水；
• 如果 LLM 误判危险区域、忽略用户设定的安全约束，会直接演化为物理世界的事故。

因此，在本书后续关于 VLA 系统部署与安全性（第 10.3 节）中，我们会坚持一个原则：

不要把 LLM 的输出当成“事实”，而应当当成“需要验证与约束的建议”。

在机器人具身智能的发展路线中，大语言模型提供了强大的知识与推理接口，但它必须始终处在传感–规划–控制这一闭环架构之中，被感知模块、控制约束和人类监督共同“托举”，才能真正安全、可靠地发挥价值。

4.3 视觉–语言对齐与多模态模型

4.3.1 图文对比学习（CLIP 思路）

这一小节的核心，是回答一个问题：**怎样让“看图的网络”和“读字的网络”学会在同一个语义空间里对齐？**CLIP 是目前最经典、也最具工程价值的方案之一。

4.3.1.1 CLIP 模型

（1）整体思想：从“标签分类”到“自然语言监督” 传统视觉模型用“狗 / 猫 / 车”这类固定标签做监督；CLIP（Contrastive Language–Image Pretraining）反其道而行：

• 不再依赖人工标注的有限类别，而是使用海量互联网图像及其自然语言描述（标题、alt 文本等）作为监督信号。
• 模型的任务不是“这张图是第几类”，而是“在一堆文本说明里，哪一句最有可能描述这张图？”——这是一个图文对齐问题。

（2）模型结构：双编码器 + 共享嵌入空间 CLIP 采用一个图像编码器和一个文本编码器，两者结构可以各自选择合适的 backbone：

• 图像编码器（Image Encoder）
  • 典型选择：ResNet 系列或 ViT（Vision Transformer）。
  • 输入图像 → 一系列卷积 / Transformer 层 → 得到一个全局图像向量（通过全局池化或 [CLS] token）。
• 文本编码器（Text Encoder）
  • 采用 Transformer 结构（与 2.4 节介绍的类似），先做子词分词（如 BPE），再输入到多层 self-attention 中。
  • 使用句子末尾的特殊 token（如 [EOS]）的隐藏状态作为整段文本的向量表示。
• 投影与归一化
  • 两个编码器最后都接一个线性投影层，将图像和文本映射到同一维度的向量空间（例如 512 维）。
  • 对向量做 L2 归一化，用余弦相似度衡量图文之间的语义相似。

【图 4.3-1 占位：CLIP 结构示意图——左边是图像编码器（ResNet/ViT），右边是文本编码器（Transformer），二者输出向量被映射到同一嵌入空间，中间通过相似度矩阵和对比损失训练。】

（3）零样本分类与“提示工程” 预训练完成后，CLIP 不需要再单独训练分类头，就能做零样本图像分类：

• 给定一个分类任务（如 ImageNet 的 1000 类），先为每个类别写一句自然语言提示，例如“a photo of a dog”，“a photo of a cat”。
• 用文本编码器编码这些类别描述；用图像编码器编码一张测试图像。
• 比较图像向量与每个类别文本向量的相似度，选相似度最大的类别作为预测。

从机器人角度看，这等价于让机器人用“语言标签”来理解视觉概念：后续在 VLA 模型中，可以通过调整文本提示来改变机器人对环境的“分类方式”，而不必重新训练整个视觉网络。

4.3.1.2 图文对齐训练

（1）对比学习直觉：拉近正样本、推远负样本 对比学习（contrastive learning）的核心思想很简单：

• 对于一对真实匹配的图像–文本（I, T），希望它们在嵌入空间的距离尽可能近；
• 对于不匹配的图像–文本对，则希望距离尽可能远。

在 CLIP 中，“负样本”来自同一个 mini-batch 内的其它图文对，无需额外标注，这使得训练可以扩展到数亿规模的图文对。

（2）InfoNCE / 对比损失形式 设一个 batch 内有 (N) 对图文样本 ((I_i, T_i))，记图像 / 文本编码器输出的向量为 (\mathbf{v}_i, \mathbf{u}i)，相似度 (s{ij} = \cos(\mathbf{v}_i, \mathbf{u}_j))。

• 图像→文本方向的对比损失（每张图必须“认出”自己的文本）：

$$ L_{\text{img}} = -\frac{1}{N}\sum_{i=1}^{N} \log \frac{\exp(s_{ii}/\tau)}{\sum_{j=1}^{N}\exp(s_{ij}/\tau)} $$

• 文本→图像方向的对比损失（每段文本也必须“认出”自己的图像）：

$$ L_{\text{text}} = -\frac{1}{N}\sum_{i=1}^{N} \log \frac{\exp(s_{ii}/\tau)}{\sum_{k=1}^{N}\exp(s_{ki}/\tau)} $$

• 总损失 (L = \frac{1}{2}(L_{\text{img}} + L_{\text{text}}))，其中 (\tau) 为温度参数，控制相似度分布的“尖锐程度”。

解释成自然语言就是：每张图要在所有文本中找到“唯一正确的一句”，每段文本也要在所有图中找到“唯一对应的一张”，并且错配要被严重惩罚。

（3）负样本规模与变体

• batch 越大，“负样本”越多，对比学习效果越好，因此 CLIP 采用大 batch 训练。
• 后续工作在 CLIP 基础上加入检索增强或局部区域–文本对齐，提升精细对齐能力，例如 RA-CLIP 引入在线检索增强特征，CLOC 通过 region-text 对比改善定位能力等。

对机器人而言，精细的区域–文本对齐可以帮助模型区分“桌子上的红杯子”和“地板上的红杯子”，为精准操作打基础。

4.3.1.3 用途

CLIP 训练出的图文对齐表征，已经成为多模态世界的“通用货币”，下游可以有多种使用方式：

（1）零样本 / 少样本视觉识别

• 通过不同文本提示，实现开放类别分类，例如“一个工业机械臂”“一个吸尘机器人”“一个桌面场景”等。
• 在机器人应用中，可用自然语言直接定义新类别，而不必收集专门数据集重新训练分类器。

（2）跨模态检索与语义搜索

• 以图找文：给一个场景图片，检索最匹配的文本描述或说明文档；
• 以文找图：给一句指令或描述，检索相应的图像 / 视频片段，例如“人把杯子放进微波炉”的示范视频。 这类检索能力为后续“从视频库中检索相似示教轨迹供机器人模仿”提供了基础。

（3）作为下游模型的“语义模块”

• 文本到图像生成模型中，CLIP 可以作为评估器 / 奖励模型，引导生成结果与文本更匹配。
• 在大规模 VLM/VLA 中，CLIP 式图文对齐常被用作预训练第一阶段，为后续更复杂的多模态推理打基础。

（4）对机器人具身智能的意义

• 将“看到的像素”映射到与“语言”共享的语义空间，是让机器人理解人类指令和环境语义的第一步。
• 只要图像与语言在表征空间中可计算相似度，后面就可以自然地加入“动作”这一模态，形成视觉–语言–动作一体的 VLA 模型（第 8 章会展开）。

4.3.2 图文检索、VQA、图像字幕等任务

在具身智能之前，视觉–语言模型最典型的评测任务主要是三类：图文检索、视觉问答（VQA）、图像描述（Image Captioning）。它们覆盖了“检索、理解、生成”三种能力维度，也会在机器人场景中以各种形式出现。

【图 4.3-2 占位：多模态任务一览图——上：以文找图 / 以图找文；中：VQA（图像 + 问题 → 文本答案）；下：Image Captioning（图像 → 描述句子）。】

4.3.2.1 图文检索

（1）任务定义 图文检索（Image–Text Retrieval）包含两个方向：

• 文本检索图像（Text→Image）：给定一句文本描述，检索与之最匹配的图像（例如在图库中找到“机器人把碗放进柜子”的画面）。
• 图像检索文本（Image→Text）：给定一张图像，在文本库中找出最相关的说明文、操作步骤等。

在机器人系统中，这可以被用来从大规模操作视频 / 示教库中检索相似场景与动作脚本。

（2）实现路径：双编码器 + 相似度搜索

• 使用类似 CLIP 的双编码器结构，将所有图像和文本编码为向量，并归一化。
• 检索时，仅需计算查询向量与数据库向量的余弦相似度，使用向量检索库（如 FAISS）实现高效近邻搜索。
• 对需要更精细语义匹配的场景，可先用双编码器快速召回，再用单流或交叉注意力模型重排序（re-ranking）。

（3）评价指标与数据集

• 常用指标：Recall@K（R@1/5/10）、mAP 等，与第 3 章目标检测指标类似但针对检索任务。
• 典型数据集：MS-COCO、Flickr30k 等，提供图像和多句描述，用于训练和评测检索能力。

4.3.2.2 VQA（视觉问答）

（1）任务定义与特点 视觉问答（Visual Question Answering, VQA）指：给定一张图像和一个自然语言问题，让模型输出一个自然语言答案。

• 问题可以是事实类：“桌子上有几个杯子？”
• 也可以是关系类：“红色杯子在碗的左边还是右边？”
• 甚至是知识类：“这个工具通常用来做什么？”（需要结合外部世界知识，OK-VQA 等数据集便属于此类）。

（2）模型结构 典型 VQA 模型包含三部分：

1. 视觉编码：用 CNN/ViT 把图像编码成特征图或对象级特征（如检测框 + ROI 特征）。
2. 语言编码：用 RNN/Transformer 编码问题文本。
3. 多模态融合与回答解码：
   • 早期做法：把图像向量和问题向量简单拼接，然后用 MLP 分类固定答案集合。
   • 现代做法：使用单流或带 cross-attention 的 Transformer，在 token 层进行细粒度对齐，最后输出答案 token（可以是分类，也可以自由生成）。

（3）与机器人场景的联系 在具身机器人中，VQA 形式的能力可以用来：

• 做状态查询：例如“抽屉现在是开着的还是关着的？”、“桌上还有脏碗吗？”
• 做诊断与解释：机器人执行前，先问自己“目标物体是否可见？”、“是否存在障碍物挡住路径？”让高层策略更稳健。

后续在 VLA 章节，可以把 VQA 视为“对当前视觉观测的语言推理子模块”。

4.3.2.3 图像描述（Image Captioning）

（1）任务定义 图像描述（Image Captioning）要求模型根据输入图像生成一段自然语言描述，既要覆盖主要物体，也要体现关系和场景语义。

• 简单描述： “一个机器人站在桌旁。”
• 更丰富的描述： “一台白色机械臂正从桌上的蓝色盒子里取出一只杯子。”

（2）典型架构：编码器–解码器

1. 编码器（视觉）：CNN 或 ViT，将图像映射为特征向量或特征序列。
2. 解码器（语言）：RNN 或 Transformer，自回归地逐词生成描述文本。
3. 训练目标：
   • 主流是序列交叉熵损失（teacher forcing，下一个词预测）。
   • 有时还会结合 RL 方法，直接优化 BLEU、CIDEr 等评价指标。

新近工作还提出“全景式描述（Panoptic Captioning）”，试图用一段文本尽可能完整覆盖图中所有物体、关系和属性，使图像与文本更接近“信息等价”。

（3）在机器人中的作用

• 环境汇报 / 日志生成：机器人可以用自然语言描述当前看到的场景，为人类提供可读日志，例如“我已经把三个碗放进洗碗机，还剩一个在桌角”。
• 辅助 VQA 与规划：先将图像转为文字摘要，再交给强大的文本 LLM 做复杂逻辑推理（这种“先描述再推理”的方案在 OK-VQA 等任务中表现良好）。

【图 4.3-3 占位：图像描述架构示意图——左侧图像编码器输出特征，右侧语言解码器按时间步生成描述 token。】

4.3.3 视觉–语言大模型（VLM）的结构（联合 / 解耦）

视觉–语言模型（Vision-Language Model, VLM）指能同时理解图像和文本、并在两者之间建立语义联系的模型。它们是后续 VLA（视觉–语言–动作）模型的直接前身。

从结构上看，主流可以概括为两大类：

• 双流结构（解耦）：视觉与语言各自编码，后期再融合；
• 单流结构（联合）：视觉 token 与文本 token 放在一个 Transformer 里统一处理。

4.3.3.1 双流结构（解耦）

（1）基本思路 双流结构通常包含：

• 一个视觉编码器（ResNet/ViT 等），输出图像特征向量或 patch 序列；
• 一个文本编码器（BERT/Transformer 等），输出文本向量或 token 序列；
• 在高层通过相似度（CLIP）、简单拼接或少量 cross-attention 层进行融合。

CLIP、ALIGN 等大规模图文对比预训练模型可视为典型的双编码器式 VLM。

（2）优点

• 可充分复用单模态预训练模型：直接加载已有的视觉 backbone 与语言模型权重，只在顶部做少量适配。
• 检索效率极高：图像和文本可以分别预计算向量，在线检索只需做向量相似度计算，非常适合大规模检索场景。
• 工程部署友好：视觉编码可放在机器人的本地板卡上，文本编码可以在云端共享，一个视觉特征可以支持多种语言任务。

（3）局限性

• 视觉和语言交互较“浅”，主要靠全局向量相似度，难以精细理解局部关系（例如“左边第二个红杯子”）。
• 做复杂推理（如长文本问答、推断隐含关系）时，往往需要再叠加更复杂的 Cross-Attention 或 LLM 模块。

从具身智能视角看，双流结构很适合做通用感知模块：先把图像转为语义向量，再交给高层语言 / 决策模块处理。

4.3.3.2 单流结构（联合）

（1）基本思路：统一 Transformer 单流结构假设视觉和语言之间的关系足够复杂，需要在 token 级别完全交织，因此：

• 将图像切成 patch（或用检测器抽取对象特征），把每个 patch 映射为“视觉 token”；
• 将文本子词映射为“语言 token”；
• 把两类 token 串接在一起，加入位置编码与模态编码，一并输入单个多层 Transformer，通过自注意力实现全局交互。

典型单流模型包括 VisualBERT、VL-BERT、UNITER 等。

（2）优点

• 能在 token 级别学习复杂的跨模态对齐，例如“哪一块图像区域对应文本中的某个词”。
• 非常适合VQA、图文推理、细粒度多模态理解等任务。
• 也便于在同一结构中同时加入多种预训练目标（ITC、ITM、MLM、Captioning 等）。

（3）局限性

• 计算成本较高，无法像双编码器那样方便地离线预计算表示。
• 图像和文本必须一起送进模型，在线推理时的延迟和显存占用更大，这对实时机器人控制是一个压力。

近年来的大型视觉–语言大模型（例如 BLIP 系列、部分 LVLM）一般在双流与单流之间采用分阶段或混合结构：先用双流对齐，再用单流精细融合。

4.3.3.3 模型选择

在实际系统中选择哪种结构，取决于任务类型与资源约束，可以从以下维度考虑：

（1）任务类型

• 若以检索 / 开放词汇识别为主（例如为机器人查找相关示教视频、做开放类别物体识别），双编码器 + 对比学习往往足够，且高效。
• 若需要复杂的图文推理、细粒度问答（如长文本指令 + 场景理解），则单流或带 cross-attention 的联合结构更合适。

（2）计算与部署

• 在资源受限的嵌入式机器人平台上，更倾向采用参数较小的双流结构，将重计算（如大语言模型）放在云端。
• 在离线训练或服务器环境中，可以使用单流结构做重型训练，然后利用蒸馏等手段（见第 10.4 节）将其压缩。

（3）与后续动作决策模块的接口

• 如果后续 VLA 模型只需要一个紧凑的状态向量（例如“场景的语义 embedding”），双流结构自然输出这种向量。
• 如果希望在生成动作时直接访问图像 token 与语言 token 的细粒度交互信息，单流或混合结构更有优势。

【图 4.3-4 占位：VLM 结构比较图——左：双流（独立图像/文本编码器，顶部用相似度或简易融合）；右：单流（统一 Transformer 处理图像 token + 文本 token）。】

4.3.4 多模态预训练目标设计（对比、匹配、生成）

从优化目标的角度，看待视觉–语言预训练会更清晰：多数 VLM 都是**对比（contrastive）+ 匹配（matching）+ 生成（generative）**三类目标的组合，只是侧重点不同。

4.3.4.1 对比目标

（1）全局图文对比（Image–Text Contrastive, ITC）

• 典型代表就是 CLIP 的 InfoNCE 损失（见 4.3.1.2），目标是让全局图像向量与其对应的全局文本向量在嵌入空间中靠近，对其他样本远离。
• 适合训练可迁移的全局语义表示，对检索和零样本分类非常有效。

（2）局部对比与细粒度对齐 为支持更细粒度任务（如区域级定位），一些工作将对比目标拓展到：

• 区域–短语对比：例如让“the red cup on the right”对应图像中的某个局部区域。
• token–token 对比：在视觉 token 与文本 token 之间建立一对一或一对多的对齐。

这种细粒度对齐对机器人抓取与操作特别重要，因为许多指令会涉及空间关系和对象局部（“把杯子把手朝上”）。

4.3.4.2 匹配目标

（1）图文匹配（Image–Text Matching, ITM） ITM 通常被定义为一个二分类任务：给定一对图像–文本，预测它们是“匹配”还是“不匹配”。

• 正样本：真实图像及其描述。
• 负样本：随机替换文本或图像得到的错配对，或使用难例挖掘选择“看起来很像但不对的描述”。

与对比学习相比，ITM 常在联合 Transformer上进行（例如 UNITER、BLIP 中的多模态编码器），要求模型通过 cross-attention 精细判断图文是否一致。

（2）Token 级 / 实例级匹配 更进一步的工作如 VL-Match，将匹配目标细化到 token 或实例级：

• Token-level Matching：预测每个文本 token 是否在图像中有对应视觉证据。
• Instance-level Matching：对于图像中的每个物体，判断是否在文本中被提及。

这类目标能显著增强模型对“描述是否完整 / 是否遗漏关键物体”的判断能力，对于机器人执行安全相关指令（如“不要碰桌子右边的玻璃杯”）尤其重要。

4.3.4.3 生成目标

（1）图像条件下的语言生成（Captioning / MLM） 生成目标让模型在图像条件下学会“说话”，常见形式包括：

• 图像描述生成：给定图像，生成完整描述句子（Image Captioning），损失多为自回归的交叉熵。
• 条件掩码语言建模（Conditional MLM）：在给定图像和文本上下文的条件下，随机 mask 掉部分词，要求模型重建这些词。
• 语言模型式预训练：把图像特征作为“前缀”输入语言模型，使其在多模态提示下完成填空或续写。

BLIP 等模型会同时使用 ITC、ITM 和 Captioning 三种目标，使得模型既能对比对齐，又能判别匹配，还能自然生成描述文本。

（2）重建与世界建模 在更广义的生成目标中，还包括：

• 掩码图像建模（MIM）：随机遮挡图像部分区域，让模型根据未遮挡区域和文本恢复像素或特征（例如 MAE 类方法的多模态版本）。
• 视频 / 未来帧预测：给定当前图像与文本，预测下一帧或未来的视觉变化，为未来的世界模型（第 12 章）打基础。

（3）对具身智能的启示 对于机器人 VLA 模型，生成目标有两个重要作用：

• 让模型具备用语言解释自己所见所为的能力，这直接对应 4.4 节中“语言作为解释接口”的需求。
• 生成式训练与大语言模型的预训练目标兼容，便于将视觉–语言模型进一步扩展为视觉–语言–动作模型，通过“在统一序列上生成 token”的方式一起预测文本和动作。

【图 4.3-5 占位：多任务预训练示意图——同一 VLM 同时优化三种损失：ITC（对比）、ITM（匹配）、Caption（生成），三者用不同颜色标注在同一结构上。】

本节从 CLIP 式图文对比学习出发，介绍了多种视觉–语言任务形式、VLM 的结构设计，以及对比 / 匹配 / 生成三类预训练目标。后续章节将在此基础上进一步引入“动作”这一模态，展示如何把这些视觉–语言能力自然扩展为机器人可以执行的视觉–语言–动作策略。

4.4 语言在机器人中的角色

4.4 语言在机器人中的角色（本节综述）

在具身智能中，“语言”不再只是聊天工具，而是贯穿任务描述、约束与安全、行为解释、规划分解的统一接口。 本节重点讨论：当机器人已经具备视觉与控制能力之后，如何把“人话”稳健地接到“机器动作”上，并反过来用语言让机器人更可控、更安全、更可理解。

4.4.1 语言作为任务描述（goal specification）

4.4.1.1 自然语言指令

在人机协作场景中，最自然的任务接口就是一句话：

“把桌上的红色杯子放进水槽左边的碗里。”

对人类来说，这是一句再日常不过的句子，对机器人来说，这其实隐含了多个层次的信息：

• 任务意图：搬运（pick-and-place）
• 目标物体：红色杯子
• 目标位置：水槽左边的碗
• 关系约束：从桌子上拿起，再放入碗中
• 隐含常识：不要打碎杯子，要先清空路径、避免撞到人等

典型的自然语言任务接口一般包含以下处理链路：

1. 语言输入
   • 文本指令（键盘、APP、手机端）
   • 语音指令 + 语音识别（ASR）转成文本
2. 语义解析 / LLM 理解
   • 使用大语言模型或专门的语义解析器，将指令转为结构化表示，例如：