应对动力学漂移：SysID 与 RMA 在具身智能 Sim2Real 中的工程实践

引言：仿真里是“博尔特”，实机上走“太空步”

做强化学习（RL）四足或双足机器人的朋友，大概率都经历过这种名场面：在 Isaac Gym 或者 MuJoCo 里，策略跑了 50 亿步，奖励曲线漂亮得像教科书，姿态稳如老狗，推都推不倒。

然后你满怀信心地把 Policy 导成 ONNX，部署到实机上，按下启动键——

机器人先是像喝醉了一样原地高频踏步，接着踝关节发出一阵刺耳的啸叫，两秒钟后，左前腿减速器过流保护触发，整台机器在实验室的地砖上结结实实地摔了个“五体投地”。

欢迎来到现实世界。这里没有完美的刚体假设，没有瞬时响应的力矩输出，更没有恒定不变的摩擦系数。这就是我们常说的动力学漂移（Dynamics Mismatch / Sim-to-Real Gap）。

面对这个问题，学界和工业界主要有两条路：系统辨识（System Identification, SysID） 和 快速在线自适应（Rapid Motor Adaptation, RMA）。这两者不是对立的非此即彼，而是治标与治本的组合拳。今天聊聊我们在实机调试中，如何靠这两套工具把摔倒的机器人一次次扶起来。

一、 传统 SysID：给物理世界测体检，但别指望测出全部隐疾

系统辨识的核心思想很朴素：如果实物和仿真不一致，那就把仿真改到和实物一致为止。

在早期实践中，我们花了大把时间在离线 SysID 上：

1. 执行器建模：用测功机测出电机的扭矩-转速特性（Torque-Speed Curve），标定电枢内阻、反电动势常数。
2. 阻尼与刚度辨识：给关节施加特定正弦扫频信号，辨识连杆的转动惯量和关节阻尼 $D$、刚度 $K$。
3. 延迟标定：从传感器读取数据到电机实际产生电流响应，物理回路通常有 5ms~20ms 不等的时延。

# 一个典型的实机执行器非线性补偿与延迟建模示意
class ActuatorDynamics:
    def __init__(self, delay_steps=2, p_gain=30.0, d_gain=0.8):
        self.delay_buffer = []
        self.delay_steps = delay_steps
        self.kp = p_gain
        self.kd = d_gain

    def step(self, q_target, q_current, qd_current, bus_voltage):
        # 1. 考虑电池压降对最大输出力矩的削减
        max_torque = 0.85 * (bus_voltage / 24.0) * 18.0  # 假设额定 24V, 18Nm
        
        # 2. PD 响应计算
        tau_cmd = self.kp * (q_target - q_current) - self.kd * qd_current
        tau_clipped = np.clip(tau_cmd, -max_torque, max_torque)
        
        # 3. 通信与总线延迟模拟
        self.delay_buffer.append(tau_clipped)
        if len(self.delay_buffer) <= self.delay_steps:
            return 0.0
        return self.delay_buffer.pop(0)

实机教训： SysID 能解决 60% 的基础静态误差。但它解决不了时变（Time-varying）系统：

• 机器狗跑了 5 分钟后，电机绕组升温导致磁钢退磁、内阻增加，同样的电流指令力矩下降了 15%。
• 从橡胶地毯走到环氧地坪，摩擦系数 $\mu$ 瞬间从 0.8 跌到 0.2。
• 减速器经过几次剧烈摔打，齿轮背隙（Backlash）悄悄变大。

如果纯靠 SysID，你必须不停地重新标定。这在实际工程部署中是不可能的任务。

二、 RMA 范式：从特权信息蒸馏出“脚感”

CMU 提出的 RMA（Rapid Motor Adaptation）之所以在四足领域成为经典范例，是因为它把自适应问题转化成了端到端的表征学习：既然环境参数无法预先精准测定，那就让策略根据历史运动轨迹去“猜”当前的物理属性。

RMA 分为两个阶段：

Phase 1：特权环境下的专家网络

在仿真里，我们拥有上帝视角（Privileged Information $e_t$）：地表摩擦力、机器人精确质量偏置、质心偏移（CoM）、地面坡度、电机阻尼等。

• 用一个编码器把这些高维物理参数压缩成一个低维潜变量 $z_t$（通常只有 8 维或 16 维）。
• 策略网络输入：当前观测 $x_t$ + 潜变量 $z_t$，输出动作 $a_t$。

Phase 2：面向实机的时序自适应网络

实机上没有 $e_t$，但机器人可以通过过去一段时间（比如过去 0.5 秒，50 个步长）的 proprioception 数据（关节角、速度、历史动作、IMU 数据）推断出环境特征。

• 冻结 Phase 1 的策略网络。
• 训练一个轻量级的 1D-CNN（时序卷积网络 TCN）作为自适应模块（Adaptation Module），输入历史轨迹 $H_t = [x_{t-k}, a_{t-k-1}, \dots, x_t]$，监督信号就是 Phase 1 已经编码好的 $z_t$。

import torch
import torch.nn as nn

class RMAAdaptationModule(nn.Module):
    def __init__(self, obs_dim=45, hist_len=50, latent_dim=8):
        super().__init__()
        # 输入维度: (Batch, hist_len, obs_dim) -> 转置给 Conv1d
        self.conv_net = nn.Sequential(
            nn.Conv1d(in_channels=obs_dim, out_channels=32, kernel_size=5, stride=2),
            nn.ReLU(),
            nn.Conv1d(in_channels=32, out_channels=32, kernel_size=5, stride=2),
            nn.ReLU(),
            nn.Conv1d(in_channels=32, out_channels=32, kernel_size=3, stride=1),
            nn.Flatten()
        )
        
        # 展平后通过全连接映射到潜在向量 z
        conv_out_dim = 32 * 8  # 依赖于具体的 input length 计算
        self.fc = nn.Sequential(
            nn.Linear(conv_out_dim, 64),
            nn.ReLU(),
            nn.Linear(64, latent_dim)
        )

    def forward(self, obs_history):
        # 转换形状: (B, T, D) -> (B, D, T)
        x = obs_history.transpose(1, 2)
        feat = self.conv_net(x)
        z_hat = self.fc(feat)
        return z_hat

在推理时，Adaptation Module 的计算量非常小，跑在 Jetson Orin 或者树莓派上仅需不到 1ms，能做到 50Hz 到 100Hz 的快速在线推断。

三、 我们的混合架构：SysID 定基座，RMA 吃残差

在实际部署中，我们没有完全指望 RMA 去强行拟合一切极端情况。如果你的仿真动力学和物理世界差得离谱（比如惯量差了两倍），RMA 的潜空间很容易崩溃，网络会学出虚假相关性。

我们采用的工程治理链路是：

1. 有限度精细化 SysID（锁定硬边界）：

   • 绝不在刚体动力学上偷懒，URDF 中的连杆质量、质心位置必须严格通过 CAD 导出并称重校验。
   • 重点标定执行器的死区（Deadband）与最大扭矩衰减曲线。

2. 宽幅领域随机化（Domain Randomization, DR）：

   • 在 Isaac Gym 里给特权参数撒大网：质量随机化 $\pm 2.0\text{kg}$、摩擦力 $[0.2, 1.25]$、质心偏移 $\pm 5\text{cm}$、电机强度随机化 $[0.8, 1.2]$。
   • 不要随机化无法物理实现的参数（比如负摩擦力或无重力），那只会让策略为了保守而学会“抖腿”。

3. 双频控制流水线：

   • 高频环（Low-level PD @ 1kHz）：运行在电机驱动板上。
   • 中频环（RL Policy @ 50Hz）：输出目标关节位置 $q_{target}$。
   • 自适应环（RMA Adaptation @ 50Hz）：滑动窗口保留最近 50 帧自身本体感知数据，实时吐出 $z_t$。

四、 实机部署踩坑实录（以及摔出来的经验）

踩坑 1：潜变量虚假特征与“原地冻结”

现象：实机跑起来几秒钟很稳，但机器人只要稍有打滑，Adaptation Module 输出的 $z$ 向量数值就会剧烈漂移，Policy 误以为机器人被吊在了空中，直接放弃支撑，重重拍在地上。

复盘：Phase 2 训练时，历史序列里的噪声严重不足。实机的 IMU 噪声和编码器读数存在高频微小抖动，仿真里的历史序列太干净了。

• 解法：在 Phase 2 收集状态历史时，给 $x_t$ 注入强烈的合成噪声（高斯噪声 + 随机零点漂移 + 偶尔掉帧丢包）。让 Adaptation 模块更关注整体动态趋势，而非高频细节。

踩坑 2：看不见的“软齿隙”与刚度下降

现象：机械臂或腿部关节受力换向时，实机跟踪误差明显大于仿真。仿真里以为是地面给的冲量，其实是减速器自身的背隙和连杆微小形变。

复盘：如果仿真里把所有连杆都当绝对刚体，Policy 会激进地打出高频换向指令。实机一旦跟不上，就变成了剧烈谐振。

• 解法：在动作空间加上动作速率惩罚（Action Rate Penalty: $|a_t - a_{t-1}|^2$ 和 $|a_t - 2a_{t-1} + a_{t-2}|^2$），强行平滑输出。虽然牺牲了一点点敏捷度，但电机的温升和齿轮寿命直接翻倍。

五、 结语

在 Sim2Real 这条路上摸索久了，你会发现它没有魔法。

系统辨识（SysID）是科学，它要求你尊重现实世界的物理定律，把那些确定的误差一点点铲平；快速在线自适应（RMA）是工程权衡，它承认我们永远无法完全对齐物理世界，所以给算法保留感知和退让的空间。

每一次在实机上摔倒断齿、电机过温，甚至冒烟，都不算白费。把实机摔倒前最后 200 个控制步长的 Log 导出来，绘制成曲线，投射回你的仿真环境里去对比误差，你离下一次丝滑奔跑就又近了一步。

摔倒是必修课。把安全绳挂紧，抓完 Log，我们下个版本继续迭代。