接触丰富任务下的 Sim2Real 实践：刚体穿透、摩擦近似与柔顺控制踩坑复盘

在强化学习（RL）的环境里，只要给一个合适的 Reward，机械臂在几个小时内就能学会优雅地把轴插进孔里，或者用指尖转动魔方。仿真画面里动作干脆利落，物理曲线完美无瑕。

但凡做过接触丰富任务（Contact-rich tasks）的工程师都知道，这大概率是物理引擎给你的“甜蜜毒药”。

上个月我们把一个在 Isaac Gym 里训练好的精密装配策略往真实机械臂上部署，夹爪刚接触到基座，只听见谐波减速机发出一声清脆的“嘎哒”，关节电流瞬间拉满报警——策略在实机上把基座当成了有微小弹性的橡皮泥，直接硬顶了进去。

现实中的物理接触从来不跟你讲情面。今天复盘一下我们在接触丰富任务中踩过的几个核心深坑：刚体穿透、摩擦锥近似，以及如何用柔顺控制给策略兜底。

1. 刚体穿透：仿真器里的“隐形弹簧”与实机的“电流过载”

几乎所有基于 LCP（线性互补问题）或罚函数法的刚体物理引擎，在处理高频碰撞时都有一个默认的容忍度——允许一定程度的几何穿透（Penetration）。为了把穿透拉回来，引擎会在下一帧施加一个巨大的法向恢复力。

强化学习的策略极其“狡猾”，它会敏锐地发现这个机制，把穿透当成蓄力弹簧：故意将末端压进工件表面，利用穿透恢复力顺势滑进目标点。

仿真中：几何穿透 -> 接触刚度生成虚拟弹力 -> 策略借力顺滑进入
实机上：金属硬碰硬 -> 接触力无穷大 -> 机械臂过流停机 / 夹爪结构形变

踩坑记录

在装配间隙小于 0.5 mm 的销轴任务中，策略在仿真里学会在孔边缘“蹭”一下借力切入。放到实机，六维力传感器读数在 0.01 秒内飙到 150 N，底座连带工作台都在震动。

迭代解法

1. 缩短仿真步长与增加子步（Sub-stepping）：把仿真步长压到 1 ms 以下，增加 Constraint Solver 的迭代次数。虽然训练变慢，但能极大消除非物理穿透。
2. 接触惩罚与穿透观测：在 Reward 里加入力矩惩罚，但更有效的是在接触力模型中引入穿透惩罚项。
3. 切换 SDF 碰撞体：在支持 Signed Distance Field 的引擎中，尽量使用精细的 SDF 替代简化的凸包（Convex Hull），避免凸包分解误差带来的“虚空碰撞”。

2. 摩擦锥近似：多面体金字塔的“棱角欺骗”

真实世界的库伦摩擦锥是一个连续光滑的圆锥体。但为了降低二次规划求解的计算开销，许多物理引擎会采用多面体金字塔（Pyramidal Friction Cone）甚至解耦的方框模型来近似这个锥体。

这就带来了一个经典的 Sim2Real 漏洞：各向异性伪影（Anisotropy Artifacts）。

在金字塔的四个或八个棱角方向上，策略能获得比真实物理更大的切向抗滑力。网络很快就会学会“卡棱角”：把接触点逼向近似边界的死角，实现物理上不可能完成的抓取或支撑。

踩坑记录

在做推箱子（Pushing）和表面刮擦任务时，实机箱子总是在接触瞬间发生偏航打滑（Slip），根本无法像仿真中那样笔直向前。复盘才发现，仿真里的接触面摩擦力在某些特定角度下被放大了近 30%，策略完全依赖了这部分多出来的侧向牵引力。

迭代解法

不要指望策略能自觉遵守真实摩擦定律，必须用域随机化（Domain Randomization, DR）把它逼出舒适区：

• 摩擦系数非均匀随机化：不要只设一个全局静摩擦因数 $\mu$，要在工件表面划分不同材质属性区域，将 $\mu$ 从 0.1 到 1.2 进行宽幅打散。
• 引入粘滞-滑动（Stick-slip）扰动：在接触动力学中人为注入随机阻尼波动，让策略学会哪怕突然打滑，也能依赖闭环反馈重新收敛，而不是赌接触面永远可靠。

3. 从位置刚性到柔顺控制：让策略拥有“弹性和呼吸感”

早期我们最容易犯的错误，就是让策略直接输出关节目标位置（Joint Position Targets），然后把实机底层驱动的 PD 增益拉得极高，生怕位置跟不上。

但在接触丰富的任务中，高刚性位置控制等于自杀。真实环境的几何尺寸必有公差，机械臂基座必有形变。当绝对刚性的策略遇到绝对刚性的环境，接触力会在微秒级内达到系统承受极限。

真正能跨越 Sim2Real 的，是阻抗控制（Impedance Control）或柔顺混合控制（Compliance Control）。策略输出的不再是“你必须走到这里”，而是“你的平衡点在这里，但如果遇到阻力，你可以让步”。

下面是我们目前在实机控制循环中常用的末端柔顺动作解码逻辑简化版：

import numpy as np

class CartesianImpedanceController:
    """
    策略输出末端位移增量与期望刚度，将其映射为底层力矩或柔顺位置
    """
    def __init__(self, default_stiffness=[400.0, 400.0, 200.0]):
        self.k_p = np.array(default_stiffness)  # 接触轴(Z)刚度设低，允许柔顺
        self.k_d = 2.0 * np.sqrt(self.k_p)      # 临界阻尼设计
        
    def step(self, current_pose, current_vel, policy_action, external_force):
        """
        policy_action: [delta_x, delta_y, delta_z, delta_k_z]
        external_force: 六维力传感器实时读数 (F_ext)
        """
        target_pos_delta = policy_action[:3]
        stiffness_mod = policy_action[3]  # 策略动态调节 Z 轴刚度
        
        # 动态调整接触轴刚度
        active_k_p = self.k_p.copy()
        active_k_p[2] = np.clip(active_k_p[2] + stiffness_mod * 50.0, 50.0, 500.0)
        active_k_d = 2.0 * np.sqrt(active_k_p)
        
        # 虚拟弹簧阻尼模型，结合实机力反馈做形变补偿
        # x_desire = x_nominal - F_ext / K
        compliance_offset = external_force[:3] / (active_k_p + 1e-4)
        
        # 计算经过柔顺过滤后的期望位置
        adjusted_target = current_pose[:3] + target_pos_delta - compliance_offset
        
        # 计算期望末端控制力
        error_pos = adjusted_target - current_pose[:3]
        error_vel = -current_vel[:3]
        f_cmd = active_k_p * error_pos + active_k_d * error_vel
        
        return f_cmd

关键改动经验

• 把动作空间换成阻抗参数：让 RL 策略学会在快要接触的瞬间主动“卸力”（调小刚度），在完全插合后再“加力”（调大刚度）。
• 动作延迟注入（Latency Injection）：实机力矩环和力传感器通信至少有 2-10 ms 的延迟。在仿真中必须随机给 Action 挂 1 到 3 个 Step 的 FIFO 队列。如果策略只习惯零延迟的柔顺控制，上实机后必然因为延迟产生极限环振荡（Limit Cycle），疯狂抖动。

复盘：摔倒不是失败，是状态空间的校准

接触丰富任务的 Sim2Real 迁移，本质上是一个寻找仿真物理与真实物理交集的过程。

很多时候策略在实机上卡死、电机报警、工件崩飞，第一反应往往是“这模型又废了”。但如果拉出日志，把碰撞瞬间的接触力梯度、实际力矩峰值、关节角误差和仿真回放做对比，你会发现，物理引擎总是在某些特定接触角隐瞒了真实阻力，或者实机的关节减速机死区（Backlash）吞掉了策略给出的微小调整。

每一次撞停和报警，都在告诉你仿真环境的“安全边界”应该划在哪里。

把仿真参数调得更苛刻一点，在策略里多留一份对未知的柔顺空间，让它在虚拟世界里多摔断几根轴，它在真实世界里才能接得住每一次硬碰硬。继续改参数去了，明天实机再跑一轮。