视觉伺服IBVS用眼在手外还是眼在手上好？工件还会晃
做个抓取的小项目，零件放在传送带上，位置误差大概±15mm，角度±10度，而且带还在低速动（大概0.2m/s）。我打算用Eye-in-Hand配一个6轴SCARA，上位机发粗定位给机器人，靠近之后视觉伺服做精对准。想问几个事：
1、这种工况IBVS到底能不能直接闭环到机器人关节？还是说Image-based特征点容易跑出视野，得换PBVS？ >2、视觉伺服的采样周期我这边大概能做到30ms，会不会太慢了？机器人本体走EtherCAT，控制周期1ms。
有没有做过类似项目的，特征点一般选几个、怎么布置比较稳？
全部回复 (4)
先说30ms采样这事基本就告别纯IBVS了。Image-based的雅可比要靠图像特征变化率来推，你30ms一帧，目标在动0.2m/s，每帧之间特征就跳了6mm，再加关节响应延迟，分分钟发散。我们当时做的类似项目视觉是15ms勉强能跑，最后还是上了PBVS，深度直接从点云里取。
眼在手上眼在手外这事儿看你工作距离。Eye-in-Hand在±15mm误差这种粗定位基础上靠近末端精度能到0.1mm以内，但前提是标定得做好（手眼标定误差控制在0.05mm以下）。Eye-to-Hand优势是视野大不怕跑出去，但精度上不去，传送带动态下做伺服延迟顶不住。
特征点建议至少4个非共面布置，用圆形或者十字Mark，角点提取亚像素精度能到0.02像素。别用边缘点，动态模糊一上来就废了。
你这±15mm±10度的误差，传送带还0.2m/s，先问一句工件是什么材质？反光不反光？之前做过铝件的，反光斑直接让模板匹配废了一半时间，最后上了偏振片才好点。
我厂里做汽车零部件抓取，传送带速度比你这快一倍（0.4m/s），用的不是纯视觉伺服，是视觉触发+机械同步跟踪+末端点云校正的方案。触发拍照之后机械手不静止等结果，而是跟着编码器预估位置追过去，到位点云做6DoF位姿修正（用的线激光+双目，单次扫描8ms）。这样就不用纠结视觉伺服的采样率了，纯闭环放在最后几毫米。你这场景其实可以参考一下，不一定死磕IBVS。
直接说结论吧，这种动态传送带场景硬上IBVS基本是给自己挖坑。视觉伺服那套理论在实验室静态环境跑跑还行，到了工业产线光是光照变化和振动干扰就能让IBVS的图像雅可比算崩。PBVS至少模型可解释，出问题能debug，IBVS出问题你连特征点为啥飞出去都不好查。
而且你SCARA本身是4轴的，做6DoF视觉伺服从机构上就不太合适，姿态自由度不够，特征点位移和关节运动的映射会出奇异点。换6轴的至少机器人本体不会成为瓶颈。