KUKA机器人视觉跟踪，跟踪过程中目标被遮挡怎么处理？
项目上碰到个头疼的事，用KUKA机器人配视觉做传送带上物料跟踪，物料是不规则形状的金属件，相机装在机器人末端上方大概60cm的位置，传送带速度1.2m/s左右。正常跟踪没问题，但物料之间间距比较近的时候，前一个物料会把后面那个挡住一小部分，视觉给的坐标就开始跳，机器人末端跟着抖，焊接质量直接垮。
想问问大家这种遮挡场景一般怎么搞？是用预测算法提前推坐标？还是说把相机换个位置斜着装减少遮挡？或者有别的什么办法？另外想知道如果用卡尔曼滤波的话，参数大概怎么设，有没有踩过坑的。
全部回复 (3)
1.2m/s这个速度加上不规则件，遮挡肯定躲不掉。我们之前做类似项目是把相机改成斜装45度往下打，支架加长了大概20cm，端盖朝传送带来料方向，这样前一个件遮后一个的概率能小很多，至少能把遮挡区域从正上方的30%压到10%以内。另外建议你把视觉的曝光时间压到500us以下，运动模糊小了之后，即便短暂遮挡丢失一帧，下一帧重新识别回来位置也不会跳太远。我们这边实测传送带1.5m/s都没问题。
先问一下，物料是不规则形状这个具体是啥件？大小差异大不大？如果件本身尺寸固定只是轮廓不规则，那遮挡后视觉完全跟丢的概率其实不高，更多是边缘点被干扰导致位姿算偏了。这种情况我建议你在视觉那块加一个ROI动态掩码，把检测到的前一个物料轮廓直接画成mask传给下一帧的匹配算法，能把误匹配率从我们测的15%压到3%以下。卡尔曼那套也用，但主要起平滑作用，别指望它扛遮挡，丢超过3帧基本就飘了。
你相机装在末端上方的方案本身就有问题吧，机器人一动视野一直在变，标定再好累积误差也会出来。我们项目上凡是传送带跟踪这种，相机全部固定在机架上往下拍，机器人只负责走轨迹，标定一次就稳定了，末端装相机那种除非是必须随动抓取的场景才考虑。改回固定安装试试，说不定遮挡问题都缓解一半。