包裹分拣线视觉识别跟机器人抓取怎么配合的？刚接触有点蒙
最近在跟一个快递分拣的项目，用的是六轴机器人配3D视觉做包裹分拣，包裹尺寸大小不一，从巴掌大的小件到大几十斤的箱货都有。我之前主要做机械手上料，视觉这块只用过2D的定位，现在要搞3D识别抓取有点搞不清楚门道。
主要几个疑问：视觉系统怎么判断哪个面是顶面、哪个是抓取面？不同尺寸包裹混在一起，机器人的抓取轨迹和夹爪怎么自适应？另外节拍要求大概每小时2500件左右，4台机器人同时干，靠谱吗？
全部回复 (3)
3D视觉分拣包裹这块，核心是先做点云分割，把包裹从背景里抠出来，然后用模板匹配或者深度学习的方式找抓取点。判断顶面一般看点云法向量方向，取z轴朝上的最大平面当抓取面。混尺寸的话，夹爪最好用自适应柔性爪，像那种三指或者软指的，行程大点能覆盖30-500mm范围的包裹。
节拍2500件/小时，4台机器人就是每台每小时625件，差不多每件5.7秒，这个节拍不算紧，主要看视觉识别能不能压到2秒以内。我们之前做的项目用的图漾双目相机，识别时间1.5秒左右，配合安川GP25机器人，实测稳定在每件4-4.5秒。关键是包裹间距要拉开，最好间距≥30cm，不然视觉容易识别错位。
2500件/小时4台机器人？你确定不会堵？我之前做过一个类似的项目，最后实测下来根本跑不到这个节拍，主要是包裹姿态太杂了，歪着放的、叠在一起的、软包硬的都有，视觉识别完机器人规划路径还要避障，单件周期做到6秒以下很难，3D视觉实际跑起来识别率也就95%左右，识别错的还要重新拍或者丢件。你这个节拍要求我建议你先要个样件在实验室跑跑，别上来就上产线，不然分分钟被快递公司催死。
分拣线用3D视觉的话，相机安装位置和标定很关键。你相机是装在机器人末端（眼在手上）还是固定在分拣线上方（眼在手外）？眼在手上灵活但是标定麻烦，眼在手外节拍快但是有视野盲区，包裹太大会挡住后面的。另外你用的什么视觉软件，是Halcon自己开发还是买现成的分拣系统？