并联机器人带视觉分拣，想自己搭个开发平台玩玩，有搞过的没？
手上有个小项目，蜘蛛手（delta）配视觉做散件分拣，节拍要求不高，就想自己搭一套开发平台出来，方便后面改来改去。现在纠结的是视觉那边到底用啥方案，工控机+开源库跑深度学习？还是直接上智能相机？我自己写代码还行，c#和python都能撸，但opencv那套实时性心里没底，之前在汇川和abb的项目上视觉都是外包的，没自己从头搞过。
想问问有自己搭过平台的老哥，整个架构怎么搭比较合理，视觉和机器人通讯走啥协议比较稳，还有就是训练样本这事儿，自己攒还是有什么现成的数据集能用？预算不想搞太大，3-5万以内能落地就行。
全部回复 (3)
自己搭的话，视觉这块我建议你直接走工控机+开源路线，智能相机省事但是后面想换型号或者改算法就被卡死了。我们去年给一个客户做的scara分拣项目就是这套路，cpu用的i7，显卡上了个1660s跑yolov5，30多种工件识别稳稳的，单帧推理15ms左右。
架构上我们分了3层：底层是工控机跑视觉和通讯，中间层用python写了个调度服务，上位机c#写的人机交互。视觉和机器人走tcp/ip，自定义协议，简单粗暴但是稳定跑了快一年没出过幺蛾子。机器人那边你用啥品牌？如果是abb走socket通讯很顺，汇川的话可能要转一下，他们家的sdk用起来没那么利索。
样本这事儿别想着找现成的，工业场景的工件基本都得自己拍，我们当时一个品类拍了2000多张，用labelimg标完，数据增强翻了几倍才训出来。3-5万预算够用，我们那套硬件加起来也就2万多，剩下的买光源相机镜头那些。
你自己写代码还行这个描述有点虚，opencv实时性和你用啥相机关系很大。面阵相机跑普通算法和跑深度学习完全是两码事，你项目节拍到底是多少？一分钟抓30个和抓100个，方案选型差得远。另外你delta是几轴的，负载多大，视觉安装位置是上往下挂还是侧装？这些不说清楚别人没法给具体建议。
我厂里现在跑的是智能相机方案，基恩士的sr系列，配eps那并联机器人，调好之后基本不用管。但是你要是想后面自己改算法或者适配新工件，那就别选智能相机了，那个东西就是个黑盒，改不了任何东西。我同事之前在另一家用过海康的智能相机，据说能开放一些接口，但是深度学习模型还是得在他们平台训，不能本地部署。所以你自己有开发能力的话还是工控机+相机的方案灵活。