人工智能分拣机器人视觉实验平台

硬件组成

实验平台逻辑结构如下图所示：

特点和优势

（1）支持两种开发环境。实验软件提供jupyter notebook和VS2015两种开发环境，其中jupyter notebook采用Python编程语言，VS2015采用C++编程语言，用户根据实际需要选择，可满足不同院校的教学要求。

（2）源代码开放。开放全部软件框架和算法级源代码，学生可在代码层面，通过调参、代码填充等方式进行应用和验证性质的课程基础实验，也可参考实验指导书，自行编写代码，进行相对复杂的项目实验。教师则可依托该平台，进行深度的二次开发。

系统主要功能模块

（1）边缘计算终端

边缘计算终端采用NVIDIA公司的Jetson Nano处理器，该处理器具备GPU运算功能，既可作为边缘计算终端（即小型电脑）使用，也可进行基于深度学习的数字图像处理相关的分析和运算。通过在处理器中部署视觉系统SDK、Python和OpenCV等相关软件和框架，以及与外接设备的通讯协议，学生即可完成从视觉系统硬件搭建、图像采集、图像处理，到实验流程设计与论证，再到视觉系统和外部设备的联动控制等一系列功能，无需配置电脑。

边缘计算终端主要技术参数如下：

l 处理器：64位四核CORTEX-A57，128核MAXWELL GPU；

l 内存：4GB LPDDR，板载存储：64GB；

l 接口：USB3.0×4，Micro USB×1， HDMI×1，RJ45×1，DC5.5×2.1电源接口；

l 集成Linux、Python等运行环境，支持数字图像处理、机器视觉、深度学习等算法、硬件、应用的开发和学习。

视觉系统结构：

视觉系统主要硬件如下：

1）工业相机

l 传感器型号：Sharp RJ33；

l 像元尺寸：3.75 µm×3.75 µm；

l 靶面尺寸：1/3”；

l 分辨率：1280×960；

l 帧率：30 fps；

l 曝光时间：34μs～1sec；

l 黑白/彩色：彩色；

接口：GiGE。

2）工业镜头

l 焦距：固定焦距；

l 光圈：手动光圈；

l 像素级别：600万像素，FA 镜头；

l 焦距大小：12mm ；

l F数：F2.8～F16。

3）LED光源

l 光源类别：30度环形光源；

l LED类型：贴片LED；

l 颜色：白色；

l 色温：6600K；

l 功率：14.4W。

实验项目

（1）基础实验：Python语言程序设计

l python集成开发环境搭建、软件安装实验

l python编程实验：计算任意输入整数的阶乘

l python编程实验：汉诺塔问题

l python编程实验：使用蒙特·卡罗方法计算圆周率近似值

l python编程实验：使用Numpy进行t检验

l python 编程实验：使用PIL读取、显示和处理图像

l python GUI编程实验：matplotlib数据可视化

l python GUI编程实验：动态时钟设计

（2）基础实验：数字图像处理

l 图像的代数运算

l 图像变换

l 图像分割

l 图像平滑

l 图像增强

l 彩色图像处理

l 形态学处理

l 边缘检测

l 直线、圆检测

l 三角形、矩形检测

（3）基础实验：机器视觉

l 视觉系统搭建与硬件操作

l 图像采集与显示

l 视觉定位

l 视觉系统的标定

l 颜色识别

l 形状识别

l 测量物体尺寸

l 物体有无检测

（4）课程设计：人脸识别系统

l 能够录入人脸数据；

l 能实现身份认证；

l 有专门的用户操作界面。

（5）课程设计：目标识别系统

l 能够识别平面彩色目标，如圆形、矩形、三角形，或者利用深度学习技术识别其他复杂结构目标图案；

l 有专门的用户操作界面。

（6）课程设计：物体缺陷检测系统

l 能够对物体进行预处理；

l 能够检测是否有缺陷并提取缺陷特征；

l 能够输出缺陷的大小，判断目标是否合格。

（7）课程设计：OCR字符识别系统

l 能对图像进行预处理，凸显出视野中的字符区域；

l 能分析字符形态，如间距、高度等；

l 能将字符逐个分割出来，并进行准确识别，而后显示。

（8）课程设计：车牌检测与识别系统

l 能从视频流中提取特定帧图像，并进行预处理，滤除干扰信息；

l 能从图像中定位到车牌位置；

l 对车牌信息进行识别，并输出到界面。

（9）课程设计：种子计数与分级系统

l 能对图像进行预处理，滤除干扰信息；

l 能对不同种子进行分割，统计有效种子的数量；

能逐个判别种子特征，根据分类依据进行种子分级。