视觉工业点卤机器人控制系统研究

黄良沛 刘 洋 舒 勇

(湖南科技大学机电工程学院,湖南 湘潭 411100)

摘要:针对槟榔点卤过程中出现的定位精度低、效率低等问题,将机器视觉引入到槟榔点卤系统中,开发了一种由机器视觉和运动控制结合的自动点卤系统。该系统主要通过视觉定位获取不同形状的槟榔的中心位置,并将定位结果传输至运动控制器,再利用运动学计算出点卤的运动轨迹,实现点卤的精确定位和自动点卤。

关键词:点卤;槟榔;机器视觉;运动控制

随着市场规模的不断扩大、人力成本的不断增加,传统的手工点卤已不能适应槟榔加工产业的发展需求。为实现点卤作业的机械化和自动化,提高企业效率与产品质量,急需研发出一款基于视觉的自动点卤伺服系统。方新国[1]设计了槟榔全自动点卤机,通过振动送料器完成槟榔单颗粒送料,当槟榔到达指定位置时,通过定位锁死装置将槟榔固定并完成点卤,再通过卸料皮带将槟榔输送至出料框中,完成槟榔出料。李海生[2]设计了一种槟榔智能化点卤系统,通过在系统中增添视觉识别系统和点卤机械手实现对槟榔的位置识别、朝向识别和正反面识别以及槟榔的抓取定位、传输移动和点卤下料等。裴乐[3]设计了一种自动点卤机,通过人工摆料和皮带输送,再通过限位检测、激光检测以及微电脑控制实现槟榔的精确点卤,并通过去废机械手对多余槟榔进行剔除。陈玉林等[4]根据多轴运动控制的需要,设计了一套基于触摸屏和运动控制卡的控制系统。王振成等[5]建立全自动果冻食品高速双面贴标机伺服系统的动力学模型,得出伺服系统的等效转动惯量和等效综合刚度。郭茂森等[6]采用可靠稳定的硬件系统和软件系统,借助Visual Studio集成开发环境,搭建人机交互界面,并以运动控制卡为核心控制驱动器和步进电机,最终实现了多轴的联动控制。杜建等[7]采用Delta2机器人结构,开发了一款性能稳定的全自动立式袋装箱机。为实现开放式工作台的直线进给运动,采用运动控制卡和伺服电机相结合的技术,通过Visual Studio C#编程实现了丝杠螺母副直线运动平台的运动控制,利用光栅测量平台位移反馈给运动控制系统,实现了直线运动平台的闭环控制,提高了平台运动的控制精度[8]。研究拟采用运动控制卡+工控机+工业相机的架构,并基于Opencv视觉库进行自动定位,在此基础上完成基于机器视觉的高速、高精度的点卤控制系统的研发,完成槟榔的自动点卤,旨在为全自动槟榔点卤控制方案的设计提供依据。

1 工作原理

1.1 点卤机组成

该系统主要由视觉检测定位系统、控制系统、伺服系统组成(见图1)。其中,视觉系统由PC机、相机和光源控制器组成。相机对槟榔进行图像采集,由PC机上的视觉软件进行图像处理获取中心点及点卤坐标;光源控制器是照明系统的核心部件,调节光照亮度,提高图像采集的精度。控制系统包括运动控制器和外围电路,运动控制器负责坐标转换,进而控制伺服系统。伺服系统采用双轴机械系统,故X轴、Y轴均配有伺服电机与伺服驱动器。

图1 系统结构图
Figure 1 System structure diagram

1.2 点卤机工作流程

点卤机的工作流程如图2所示。采集到的槟榔图像通过一系列图像处理过程得到每个槟榔的点卤点位,通过相机标定确定像素点坐标和实际点卤的坐标重合,根据得到的槟榔点卤点位进行点卤轨迹规划,再通过运动控制卡驱动点卤轴对槟榔进行点卤,同时对坐标进行修正。

1.3 图像处理

图像采集来源于槟榔自动点卤机的图像采集系统,先将采集到的图像进行图像增强,提高图像的对比度和亮度;将图像增强后的RGB图像转换至HSV空间,从HSV颜色空间中分离出H通道图像;对H通道图像进行Otsu图像分割,得到只有前景和背景的二值图像;由于分割出来的图像存在孔洞和小连通域噪点,结合区域生长法和图像形态学去除其中的孔洞和小连通域,得到不带噪点的完整的二值图像;通过绘制连通域的最小外接矩形对识别出的槟榔图像进行标注。

采集系统采用Opencv视觉库进行图像处理,其具体工作原理见图3。图像经伽马变换[9]、提取H通道、Otsu图像分割[10]、去除孔洞和小连通域、图像位运算、Retinex图像增强算法[11]、边缘检测、椭圆拟合法等一系列图像运算,得到每个槟榔的点卤点位,再根据点卤点位进行点卤轨迹规划。该方法能准确地识别出槟榔,能有效避免错误和错点。

2 硬件设计

2.1 点卤工作台进给系统建模

点卤工作台进给原理如图4所示,控制系统的进给传动部分由电机提供扭矩,联轴器将电机主轴与丝杠相连,滚珠丝杆将转动转变为工作台X轴的直线运动,Y轴方向进给原理与X轴相同。

图2 点卤机的工作原理图
Figure 2 Working principle of the dispenser

图3 图像处理流程图
Figure 3 Image processing flowchart

基于X-Y工作台进给系统,考虑传动机构之间的摩擦,建立单轴工作台动力学模型。转矩平衡方程表示为:

(1)

丝杠进给转矩平衡方程表示为:

MS=K[θM-θL]。

(2)

图4 单轴工作台进给原理
Figure 4 Single axis table feed principle

图5 单轴工作台进给系统动力学模型
Figure 5 Dynamic model of single-axis table feed system

由式(1)、(2)可得传递函数为:

(3)

式中:

JL——合成的总转动惯量,kg·m2

fL——等效阻尼系数;

K——等效刚度,N/m;

MS——丝杠的力矩,N·m;

fL——等效阻尼系数;

KL——传动总扭转刚度,N/m;

Mgr——等效负载转矩,N·m;

JL——工作台与传动之间的总转动惯量,kg·m2

θM——输入角位移,rad;

θL——输出角位移,rad。

2.2 点卤工作台摩擦建模

点卤X-Y平台摩擦建模系统采用Stribeck摩擦模型(见图6)。摩擦力由最大静摩擦变为库仑摩擦,是一个连续的过程,如式(4)和式(5)所示。

(4)

F(v)=[Fc+(Fs-Fc)e-|v/vs|δs]sgn(v)+Bv

(5)

式中:

F——摩擦力,N;

v——接触面间相对速度,m/s;

Fe——外界作用力,N;

Fs——最大静摩擦力,N;

FC——库仑摩擦力,N;

vs——Stribeck速度,m/s;

δs——常数(其大小决定Stribeck曲线的形状);

B——黏滞摩擦系数。

根据点卤X-Y平台Stribeck摩擦模型采用Simulink进行仿真(见图7)。仿真参数设置:最大静摩擦力26.978 4 N,库仑摩擦力18.927 2 N,黏滞摩擦系数56.622 3,Stribeck临界速度0.017 2 m/s。

图6 摩擦模型
Figure 6 Friction model

图7 仿真摩擦模型
Figure 7 Simulation friction model

2.3 结构组成

根据系统方案设计要求,机械架构由机体框架、运动控制平台、摆盘定位机构、控制面板、相机安装支架组成。机体框架采用304不锈钢材,保证食品卫生和安全;运动控制平台由两个高精度的十字滑台组成,分别采用4个伺服电机进行驱动,保证精度要求;摆盘定位机构由4个安装块组成,由螺钉进行夹紧。机器视觉伺服点卤系统具体结构如图8所示。

根据系统需求进行硬件选型,系统设备配置见表1。

1. 点卤平台 2. 机械按钮 3. PC机 4. 进电总开关 5. 电磁阀 6. 摆盘底座 7. 槟榔摆盘 8. CCD相机 9. 激光 10. 点卤轴 11. LED照明灯
图8 机器视觉伺服点卤系统具体结构
Figure 8 The specific structure of the machine vision servo point halogen system

1 系统设备配置表

Table 1 System equipment configuration table

名称性能指标工业相机分辨率1 280×960工业镜头焦距8 mm光源控制器DC 24 V视觉软件图像处理环形光白色,亮度可调触摸屏DC 24 V 5 W运动控制器DC 24 V软件开发环境VS2015伺服驱动器+电机220 V级、电机0.4 kW脉冲型

3 软件设计

搭建好硬件平台,确定相机、运动控制器和伺服控制器的相互通信正常,在VS2015软件编程环境下编写程序,实现对机器人平台的控制。① 伺服系统使能,然后再对X轴、Y轴分别设定原点;② 机械臂使能,控制机械臂动作,获取槟榔图像,提取目标中心点边缘坐标,选取具有代表性的像素点,配置坐标输出,使用函数读取坐标并转换;③ 整个机器人使能,先设置一个延时,再使用指令实现运动平台按采集的坐标路径运动,并将点卤效果显示至触摸屏上。

3.1 图像处理

由槟榔自动点卤机的图像采集系统采集的图像如图9(a) 所示。经伽马变换后,图像亮度得到明显增强,对比度也增强。变换后的图像如图9(b)所示。

以RGB图像为基础,将图像转换到HSV颜色空间进行分析。HSV颜色空间通过色相(H)、饱和度(S)和明度(V)3个分量对色彩进行描述。HSV颜色空间各分量图如图10所示。

图像采用Otsu图像分割算法对H分量图像进行分割,结果如图11所示。文中结合了区域生长法和膨胀操作有效地去除小连通域和孔洞,得到完整去除孔洞、小连通域和内部完整的图像。处理后的图像如图12所示。

图9 原始图像及伽马增强图像
Figure 9 Original image and gamma enhanced image

图10 HSV颜色空间分量图
Figure 10 HSV color space component map

图11 Otsu分割图像
Figure 11 Otsu split image

源图像经伽马变换、提取H分量图像、Otsu图像分割、去除孔洞和连通域,再使用绘制出连通域的最小外接矩形框将识别出的槟榔框选,实现槟榔的识别与定位,结果如图13所示。

采用最小二乘法拟合椭圆,先假设椭圆参数,得到每个待拟合点到该椭圆误差距离的平方和,再求出使这个和最小的椭圆参数。在椭圆中心线上取7个点,去掉首末两点,最终每颗槟榔保留5个点,结果如图14所示。根据生产的需求,设置的最佳路径如图15所示。

图12 去除孔洞和小连通域图像
Figure 12 Remove holes and small connected
domain images

图13 槟榔识别图像
Figure 13 Betel nut recognition image

图14 点卤坐标图像
Figure 14 Point halogen coordinate image

图15 点卤轨迹规划图像
Figure 15 Point halogen trajectory planning image

3.2 运动控制软件设计及人机交互界面

运动控制系统主要由初始化模块、单轴运动模块、插补模块、状态间监测模块、紧急停止模块5部分组成。为了用户开机后可以进行多轴补间运动,系统中增加了一键回零功能。人机交互界面的整体设计采用VS2015中的MFC控件,大大增加了系统的可拓展性,同时也节省了界面空间。控制系统的人机交互界面整体设计如图16所示,插补运动、点到点运动、匀速运动和搜索零点运动如图17所示。

4 点卤测试

主要验证丝杠机械误差、丝杠行程测试和整机测试。采用量程为80 mm的激光位移传感器和采样通道数为1,采样速率为1 000 s-1,数据采集卡进行测试,控制误差为0.5 mm以内,槟榔识别点位如图18所示。

5 试验分析

5.1 丝杠机械误差测试

驱动器给定输入1 200脉冲为电机轴转一圈,进行20次5 mm的运动测试和数据采集,取其中一次测试可得误差位移—时间图及误差图(见图19),进行1 000次数据采样可得丝杠机械误差图(见图20)。由图20可知,丝杠机械误差≤0.4 mm,符合设计要求。

5.2 丝杠行程测试

在负极限位置至正极限位置进行相对位置运动,进行20次150 mm的运动测试和数据采集,取其中一次测试获取丝杠行程测试位移时间图(见图21),进行1 000次数据采样可得丝杠机械误差图(见图22)。由图22可知,丝杠机械误差≤0.4 mm,符合设计要求。

5.3 系统精度

取4枚一元硬币,每枚硬币直径为25 mm。用一枚硬币直径测系统的精度,由视觉软件测得图像坐标系下长度454 Pixel,距离倍率454/25。

控制点卤头运行25 mm硬币直径距离,并用视觉相机采集起点和终点的图像坐标,重复进行此记录数据,结果如表2所示。

图16 点卤系统人机交互界面
Figure 16 Human-computer interaction interface of point halogen system

图17 点卤系统控制功能
Figure 17 Adding bittern system control function

按式(6)和式(7)计算距离重复性误差。

(6)

图18 槟榔识别点位图
Figure 18 Recognition point map of betel nut

图19 丝杠机械误差位移—时间图
Figure 19 Lead screw mechanical error displacement-time chart

图20 丝杠机械误差图
Figure 20 Mechanical error diagram of screw

图21 丝杠行程测试位移时间图
Figure 21 Lead screw stroke test displacement time chart

图22 丝杠行程测试位移误差图
Figure 22 Displacement error diagram of screw stroke test

2 距离重复性试验

Table 2 Distance repeatability experiment Pixel

u1v1u2v24 994.121 816.635 448.052 270.804 994.561 815.985 448.522 270.324 993.521 814.115 447.642 268.054 994.211 813.325 448.352 269.494 994.831 815.015 449.782 269.134 995.221 816.105 448.922 271.024 994.251 815.215 448.332 270.384 993.781 815.555 448.272 270.744 994.771 815.695 449.082 270.954 995.021 813.495 448.992 268.00

(7)

式中:

RD——距离重复性误差;

D——距离平均值。

由表2可知,RD=0.57 Pixel=0.03 mm,故系统误差精度达到0.03 mm。

6 结论

研究了视觉检测的智能点卤系统,并对其运动控制系统软件功能进行了测试,主要包括丝杠机械误差测试和行程测试。结果表明,系统误差控制在0.4 mm以内,满足设计要求。对试验平台进行搭建和点卤测试,其结果满足工业要求且时间控制在21 s内,提高了系统的快速性和可靠性。试验控制系统硬件结构为开环控制,后续可加入反馈环节,如位移、速度等,进一步提升其定位精度;各模块中可加入智能算法(模糊PID等),实现误差的自动补偿;可将控制系统与工业互联网进行结合,开发远程数据存储和报表生成等模块,使系统更智能化。

参考文献

[1] 方新国. 槟榔全自动点卤机: 201621259885.8[P]. 2016-11-11.

[2] 李海生. 一种槟榔智能化点卤系统: 20110800549.8[P]. 2016-09-03.

[3] 裴乐. 一种自动点卤机: 201610517564.1[P]. 2016-07-04.

[4] 陈玉林, 印松. 多轴平台控制系统设计[J]. 工业控制计算机, 2018, 31(7): 72-73.

[5] 王振成, 郑路, 冯宪民, 等. 果冻食品高速双面贴标机伺服系统主振频率研究[J]. 食品与机械, 2017, 33(8): 55-58.

[6] 郭茂森, 商嘉峰, 裴旻茜. 基于PC机与运动控制卡的多轴控制系统设计[J]. 科学技术创新, 2019(4): 71-72.

[7] 杜建, 冯渝, 朱学建, 等. 基于运动控制器的立式袋装箱机控制系统设计[J]. 食品与机械, 2017, 33(3): 93-95.

[8] 周贤德, 顾鹏, 朱传敏. 基于伺服电机闭环控制的直线运动平台开发[J]. 物联网技术, 2019, 9(10): 50-51, 54.

[9] 杨先凤, 李小兰, 贵红军. 改进的自适应伽马变换图像增强算法仿真[J]. 计算机仿真, 2020, 37(5): 241-245.

[10] OTSU N. A threshold selection method from grey-level histograms[J]. IEEE Transactions on System, Man and Cybernetics, 1979(1): 62-66.

[11] 王利娟, 常霞, 张君. 基于Retinex的彩色图像增强方法综述[J]. 计算机系统应用, 2020, 29(6): 13-21.

Research on control system technology of a kind of vision industrial point halogen robot

HUNAG Liang-pei LIU Yang SHU Yong

(School of Mechanical and Electrical Engineering, Hunan University of Science and Technology, Xiangtan, Hunan 411100, China)

Abstract Aiming at the problems of low positioning accuracy and low efficiency in the process of point brine, machine vision was introduced into the betel nut brine system, and a betel nut brine system was developed which combined machine vision and motion control. The system mainly obtains the center positions of betel nuts of different shapes through visual positioning, and transmits the positioning results to the motion controller, and then uses kinematics to calculate the motion trajectory of the point halogen, and realizes the precise positioning and automatic point halogen of the point halogen.

Keywords adding bittern; betel nut; machine vision; motion control

基金项目:国家自然科学基金资助项目(编号:52075163)

作者简介:

黄良沛(1971—),男,湖南科技大学教授,博士。

E-mail:huanglp413@163.com

收稿日期:2020-09-03

DOI10.13652/j.issn.1003-5788.2021.03.017