引言

當(dāng)前對蘋果品質(zhì)的檢測工作主要依靠人工完成,但是人工檢測會存在誤判、效率低和成本高等問題,且對于后期的水果分揀工作也存在效率和準(zhǔn)確率低的問題。機(jī)器視覺就是用圖像攝取裝置等來代替人眼做一些分析和判斷,自動得到一些問題的結(jié)果,近年來其以速度快、信息量大、功能多等特點(diǎn)在水果分級分揀領(lǐng)域得到了廣泛應(yīng)用。本研究從水果的分級分揀環(huán)節(jié)入手,利用圖像分割和深度學(xué)習(xí)算法,達(dá)到了準(zhǔn)確高效分揀水果的目的。

1水果分級分揀系統(tǒng)硬件搭建

水果分級分揀系統(tǒng)樣機(jī)如圖1所示,其主要由硬件系統(tǒng)和軟件系統(tǒng)構(gòu)成。

(1）硬件系統(tǒng)包括圖像采集模塊、機(jī)械手模塊。圖像采集模塊用于圖像的獲取,作為圖像分析的數(shù)據(jù)源:機(jī)械手模塊用于對水果進(jìn)行抓取。

(2）軟件系統(tǒng)主要實(shí)現(xiàn)蘋果的智能識別和自動抓取功能,包括蘋果定位模塊、蘋果分類識別模塊和機(jī)械手抓取模塊。其中抓取系統(tǒng)的x軸、y軸運(yùn)動利用標(biāo)準(zhǔn)滑臺實(shí)現(xiàn),Z軸運(yùn)動利用滾珠絲杠花鍵實(shí)現(xiàn),同時還可以實(shí)現(xiàn)旋轉(zhuǎn)和旋轉(zhuǎn)移動:利用pLC對電機(jī)進(jìn)行閉環(huán)控制,實(shí)現(xiàn)抓取裝置準(zhǔn)確定位:利用氣缸驅(qū)動夾具實(shí)現(xiàn)抓取功能。

2水果分級分揀系統(tǒng)關(guān)鍵技術(shù)研究

基于機(jī)器視覺的蘋果分揀系統(tǒng)要解決兩個關(guān)鍵問題,一是如何通過圖像來確定蘋果的空間位置,二是如何通過圖像來確定蘋果的分類和分級。因此,本項(xiàng)目以蘋果為研究對象,從圖像分割算法、相機(jī)標(biāo)定、特征學(xué)習(xí)和水果分揀等關(guān)鍵技術(shù)著手開展研究。

2.1卷積神經(jīng)網(wǎng)絡(luò)的分類能力

基于成像分析的傳統(tǒng)視覺方法需要對被識別的目標(biāo)建立數(shù)學(xué)模型,而蘋果的色澤、表面缺陷、花尊、果梗等特征很難用數(shù)學(xué)模型進(jìn)行準(zhǔn)確描述,而卷積神經(jīng)網(wǎng)絡(luò)不需要建立特征模型,只需利用一個帶標(biāo)簽的圖像集作為訓(xùn)練集,對卷積神經(jīng)網(wǎng)絡(luò)開展訓(xùn)練,模型會自動學(xué)習(xí)樣本中不同等級蘋果的特征,這樣利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò),可以很容易對不同特征的蘋果進(jìn)行分類。本研究采用深度學(xué)習(xí)算法,針對采樣訓(xùn)練需要海量數(shù)據(jù)的缺點(diǎn),選取同一蘋果不同的側(cè)面,使得模型可以更好地學(xué)習(xí)目標(biāo)屬性特征,克服不同角度下分類不準(zhǔn)確的問題,從而有效提升模型的整體性能、泛化能力和學(xué)習(xí)能力。基于卷積神經(jīng)網(wǎng)絡(luò)的

2.2Mask-RCNN圖像語義分割的準(zhǔn)確性

圖像分割是機(jī)械手精確測量和識別定位的關(guān)鍵環(huán)節(jié),傳統(tǒng)的圖像分割方法對圖像紋理、明暗、背景和復(fù)雜度等因素非常敏感,很難確保圖像分割質(zhì)量。Mask-RCNN網(wǎng)絡(luò)可以自動提取目標(biāo)特征信息,將圖像上每一個像素進(jìn)行分類,即每一個像素均具有屬性類別,因此屬于蘋果像素就被歸類為蘋果,可避免圖像噪聲、復(fù)雜背景的影響。本研究為保證視覺測量的精確性和識別的準(zhǔn)確性,采用Mask-RCNN網(wǎng)絡(luò)的圖像分割方法,并在Caffe深度學(xué)習(xí)框架下,將最新的Mask-RCNN算法與ResNet特征提取網(wǎng)絡(luò)相結(jié)合進(jìn)行圖像分割訓(xùn)練。

Mask-RCNN分割算法結(jié)構(gòu)和流程圖如圖3所示。對目標(biāo)圖像,首先輸入到卷積神經(jīng)網(wǎng)絡(luò)ResNet中進(jìn)行特征提取得到feafuremap,并對這個feafuremap通過目標(biāo)估計(jì)網(wǎng)絡(luò)RPN提取可能存在的目標(biāo)區(qū)域ROI。然后ROI經(jīng)過ROIAlign層被映射成固定維數(shù)的特征向量,其中兩個分支通過全連接層進(jìn)行分類和包圍框的回歸,另一分支經(jīng)過全卷積進(jìn)行采樣得到分割圖。輸出包含3個分支:目標(biāo)分類、目標(biāo)包圍框坐標(biāo)和目標(biāo)二值掩碼。其中分類和回歸部分均由基于區(qū)域的目標(biāo)檢測網(wǎng)絡(luò)Faster-RCNN完成,目標(biāo)的像素級分割由全卷積神經(jīng)網(wǎng)絡(luò)FCN完成。

圖3Mask-RCNN網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3攝像機(jī)標(biāo)定

攝像機(jī)的安裝位置、鏡頭畸變、光心坐標(biāo)等參數(shù)會影響測量精度,因此,利用攝像機(jī)對蘋果的尺寸和空間位姿進(jìn)行準(zhǔn)確測量,必須對攝像機(jī)進(jìn)行標(biāo)定,確定攝像機(jī)的內(nèi)外參數(shù)。本研究采用opencv棋盤格法進(jìn)行標(biāo)定,利用相機(jī)標(biāo)定將已知參數(shù)的棋盤格作為標(biāo)定板,在進(jìn)行圖像采集時,通過調(diào)整棋盤格的位置,得到多個不同角度的棋盤格圖像,取圖像的角點(diǎn),找出其與棋盤格的對應(yīng)關(guān)系,從而估算出相機(jī)內(nèi)外參數(shù),然后采用最小二乘法估算實(shí)際存在徑向畸變下的畸變系數(shù),并利用極大似然法對參數(shù)進(jìn)行優(yōu)化,進(jìn)而提升估計(jì)精度。

2.4機(jī)械手目標(biāo)抓取

機(jī)械手的自主抓取主要基于視覺定位和視覺伺服。首先通過動力學(xué)與運(yùn)動學(xué)分析,采用智能算法規(guī)劃軌跡,完成機(jī)械臂智能抓取、運(yùn)動軌跡規(guī)劃和運(yùn)動軌跡控制,通過研究運(yùn)動過程中誤差的來源,建立誤差智能補(bǔ)償方案:其次是針對運(yùn)動過程誤差實(shí)時補(bǔ)償?shù)男枰?采用圖像信息的視覺伺服控制系統(tǒng),將蘋果位姿產(chǎn)生的誤差、軌跡跟蹤產(chǎn)生的誤差轉(zhuǎn)變?yōu)閳D像信息,發(fā)送給控制系統(tǒng),控制系統(tǒng)實(shí)時對誤差進(jìn)行補(bǔ)償,實(shí)現(xiàn)每次抓取位置誤差最小。

3應(yīng)用前景

當(dāng)前我國已成為世界上最大的蘋果生產(chǎn)國和消費(fèi)國,市場占有率在50%以上,但國內(nèi)對水果品質(zhì)的檢測方法大部分還是采用傳統(tǒng)的人工方式,造成蘋果分級存在控制不嚴(yán)、品質(zhì)不高、良莠不齊和效率較低等問題,與世界知名農(nóng)產(chǎn)品相比,無法形成品牌優(yōu)勢。例如,國外對蘋果大小分級要求85mm果中不能有80mm、75mm果,80mm果中不能有75mm果:同一規(guī)格的,裝箱果徑相差不能超過3mm。顯然,按照上述分級標(biāo)準(zhǔn)要求,簡單的分級方法和分級設(shè)備是無法達(dá)到的,必須通過精確的測量才能實(shí)現(xiàn)嚴(yán)格的分級。本研究從水果的分級分揀環(huán)節(jié)入手,相對于人工而言,通過引入機(jī)器視覺分級分揀系統(tǒng)達(dá)到準(zhǔn)確高效分揀水果的目的,在重復(fù)性較高的工作中,提高該系統(tǒng)對工作環(huán)境的適應(yīng)能力以及生產(chǎn)效率和系統(tǒng)柔性,對于提高水果生產(chǎn)效率及普及水果等級標(biāo)準(zhǔn)的執(zhí)行具有推動意義。

4結(jié)語

采用基于卷積神經(jīng)網(wǎng)絡(luò)CNN模型的圖像識別,機(jī)器能直接以圖像的像素作為輸入,自己學(xué)習(xí)得出最合適的圖像特征,不需要大量的先驗(yàn)知識,從而避免了因人為設(shè)計(jì)特征不合適而造成的圖像識別效果變差等問題。本項(xiàng)目將深度學(xué)習(xí)引入水果分揀系統(tǒng),搭建卷積神經(jīng)網(wǎng)絡(luò)模型CNN和Mask-RCNN網(wǎng)絡(luò)模型,同時對傳統(tǒng)的深度學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)和特征提取進(jìn)行改進(jìn),進(jìn)而在農(nóng)產(chǎn)品的檢測精度和效率上實(shí)現(xiàn)了進(jìn)一步提升。