基于眼動生理特征的視覺隨動系統(tǒng)

時(shí)間：2018-09-11 10:20:01

關(guān)鍵字： FPGA 嵌入式處理器視頻編碼視頻解碼視覺隨動系統(tǒng) 視頻眼鏡

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]項(xiàng)目控制以眼球興趣移動作為控制判決依據(jù)，符合人眼觀察特點(diǎn)，對于基于視覺興趣的環(huán)境信息控制研究具有一定意義，運(yùn)用前景廣泛。設(shè)計(jì)系統(tǒng)具備兩路眼動視頻監(jiān)測及眼球運(yùn)動的實(shí)時(shí)檢測能力，同時(shí)可實(shí)現(xiàn)相應(yīng)的遠(yuǎn)端視頻圖像獲取及云臺移動、攝像頭對焦同步，具有完整的高速處理系統(tǒng)特點(diǎn)，整體數(shù)據(jù)吞吐能力超過100Mb/S，同步速率達(dá)到10次/S。

課題背景與現(xiàn)狀

人體的體感控制是智能控制設(shè)備的一個(gè)典型的研究方向，其典型的代表就是基于人體表現(xiàn)的運(yùn)動控制，已被廣泛應(yīng)用于游戲及體育訓(xùn)練等很多方面。盡管業(yè)界廣泛認(rèn)為基于腦波控制是體感控制的最有效措施，但由于腦波信息的復(fù)雜性使得相關(guān)技術(shù)仍舊停留在實(shí)驗(yàn)室研究階段。視頻信息是人類獲取外界信息的主要渠道，相應(yīng)的眼球運(yùn)動也具有典型的行為模式特征，其運(yùn)動范圍小，釋義明顯，因而基于眼球興趣移動信息的控制也被業(yè)界廣泛關(guān)注，相應(yīng)的產(chǎn)品在國外也有一定表現(xiàn)。

眼動儀是用于記錄人在處理視覺信息時(shí)的眼動軌跡特征的一種設(shè)備，根據(jù)角膜和瞳孔的反光原理設(shè)計(jì)的眼動儀有：美國應(yīng)用科學(xué)實(shí)驗(yàn)室(ASL)生產(chǎn)的504型和501型眼動儀、加拿大SR公司生產(chǎn)的eyelinkII型頭盔式眼動儀、法國的Metrovision公司生產(chǎn)的Mon VOGl型和Mon VOG2型眼動儀、美國Fourward Optical Technology公司生產(chǎn)的第六代雙普金野眼動儀以及德國SMI公司生產(chǎn)的MEye Track型眼動儀等等。美國LC技術(shù)公司生產(chǎn)的eye gaze communication system也是用這個(gè)原理生產(chǎn)的眼動儀，它可以幫助那些不能用手進(jìn)行計(jì)算機(jī)鍵盤操作的病人用眼睛代替手來操作鍵盤。

根據(jù)電流記錄法原理生產(chǎn)的眼動儀有法國Metrovision公司生產(chǎn)研制的Model Mon EOG眼動儀，這種眼動儀可以記錄水平和垂直方向的眼動情況。

根據(jù)電磁感應(yīng)原理生產(chǎn)的眼動儀有荷蘭SKALAR公司生產(chǎn)的磁感應(yīng)眼動記錄系統(tǒng)。該系統(tǒng)被廣泛應(yīng)用于神經(jīng)生理學(xué)、閱讀、神經(jīng)病學(xué)和視覺研究中。

另外，瑞典托比公司和中國聯(lián)想集團(tuán)3月1日在德國漢諾威2011年信息和通信技術(shù)博覽會上共同推出世界上第一款用眼睛控制的筆記本電腦。該電腦的焦點(diǎn)總能聚集在用戶正在注視的屏幕位置上,其眼控功能可以與鍵盤和鼠標(biāo)聯(lián)動以提高使用電腦的速度。

目前結(jié)合視頻場景觀測，腦波及眼動監(jiān)測的人體研究設(shè)備發(fā)展迅速，相關(guān)研究具有較強(qiáng)的科研價(jià)值。

研究的目的與意義

項(xiàng)目以人眼的興趣移動為研究對象，設(shè)計(jì)相應(yīng)的硬件系統(tǒng)同步遠(yuǎn)端攝像頭的移動、對焦，經(jīng)過視頻眼鏡顯示遠(yuǎn)端攝像頭采集的圖像。

項(xiàng)目控制以眼球興趣移動作為控制判決依據(jù)，符合人眼觀察特點(diǎn)，對于基于視覺興趣的環(huán)境信息控制研究具有一定意義，運(yùn)用前景廣泛。設(shè)計(jì)系統(tǒng)具備兩路眼動視頻監(jiān)測及眼球運(yùn)動的實(shí)時(shí)檢測能力，同時(shí)可實(shí)現(xiàn)相應(yīng)的遠(yuǎn)端視頻圖像獲取及云臺移動、攝像頭對焦同步，具有完整的高速處理系統(tǒng)特點(diǎn)，整體數(shù)據(jù)吞吐能力超過100Mb/S，同步速率達(dá)到10次/S。

方案設(shè)計(jì)和實(shí)施計(jì)劃系統(tǒng)設(shè)計(jì)

本作品的系統(tǒng)設(shè)計(jì)示意圖如圖1所示：

圖1 系統(tǒng)設(shè)計(jì)圖

系統(tǒng)按照功能分為4個(gè)模塊：

云臺模塊，由云臺、攝像頭和步進(jìn)電機(jī)組成，主要功能是控制云臺攝像頭的水平轉(zhuǎn)動、俯仰運(yùn)動和自動對焦，并采集圖像；視頻眼鏡模塊，由視頻眼鏡及其控制板，內(nèi)置兩個(gè)微型攝像頭組成，主要功能是用于顯示云臺攝像頭采集的圖像并通過內(nèi)部放置的兩個(gè)微型攝像頭采集人眼圖像；圖像處理及顯示平臺，采用Intel低功耗ATOM系列處理器平臺，安裝Windows XP操作系統(tǒng)，由液晶顯示屏顯示界面，主要功能是顯示工作界面，實(shí)現(xiàn)人眼運(yùn)動識別并返回計(jì)算結(jié)果；主控制板，采用FPGA為主處理芯片，帶有高速存儲器和串口、視頻接口、云臺接口等，它是整個(gè)系統(tǒng)的核心控制模塊，主要功能是負(fù)責(zé)與云臺、圖像處理平臺和視頻眼鏡之間的數(shù)據(jù)交互，管理整個(gè)系統(tǒng)的數(shù)據(jù)流和控制流；

工作流程

整個(gè)工作流程如下圖所示：

圖2 工作流程

通過視頻眼鏡內(nèi)部的兩個(gè)微型攝像頭采集人眼圖像，圖像處理平臺實(shí)現(xiàn)人眼的運(yùn)動識別，主控制板根據(jù)圖像處理結(jié)果控制云臺攝像頭的移動和自動對焦，并將攝像頭采集的圖像在視頻眼鏡中顯示；繼續(xù)對人眼進(jìn)行監(jiān)控判斷，形成不斷循環(huán)的閉環(huán)運(yùn)行流程。

研究的主要內(nèi)容模塊組成云臺模塊

云臺模塊由云臺、電機(jī)模塊、攝像頭和外接口組成，它的功能是控制電機(jī)的轉(zhuǎn)動從而實(shí)現(xiàn)攝像頭的水平和垂直方向的運(yùn)動，同時(shí)把攝像頭采集的圖像輸出。

云臺采用PTS-3030CQ型號的吊裝云臺（圖4-1-1-1），內(nèi)置兩個(gè)24V交流電機(jī)，水平旋轉(zhuǎn)角度最大為355度，俯仰角度范圍為-5度到50度。由于該云臺需要交流供電，不滿足本項(xiàng)目要求，所以將原有的交流電機(jī)更換成直流步進(jìn)電機(jī)。

圖 4-1-1-1

電機(jī)模塊由兩個(gè)12V直流兩相步進(jìn)電機(jī)（圖4-1-1-2）和配套的電機(jī)驅(qū)動器組成。步進(jìn)電機(jī)的步距角為1.8度，最大靜力矩約為3600 g*cm，如圖1-2所示。驅(qū)動器的驅(qū)動電壓小于40V，驅(qū)動電流0.8—5V可調(diào)，細(xì)分?jǐn)?shù)可由撥碼開關(guān)設(shè)定1/2，1/4，1/8，1/16。

圖4-1-1-2

攝像頭采用彩色一體化攝像機(jī)（圖4-1-1-3），成像元件是SONY CCD image sensor，PAL制信號輸出，22倍光學(xué)變焦，同時(shí)有自動聚焦和手動聚焦兩種模式，可以通過RS485協(xié)議對攝像頭進(jìn)行相關(guān)控制，攝像頭所需電源為12V直流電壓，200mA電流。

圖4-1-1-3

外接口采用25針接插件，主要功能是整合云臺內(nèi)部所有控制線，方便與外部連接和使用。外接口定義如圖4-1-1-4所示。

圖4-1-1-4

云臺模塊通過更換電機(jī)，安裝攝像頭，整合所有控制線到外接口從而實(shí)現(xiàn)對原有的云臺改裝，滿足本項(xiàng)目實(shí)際需要。

視頻眼鏡模塊

視頻眼鏡模塊由headplay視頻眼鏡，兩個(gè)微型攝像頭和USB視頻采集卡改裝而成，兩個(gè)微型攝像頭放置在視頻眼鏡內(nèi)，同時(shí)其視頻線連接到USB視頻采集卡上，主要功能是一方面使用者戴上視頻眼鏡能觀看視頻，另一方面兩個(gè)內(nèi)置的微型攝像頭采集使用者左右眼圖像，通過USB視頻采集卡發(fā)送到上位機(jī)用于瞳孔定位和識別。

視頻眼鏡采用headplay視頻眼鏡（如圖4-1-2-1、4-1-2-2、4-1-2-3所示），它的顯示器類似PC的顯示設(shè)備，采用先進(jìn)的LCOS硅基液晶，解析度高且省電，同時(shí)可提供640*480、800*600、1024*768三種規(guī)格分辨率，帶來52英寸的視覺感受；在顯示器的下方設(shè)置有2組可調(diào)滑塊，用戶可根據(jù)實(shí)際佩戴需求調(diào)節(jié)焦距和左右屏幕的距離。另外這款視頻眼鏡具有豐富的外圍接口，提供AV、S-video、VGA三種接口，并支持PAL、NTSC和SECAM格式；同時(shí)支持CF、USB設(shè)備，能讀取圖像、音頻和視頻，并具備視頻解碼能力，支持MP3、MPEG3、MPEG4、AVI、JPEG等。

圖4-1-2-1

圖4-1-2-2

圖4-1-2-3

微型攝像頭采用XL-3010CP4超微型攝像頭（圖4-1-2-3），尺寸僅為12mm*12mm，1/4 SONY CCD，PAL制（582*500）視頻輸出，12V直流電壓和100mA電流供電，

圖4-1-2-3

USB視頻采集卡采用一路easycap視頻采集卡（圖4-1-2-4），輸入接口有AV、S端子和音頻輸入，可將采集的視頻和音頻通過USB口傳輸?shù)诫娔X上播放或存儲。

圖4-1-2-4

圖像處理及顯示平臺

圖像處理平臺采用IEI Technology Corp的WAFER-945GSE母板（圖4-1-3-1,4-1-3-2），主要功能是處理USB視頻采集卡采集的左右眼圖像，識別人眼的運(yùn)動方向，并把計(jì)算結(jié)果通過串口發(fā)送到信號處理板。

WAFER-945GSE母板基于Intel Atom系列低功耗處理平臺，1.6GHZ的時(shí)鐘頻率，533MHz前端總線和512KB L2 cache，同時(shí)外圍接口豐富，如網(wǎng)口，串口，USB口，VGA，LVDS等。本項(xiàng)目中在該板上安裝XP精簡版操作系統(tǒng)，運(yùn)行VC程序?qū)崿F(xiàn)圖像接收、處理和結(jié)果發(fā)送功能。

圖4-1-3-1

圖4-1-3-2

主控制板

主控制板采用FPGA為主處理芯片，帶有高速存儲器和串口、視頻接口、云臺接口，通過各個(gè)接口與圖像處理平臺、視頻眼鏡和云臺之間實(shí)現(xiàn)數(shù)據(jù)交互，管理整個(gè)系統(tǒng)的數(shù)據(jù)流和控制流。

下圖是主控制板設(shè)計(jì)圖：

實(shí)物圖（第一版）如下圖所示，第二版已經(jīng)投出。

主要芯片介紹：

XC3S1200：可編程邏輯器件（FPGA）

FPGA 的優(yōu)點(diǎn)：易于實(shí)現(xiàn)并行處理；易于實(shí)現(xiàn)流水線操作；通過開發(fā)工具在計(jì)算機(jī)上完成設(shè)計(jì)，電路設(shè)計(jì)周期短；對硬件系統(tǒng)可靠性高，程序跑飛可能性不大；規(guī)模越來越大，實(shí)現(xiàn)功能越來越強(qiáng)，同時(shí)可以實(shí)現(xiàn)系統(tǒng)集成；可反復(fù)修改邏輯。FPGA在系統(tǒng)中起橋接作用，又是系統(tǒng)的主控者，由它來完成外圍芯片的控制，及數(shù)據(jù)的傳輸。

XILINX公司的FPGA目前分為2大類：Spartan類和Virtex類，前者主要面向低成本的中低端應(yīng)用，是目前業(yè)界成本最低的一類FPGA；后者主要面向高端應(yīng)用，屬于業(yè)界的頂級產(chǎn)品。這兩個(gè)系列的差異僅限于芯片的規(guī)模和專用模塊上，都采用了先進(jìn)的0.13、90甚至65制造工藝，具有相同的卓越品質(zhì)。

目前，比較流行的FPGA類型是Spartan3E系列，其家族列表如下：

綜合考慮各系列FPGA的塊RAM容量和最大可用I/O數(shù)以及處理速度等指標(biāo)，選用中Spartan3E系列的XC3S1200E，其封裝為FG676。

SAA7113:8位視頻解碼芯片

SAA7113是飛利浦公司視頻解碼系列芯片的一種，非常具有代表性，在很多視頻產(chǎn)品如電視卡、MPEG2、MPEG4中都有應(yīng)用，熟悉了7113的原理后，對其它系列芯片SAA7114、7115、7118就會很容易理解。SAA7113的主要作用是把輸入的模擬視頻信號解碼成標(biāo)準(zhǔn)的“VPO”數(shù)字信號，相當(dāng)于一種“A/D”器件。7113兼容全球各種視頻標(biāo)準(zhǔn)。

ADV7179:8位視頻編碼芯片

ADV7179適合各種優(yōu)先考慮封裝空間的視頻應(yīng)用，如第三代移動電話或數(shù)碼相機(jī)等，提供視頻輸出功能。該器件采用緊湊的芯片級封裝，尺寸僅為6 mm x 6mm，并提供適用于CCIR656標(biāo)準(zhǔn)視頻輸入的選項(xiàng)，內(nèi)含或不含嵌入式時(shí)序信息。視頻性能不受影響。它具有高級濾波功能（SSAF濾波器）和最高達(dá)-80 dB的專業(yè)級視頻信噪比(SNR)，可在小屏幕上實(shí)現(xiàn)出色的顯示質(zhì)量。

(4)SP3220:串口通信芯片

SP3220E包含一個(gè)高效電荷泵，工作于3.3V電壓時(shí)，只需0.1μF電容即可操作。該電荷泵允許SP3220E在+3.3V到+5.0V的電壓范圍內(nèi)發(fā)送符合RS-232協(xié)議的信號。SP3220E的ESD保護(hù)使得收發(fā)器的管腳可承受±15kV的人體放電模式和IEC1000-4-2氣隙放電模式。
SP3220E包含低功耗關(guān)斷模式，該模式下驅(qū)動器輸出和電荷泵將被禁止。關(guān)斷狀態(tài)下，電源電流低于1μA。

程序設(shè)計(jì)1 上位機(jī)程序設(shè)計(jì)

上位機(jī)程序采用VC6.0開發(fā)環(huán)境和OpenCV圖像處理庫編寫，主要功能是通過處理人眼圖像，識別人眼的運(yùn)動，從而判別人眼注視方向。并將計(jì)算結(jié)果通過串口返回給主控制板。

界面效果圖

程序流程圖

瞳孔定位算法

本算法主要基于圖像的灰度分布來定位人眼瞳孔和輪廓，根據(jù)左右眼瞳孔和輪廓的位置來判斷人眼的注視方向，具體步驟如下所示:

第一步，將左右眼圖像轉(zhuǎn)換成320*240的圖像；

第二步，選擇合適的閾值將灰度圖像二值化，使眼部輪廓清晰地呈現(xiàn)出來，然后從圖像的四周開始向內(nèi)尋找眼部輪廓找，并用矩形畫出眼部輪廓；

第三步，將圖像轉(zhuǎn)換成灰度圖像，選擇合適大小的區(qū)域，在眼部輪廓中尋找灰度最小的那塊區(qū)域，取該區(qū)域的中心設(shè)為檢測到的瞳孔位置；

第四步，根據(jù)左右眼瞳孔與眼睛的輪廓的位置關(guān)系和移動情況，設(shè)定合適的閾值來判斷人眼的注視方向（上、下、左、右、平視）；

第五步，將計(jì)算結(jié)果發(fā)送給主控制板，由主控制板控制云臺電機(jī)的轉(zhuǎn)動帶動云臺攝像頭的轉(zhuǎn)動。

FPGA程序設(shè)計(jì)

程序分為串口接收與云臺控制部分和視頻處理部分。兩部分程序并行運(yùn)行，相互保持獨(dú)立。

2.2.1

串口接收與云臺控制部分

通用板處理后結(jié)果用串口發(fā)送到串口接收與云臺控制模塊，此處對命令進(jìn)行譯碼，分別進(jìn)行云臺電機(jī)的運(yùn)動控制和攝像頭的拉遠(yuǎn)拉近以及聚焦的控制。

2.2.2

視頻處理部分

先配置編碼芯片和解碼芯片，對視頻輸入信號進(jìn)行行，列，場的分辨。視頻處理主要包括字符疊加，顏色的改變，二值處理等等，處理完的視頻信號疊加上行場信號進(jìn)行輸出。

2.3硬件電路設(shè)計(jì)

主芯片采用BGA封裝，其他芯片為SMA表貼封裝，電路板為八層，信號線寬為5mil，電源線寬30mil，板厚2mm, 為了保證信號完整性，其中4層為信號走線層，兩層地層，兩層電源層，信號層之間用地層或電源層隔開，相鄰信號層走線盡量保持垂直。

設(shè)計(jì)性能指標(biāo)雙路人眼圖像的分辨率為320x240，平均處理速度為10幀/秒；視頻眼鏡雙路VGA視頻顯示，分辨率為640x480，幀頻為25幀/秒；水平方向視場范圍為0到355度，豎直方向視場范圍為-5到50度，水平轉(zhuǎn)動和俯仰運(yùn)動的最小角度是0.9度；水平方向視場最大轉(zhuǎn)速約為20度/s,垂直方向視場最大轉(zhuǎn)速約為10度/s；；

創(chuàng)新點(diǎn)和結(jié)論將遠(yuǎn)端攝像頭與人眼的觀察動作同步，實(shí)現(xiàn)觀察范圍和對象的自動調(diào)整，整個(gè)控制過程符合人體用眼習(xí)慣，方便快捷;將專用系統(tǒng)平臺（硬件和軟件自行設(shè)計(jì)）和通用系統(tǒng)平臺（軟件設(shè)計(jì)）高效聯(lián)合使用；模塊化設(shè)計(jì)，方便二次開發(fā)，可作為高校學(xué)習(xí)和實(shí)驗(yàn)的平臺。

成果的應(yīng)用前景醫(yī)療電子領(lǐng)域

在現(xiàn)場手術(shù)和遠(yuǎn)程醫(yī)療中，利用高性能攝像頭可以輔助醫(yī)生準(zhǔn)確精細(xì)進(jìn)行手術(shù)，同時(shí)操作更加方便、人性化；

車輛駕駛

駕駛者可利用該系統(tǒng)通過人眼的移動控制車輛的行駛方向，為殘疾人群駕駛車輛提供可能；

探測和監(jiān)控

將該系統(tǒng)組裝在機(jī)器人上，用于在極端環(huán)境或者對人體有害的環(huán)境等條件下遠(yuǎn)程控制機(jī)器人探測目標(biāo)；

消費(fèi)電子領(lǐng)域

基于視覺信息的人機(jī)交互可應(yīng)用于3D游戲和家庭影院；

軍事領(lǐng)域

可應(yīng)用于頭盔顯示器，在車輛、飛機(jī)駕駛員以及單兵作戰(zhàn)時(shí)的命令傳達(dá)、戰(zhàn)場觀察、地形查看、夜視系統(tǒng)顯示、車輛和飛機(jī)的炮瞄系統(tǒng)等；

心理學(xué)科學(xué)研究

通過設(shè)置特定視頻場景并實(shí)時(shí)獲得眼球動作,一定程度上可獲得測試者心理表現(xiàn)的信息，相應(yīng)的技術(shù)結(jié)合腦電及心電的監(jiān)測可以促進(jìn)對人體系統(tǒng)信息反映及心里活動的研究；