事件相機(jī)是感知“事件”發(fā)生變化并輸出“事件”信息，有別于傳統(tǒng)相機(jī)輸出的圖像信息。而所謂的“事件”指的就是每個像素的亮度變化，輸出的也就是像素亮度變化情況。事件相機(jī)的關(guān)鍵器件就是基于事件的視覺傳感器，簡稱EVS（Event-based Vision Sensor）。

雖然EVS看上去是很新穎的技術(shù)，但是離我們的生活其實越來越近，在不論是消費(fèi)或工業(yè)領(lǐng)域都會有越來越多相關(guān)的落地應(yīng)用。

Prophesee是第一家商業(yè)化EVS技術(shù)的公司，在近日召開的2023上海機(jī)器視覺展上也展出了諸多EVS的demo。我們也有幸在現(xiàn)場采訪到了Prophesee副總裁兼大中華區(qū)總經(jīng)理楊雪飛先生，他針對EVS技術(shù)特點和相關(guān)應(yīng)用方向進(jìn)行了深入的分享。

Prophesee 2023上海機(jī)器視覺展展位（圖片來源：Prophesee）

EVS為AI運(yùn)算提供高效低時延動態(tài)數(shù)據(jù)

據(jù)楊雪飛介紹，EVS技術(shù)原理來自仿生學(xué)，和傳統(tǒng)幀率相機(jī)的工作原理截然不同。人眼的視網(wǎng)膜中有兩種視覺感知細(xì)胞。一種叫視錐細(xì)胞，另一種叫視桿細(xì)胞。視錐細(xì)胞可以提供給人腦豐富的色彩感知；視桿細(xì)胞其實它只捕捉一個光線的變化，然后形成一個動態(tài)的框架。人眼看到的信息，是在視錐細(xì)胞感知色彩的基礎(chǔ)上，加上大量的來自視桿細(xì)胞的動態(tài)框架信息，在人腦中進(jìn)行變化和補(bǔ)償，才產(chǎn)生了我們意識當(dāng)中所看到的視覺信息。通過這種方法可以節(jié)省大量的功耗，不需要每個細(xì)節(jié)的視覺信息都傳輸?shù)酱竽X皮層，只需要把變化量傳輸?shù)酱竽X皮層以后，在大腦皮層進(jìn)行修補(bǔ)，因此人腦才能實現(xiàn)這樣一個高效的視覺系統(tǒng)。

基于幀的相機(jī)（左）與Prophesee事件相機(jī)（右）（圖片來源：Prophesee）

而傳統(tǒng)CMOS傳感器的原理就好比是視錐細(xì)胞，提供豐富的色彩信息；而EVS就好比是視桿細(xì)胞，輸出的信號沒有顏色，而是捕捉光的變化中物體的邊緣信息，輸出這一動態(tài)變化的框架信息。

基于工作原理的不同，EVS有著一些獨(dú)特的優(yōu)勢。

首先，EVS能夠為AI類運(yùn)算提供更高效、豐富且低時延的動態(tài)數(shù)據(jù)信息。EVS輸出的只是邊緣數(shù)據(jù)，例如整幅畫面是100萬像素，有可能變化的邊緣信息只是其中的1%甚至千分之一，但EVS能夠?qū)⑦@一時間點內(nèi)所有的動態(tài)變化的框架信息輸出，所以EVS的數(shù)據(jù)非常高效。

傳統(tǒng)相機(jī)輸出的是同步信號，而EVS輸出的是異步信號。傳統(tǒng)相機(jī)都是以幀為單位的，例如通常一秒鐘有24幀、30幀向外傳輸圖像。而EVS產(chǎn)生的影像是沒有幀率的，只根據(jù)光線變化對外輸出信號，沒有變化就沒有信號輸出。

“在時間域上EVS輸出信號是完全連續(xù)的，考慮到半導(dǎo)體實現(xiàn)的過程當(dāng)中會帶來延時，所以目前我們事件和事件當(dāng)中的最小間隔是以微秒為單位。”楊雪飛分享到，“換句話說，EVS可以在同一個地方輸出上萬次/秒的信息，類比傳統(tǒng)相機(jī)相當(dāng)于提供了上萬幀/秒的動態(tài)影像，所以速度會非常快，數(shù)據(jù)也非常高效，這樣就能夠把AI所需要的數(shù)據(jù)采集、豐富起來?！?

第二，EVS能夠提供高動態(tài)范圍。傳統(tǒng)相機(jī)拍照時都需要一定的曝光時間，而對于明暗差別大的場景，就容易出現(xiàn)高亮度區(qū)域過曝、低亮度區(qū)域看不見的情況。而EVS是獨(dú)立觀察每個像素上的光線的變化量，不做長時間的累積，因此沒有曝光時間，在暗的地方它用暗的判斷方式快速的提供信號，亮的地方就用亮的方式快速提供信號。

“Prophesee Metavision傳感器的動態(tài)范圍可以往120dB、140dB以上無限向上延伸，在歐洲某些天文觀測領(lǐng)域會采用EVS來進(jìn)行恒星拍攝?！睏钛╋w介紹到。

結(jié)合EVS的上述特點，EVS能夠在很多傳統(tǒng)的應(yīng)用上，帶來突破性體驗。例如在手機(jī)相機(jī)應(yīng)用上，疊加EVS的信息，融合EVS和CMOS的數(shù)據(jù)實現(xiàn)更好的暗光、防抖效果。在老人看護(hù)應(yīng)用上，替代傳統(tǒng)的相機(jī)和雷達(dá)方案，在保證隱私情況下實現(xiàn)對老人看護(hù)實時監(jiān)控。在汽車自動駕駛應(yīng)用中，通過高效數(shù)據(jù)實現(xiàn)AI算力高效處理。而在工業(yè)領(lǐng)域，EVS能夠替代傳統(tǒng)機(jī)器視覺中的相機(jī)，實現(xiàn)更高效可靠的應(yīng)用。這也是此次機(jī)器視覺展上，Prophesee展出的demo的重點，我們也將重點介紹在此領(lǐng)域的EVS應(yīng)用。

機(jī)器視覺應(yīng)用，EVS更適合

“其實視覺信號一直有一個發(fā)展的趨勢——即從imaging（圖像）向sensing（感知）的方向轉(zhuǎn)變。 Imaging顧名思義要有圖像，讓人們能夠看清楚它是什么樣子的，但是sensing不需要把每個細(xì)節(jié)看得很清楚，只要感知到動態(tài)的變化，這恰恰是EVS能夠提供的?！睏钛╋w分享到。

從未來發(fā)展趨勢來看，機(jī)器對于視覺的判斷一定是越來越快的，但算力和帶寬的提升是一方面，從傳感器上實現(xiàn)高效數(shù)據(jù)采集則能夠幫助這個那個系統(tǒng)實現(xiàn)極大的加速。傳統(tǒng)相機(jī)是為人眼的觀感構(gòu)建的圖像信息，而EVS則是更適合機(jī)器來“觀看”的動態(tài)信息。對于機(jī)器視覺而言，對于視覺信息的理解和人眼的理解是不同的，從機(jī)器的角度獲得更多動態(tài)影像而非靜態(tài)影像信息才能夠幫助其在有限帶寬、有限算力的情況下實現(xiàn)快速捕捉。

在此次機(jī)器視覺展上，Prophesee展出了一款塔吊的demo，借助EVS實現(xiàn)了高效、可靠同時低功耗的被吊物體3維實時監(jiān)測。

在此demo中，塔吊的駕駛艙下方安裝了一顆EVS相機(jī)，而在需要被塔吊吊起的集裝箱上選取6個點安裝了6顆LED。每一顆LED都采用了不同閃爍方式，EVS相機(jī)可以基于此來判斷不同的燈的移動變化，從而提供整個集裝箱的三維建模信息。例如在有風(fēng)吹過時，整個集裝箱的小幅擺動的位置數(shù)據(jù)都能夠?qū)崟r在捕捉到。在一些惡劣環(huán)境中，操作員可以遠(yuǎn)程實現(xiàn)塔吊的操作，從而無需在塔吊的駕駛室中進(jìn)行操作。

Prophesee展出了一款塔吊的demo（圖片來源：Prophesee）

在此應(yīng)用案例中，EVS只需要捕捉幾個燈的光線閃爍的移動信息即可，因此整體的數(shù)據(jù)量極小，對于系統(tǒng)整體的功耗要求也就更低。此外，因為六個燈的位置已經(jīng)提前相互確定，所以即使其中一個或兩個燈被遮擋住了，通過其他的燈的連續(xù)位置變化，也能夠獲得整個集裝箱的位置變化。

對于塔吊場景的遠(yuǎn)程控制，關(guān)鍵的一點在于要能夠?qū)崿F(xiàn)幾乎零延時觀察和操作。EVS的優(yōu)勢在于延時低、數(shù)據(jù)量小、采集速度快，后端的算力延遲也小，因此應(yīng)用在塔吊遠(yuǎn)程實時監(jiān)控上是一個非常好的方案，塔吊安全系數(shù)也得以提高。

在工業(yè)領(lǐng)域，通過振動檢測、狀態(tài)監(jiān)測來實現(xiàn)預(yù)測性維護(hù)，能夠幫助客戶提前發(fā)現(xiàn)可能出現(xiàn)的故障問題，免除產(chǎn)線意外停工造成的巨額損失。而目前常見的方案大多采用振動傳感器，通過貼裝的方式來進(jìn)行振動數(shù)據(jù)捕捉。EVS為這種工業(yè)預(yù)測性維護(hù)應(yīng)用也提供了一種新穎的方案。

傳送帶demo（圖片來源：Prophesee）

在現(xiàn)場的demo演示中，通過Prophesee的一個EVS相機(jī)，可以實現(xiàn)對輸料帶的振動頻率的實時監(jiān)控。首先最明顯的優(yōu)勢在于，采用EVS相機(jī)可以在不接觸被測工業(yè)設(shè)備的情況下進(jìn)行安裝部署，從而無需被測工業(yè)設(shè)備停機(jī)，而且安裝位置相對靈活的多。第二點好處在于，EVS拍出的是時間上連續(xù)的影像動態(tài)框架信息，因此可以直接判斷出傳送帶的頻率，具有更高的準(zhǔn)確率和精度。第三點優(yōu)勢在于，一個相機(jī)就可以實時判斷出多個不同部位的不同振動頻率。因為是捕捉的整個畫面中的框架信息變化，所以一個工業(yè)設(shè)備或一個輸料帶上的多個位置的不同頻率，都可以記錄下來通過后端算法進(jìn)行處理，獲得更豐富的設(shè)備狀態(tài)監(jiān)測。

據(jù)楊雪飛介紹，這種采用EVS相機(jī)進(jìn)行振動監(jiān)測的應(yīng)用，目前在歐洲已經(jīng)有了落地的工業(yè)級項目。

在此次展會現(xiàn)場，Prophesee還展出了一個采用EVS相機(jī)進(jìn)行計數(shù)的demo。在此演示中，展示了一個高速旋轉(zhuǎn)的圓盤，圓盤上會有需要計數(shù)的圓點出現(xiàn)。而要對這些高速變化和移動的圓點進(jìn)行計數(shù)，人眼是無法做到的，甚至連物體移動的狀態(tài)都無法判斷出來。

這類應(yīng)用的實際場景非常多，例如糧食、藥片的快速檢測。比如在藥品的快速下落過程中，判斷藥片的尺寸是否有不合格的，可以通過噴頭將不合格藥片吹掉。而像大米計數(shù)等也有類似的應(yīng)用案例。

傳統(tǒng)上此類方案是通過高速相機(jī)的方式來計數(shù)，但要達(dá)到如此高效率的高速相機(jī)的成本極高，而且采集到的同步信息的數(shù)據(jù)量極大，對于后端的處理和算法優(yōu)化的難度也非常高，因此整個系統(tǒng)的成本都比較高。而采用EVS替代高速相機(jī)之后，由于本身EVS價格相比高速相機(jī)更低，而且傳輸?shù)臄?shù)據(jù)量更小，因此對于整體的效益、效率都有提升。對于此類工業(yè)系統(tǒng)而言是非常好的降本增效的解決方案。

推動EVS的大規(guī)模應(yīng)用落地

EVS雖然算起來已經(jīng)誕生很久了，但實際商業(yè)化時間并不長。目前仍存在著價格偏高的應(yīng)用痛點，同時雖然其應(yīng)用面很廣，想要打入傳統(tǒng)應(yīng)用中還要面臨很多市場客戶等方面的困難。

Prophesee正在扎扎實實地推進(jìn)EVS在各個應(yīng)用領(lǐng)域的全面落地。據(jù)楊雪飛介紹，面向工業(yè)和消費(fèi)等不同的市場Prophesee提供了不同的產(chǎn)品，但都是能夠符合整個市場的價格預(yù)期，價格能夠被客戶所接受。工業(yè)上用量不大，規(guī)格要求更高，而消費(fèi)類上用量大，價格方面會做到更容易被大面積搭載和接受。

在量產(chǎn)方面，EVS同樣需要克服一系列的挑戰(zhàn)，實現(xiàn)規(guī)?；瘡亩档统杀尽rophesee是全球第一家商業(yè)化EVS技術(shù)的公司，2015年就有了第一代的量產(chǎn)傳感器，然后按照每兩年一迭代的節(jié)奏進(jìn)行產(chǎn)品更新，2021年發(fā)布了第四代傳感器，今年是第五代傳感器。在商用化的過程當(dāng)中，Prophesee也積累了大量的經(jīng)驗，包括提高產(chǎn)品的良率等。

在第四代的時候，索尼作為非常重要的相機(jī)模組合作伙伴加入了，Prophesee的第四代傳感器也由雙方共同開發(fā)，在索尼工廠進(jìn)行的生產(chǎn)，目前第四代的整體良率情況非常好。而在現(xiàn)在的第五代產(chǎn)品層面，Prophesee也會考慮更多不同的合作方案。

而考慮到新硬件技術(shù)的實際應(yīng)用，軟件同樣重要。Prophesee是軟硬件兼?zhèn)涞墓?，提供的產(chǎn)品里面既包括機(jī)器視覺傳感器，又提供了Metavision軟件包。據(jù)悉，Metavision軟件包可以免費(fèi)下載使用，類似于底層應(yīng)用的調(diào)用。客戶基于此軟件包可以更加專注于上層應(yīng)用開發(fā)，而無需關(guān)注底層數(shù)據(jù)層的開發(fā)。從而幫助客戶快速實現(xiàn)對于EVS的上手調(diào)試，更快地完成應(yīng)用層的軟件設(shè)計。

而說到生態(tài)建設(shè)，Prophesee已經(jīng)提供了Metavision的評估套件，并且與SoC廠商、手機(jī)廠商、軟件廠商、工業(yè)消費(fèi)等等一系列各種不同應(yīng)用不同類型的廠商展開了合作，積極進(jìn)行大規(guī)模商業(yè)化落地的探索。而在開發(fā)者生態(tài)層面，Prophesee有一個專門的基于EVS技術(shù)的社區(qū)，全球知名學(xué)府教授在內(nèi)的幾千位注冊用戶都在上面進(jìn)行EVS相關(guān)的應(yīng)用開發(fā)交流，中文版的開發(fā)者社區(qū)也在建設(shè)中，不久將會上線，為中國的EVS應(yīng)用開發(fā)者提供更好的支持。

對于EVS的大規(guī)模商用落地，Prophesee已經(jīng)做好了準(zhǔn)備。從傳感器到相機(jī)模組量產(chǎn)、從硬件到各行業(yè)解決方案、從高校培育到開發(fā)者生態(tài)建設(shè)，整個布局已經(jīng)全面完成，接下來在哪個應(yīng)用方向上會率先實現(xiàn)突破、占據(jù)有競爭力的市場份額，會是我們持續(xù)觀察的點。而楊雪飛對此非常有信心，“雖然EVS看上去是很新穎的技術(shù)，但是離我們的生活其實越來越近，會有越來越多相關(guān)的應(yīng)用能夠直接推到市場上供用戶使用?！?