隨著物聯(lián)網(wǎng)設(shè)備的不斷增多，邊緣AI也將迎來爆發(fā)式增長。根據(jù)QYResearch調(diào)研團(tuán)隊(duì)發(fā)布的《全球邊緣AI芯片市場報(bào)告2024-2030》顯示，預(yù)計(jì)2030年，全球邊緣AI芯片市場規(guī)模將達(dá)到81.3億美元，未來幾年年復(fù)合增長率（CAGR）為16.5%。

邊緣AI發(fā)展?jié)摿薮?，有望助力多個(gè)領(lǐng)域的持續(xù)智能化演進(jìn)與轉(zhuǎn)型。但與此同時(shí)，我們也應(yīng)該看到，由于邊緣AI的應(yīng)用場景復(fù)雜多樣，需要具備強(qiáng)大的適應(yīng)性和可靠性，這一趨勢變化也對芯片設(shè)計(jì)、計(jì)算能力等提出了更高的要求。

在此背景下，Arm推出了Arm^® Ethos?-U85神經(jīng)網(wǎng)絡(luò)處理器（NPU）和Arm Corstone?-320物聯(lián)網(wǎng)參考設(shè)計(jì)平臺，旨在滿足海量的數(shù)據(jù)處理和大規(guī)模計(jì)算，加速推進(jìn)邊緣AI的發(fā)展進(jìn)程。

（Arm推出新一代Ethos-U AI加速器及全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺）

NPU家族再添一員——Arm^® Ethos?-U85

所謂邊緣AI，就是在邊緣計(jì)算環(huán)境中實(shí)現(xiàn)人工智能的一種方法。它允許在生成數(shù)據(jù)的設(shè)備上進(jìn)行計(jì)算，而不是在集中的云計(jì)算設(shè)施或遠(yuǎn)程數(shù)據(jù)中心進(jìn)行計(jì)算。這種本地化處理方式使得設(shè)備能夠在幾毫秒內(nèi)做出決策，而無需互聯(lián)網(wǎng)連接或云服務(wù)。此外，本地化處理計(jì)算還能通過高響應(yīng)時(shí)間，強(qiáng)化用戶體驗(yàn)，并增強(qiáng)隱私數(shù)據(jù)安全的保障。

據(jù)Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬?。–hloe Ma）介紹，Arm Ethos NPU系列是業(yè)界首款A(yù)I加速器，目前英飛凌、恩智浦半導(dǎo)體、奇景光電（Himax）、Alif Semiconductor和Synaptics等領(lǐng)先企業(yè)均已推出了搭載Ethos-U的量產(chǎn)芯片。而此次推出的全新Arm Ethos-U85，與上一代產(chǎn)品相比，不僅為高性能邊緣AI應(yīng)用帶來了4倍的性能提升，以及20%的能效提升，同時(shí)還保持了一致工具鏈，實(shí)現(xiàn)了無縫的開發(fā)者體驗(yàn)。

除此之外，Arm Ethos-U85還支持從128到2048個(gè)MAC單元的配置，在最高性能配置下，可以提供4TOPs的AI算力，非常適用于工廠自動化和商用或智能家居攝像頭等需要更高性能的邊緣AI應(yīng)用。

（Arm Ethos-U85提供卓越的神經(jīng)網(wǎng)絡(luò)加速功能）

另外值得一提的是，Arm Ethos-U85還增加了對Transformer架構(gòu)網(wǎng)絡(luò)的支持，這是優(yōu)化大模型邊緣落地微調(diào)時(shí)間、提升模型泛化的一個(gè)關(guān)鍵特性。

針對這一關(guān)鍵特性，馬健指出，Arm Ethos-U85不僅僅提供卷積神經(jīng)網(wǎng)絡(luò)（CNN）所需的權(quán)重矩陣乘的運(yùn)算，同時(shí)還支持矩陣相乘，這是Transformer架構(gòu)網(wǎng)絡(luò)的一個(gè)基本組成部分。基于Transformer的模型具有優(yōu)異的泛化功能，它將更快地驅(qū)動新AI應(yīng)用的發(fā)展。

“Transformer在視覺和生成式AI用例中，比如視頻理解、圖文結(jié)合，以及圖像增強(qiáng)與生成、圖像分類和目標(biāo)檢測等方面都極有價(jià)值。Transformer架構(gòu)網(wǎng)絡(luò)的注意力機(jī)制容易利用并行計(jì)算來實(shí)現(xiàn)，提高硬件使用效率，使得這些模型能夠部署在計(jì)算資源有限的邊緣設(shè)備上。開發(fā)者可以通過選用針對Transformer架構(gòu)網(wǎng)絡(luò)優(yōu)化的設(shè)計(jì)，發(fā)掘邊緣AI的新機(jī)遇，使這些應(yīng)用享有更快的推理、更優(yōu)化的模型性能和可擴(kuò)展性?！瘪R健解釋說。

（Arm Ethos-U85支持Transformer架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)）

事實(shí)上，Arm Ethos-U85不僅支持低功耗MCU系統(tǒng)中的AI加速，在高性能邊緣計(jì)算系統(tǒng)中，也越來越多地應(yīng)用在處理器、諸如Linux等標(biāo)準(zhǔn)操作系統(tǒng)，以及高級開發(fā)語言的部署中。這種模式更有利于云原生開發(fā)和云邊端負(fù)載調(diào)度，尤其是在處理數(shù)據(jù)量日益增長的AI應(yīng)用系統(tǒng)中，這一趨勢尤為顯著。

“Arm Ethos-U85能夠很好地支持這些需求，加之我們領(lǐng)先的Armv9 Cortex-A CPU，將為基于應(yīng)用處理器的智能物聯(lián)網(wǎng)平臺上運(yùn)行的AI任務(wù)實(shí)現(xiàn)加速。這將使Arm Ethos-U85能夠在工業(yè)機(jī)器視覺、邊緣網(wǎng)關(guān)、可穿戴設(shè)備和消費(fèi)類機(jī)器人等應(yīng)用中，帶來高效能的邊緣推理?！瘪R健如是說。

（Arm Ethos-U85為高性能邊緣AI應(yīng)用提供有力的支持）

參考設(shè)計(jì)平臺再升級——Arm Corstone?-320

為了簡化系統(tǒng)開發(fā)、加快上市時(shí)間，Arm還推出了全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺——Arm Corstone?-320，以加速實(shí)現(xiàn)語音、音頻和視覺系統(tǒng)等邊緣AI應(yīng)用的部署。

據(jù)了解，該平臺不僅集成了Cortex-M系列最高性能的嵌入式處理器Cortex-M85，以及全新的Ethos-U85 NPU AI加速器，還包含了Arm Mali-C55 ISP。而Arm之所以這樣設(shè)計(jì)，一是引入了針對實(shí)際工作負(fù)載優(yōu)化加速的設(shè)計(jì)理念，參考用例包括部署在智能家居中的電池供電攝像系統(tǒng)，以及在工業(yè)和零售系統(tǒng)中的低幀率網(wǎng)絡(luò)攝像頭；二是為了提供具有安全保證的軟硬件組合，幫助合作伙伴能夠順利通過PSA Certified Level 2認(rèn)證，實(shí)現(xiàn)對區(qū)域和全球安全標(biāo)準(zhǔn)的合規(guī)。

Arm堅(jiān)信，通過全新Corstone-320預(yù)先集成、預(yù)先驗(yàn)證的參考設(shè)計(jì)模版，一定能夠幫助合作伙伴減少邊緣智能芯片開發(fā)的成本與時(shí)間。

（Arm助力加速邊緣AI設(shè)備部署進(jìn)程）

“正如之前推出的Arm物聯(lián)網(wǎng)參考設(shè)計(jì)一樣，Arm Corstone-320不僅可以提供芯片計(jì)算子系統(tǒng)IP組合，還附帶了軟件、AI模型庫和開發(fā)工具，以實(shí)現(xiàn)軟件的復(fù)用，并利用了Arm強(qiáng)大的生態(tài)系統(tǒng)?！瘪R健談到Corstone-320時(shí)分享：“它還附帶了仿真Corstone-320完整系統(tǒng)的Arm虛擬硬件，以及單獨(dú)的CPU和NPU的固定虛擬平臺（FVP）模型，可以簡化開發(fā)并加速產(chǎn)品設(shè)計(jì)，支持軟硬件并行協(xié)同開發(fā)，從而有助于我們的合作伙伴聚焦于打造差異化價(jià)值?！?/span>

對于任何一款產(chǎn)品而言，只有做到了簡單易用，它才更適于普及推廣，這也是為什么隨著邊緣AI的持續(xù)擴(kuò)展，物聯(lián)網(wǎng)生態(tài)鏈上下游的芯片與系統(tǒng)供應(yīng)商、算法軟件開發(fā)者與集成商們越來越匯聚在Arm計(jì)算平臺。Arm計(jì)算平臺致力于為合作伙伴提供AI從云到端、現(xiàn)代敏捷開發(fā)和部署流程中所需的特性與功能，實(shí)現(xiàn)基于量產(chǎn)驗(yàn)證的一致架構(gòu)，并采用統(tǒng)一工具鏈的AI轉(zhuǎn)型。

（基于Arm平臺的AI軟件生態(tài)系統(tǒng)）

作為一種新型的計(jì)算方式，邊緣AI雖然給系統(tǒng)和芯片設(shè)計(jì)帶來了巨大機(jī)遇，但同時(shí)也帶來了許多挑戰(zhàn)。比如，如何平衡計(jì)算能力與能效、功耗與成本之間的關(guān)系？如何確保數(shù)據(jù)安全和隱私保護(hù)？如何應(yīng)對邊緣用例五花八門、傳統(tǒng)市場存在碎片化問題？

為了更好地統(tǒng)一多樣化的應(yīng)用要求，達(dá)到規(guī)?；б?，軟件定義和適于軟件移植的標(biāo)準(zhǔn)更是必不可少。Arm在IP、參考設(shè)計(jì)和軟件標(biāo)準(zhǔn)上持續(xù)投入，可以幫助整個(gè)邊緣AI生態(tài)應(yīng)對這些挑戰(zhàn)。

正如Arm此次推出的新一代Ethos-U85和Corstone-320物聯(lián)網(wǎng)參考設(shè)計(jì)平臺，不僅可以滿足邊緣AI用例對更高性能計(jì)算的需求，還為最新的AI模型、框架提供了原生支持，并沿用了Arm軟件與AI開發(fā)者已經(jīng)熟知的工具鏈，具有投資復(fù)用、上手容易等優(yōu)勢。

與此同時(shí)，本次發(fā)布的新產(chǎn)品與參考設(shè)計(jì)加入Arm豐富的IP產(chǎn)品和技術(shù)組合，也使Arm技術(shù)能夠覆蓋更廣泛、多樣化的智能物聯(lián)網(wǎng)應(yīng)用，并滿足最新邊緣AI市場的性能、成本和能效需求。

據(jù)悉，目前全球范圍內(nèi)Arm已有超過1000個(gè)生態(tài)系統(tǒng)合作伙伴以及1500 萬名Arm生態(tài)開發(fā)者。憑借廣泛的軟件支持和工具，Arm簡化了開發(fā)流程，從而助力市場輕松擴(kuò)展邊緣AI的部署。

（Arm技術(shù)正在構(gòu)建邊緣AI的未來）

在技術(shù)革新的道路上，Arm永不止步

“我們已經(jīng)看到，生態(tài)系統(tǒng)中的開發(fā)者在樹莓派設(shè)備上評估運(yùn)行包括LLaMA等在內(nèi)的大模型，邊緣部署大模型和生成式AI用例指日可待。為此，我們已經(jīng)做好了準(zhǔn)備來挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài)AI結(jié)合的性能與效率極限?！瘪R健表示，AI的普及、大模型和生成式AI的迅猛發(fā)展，為Arm物聯(lián)網(wǎng)生態(tài)系統(tǒng)的伙伴們帶來了前所未有的發(fā)展機(jī)遇。憑借Arm豐富的經(jīng)驗(yàn)和領(lǐng)先的技術(shù)廣度，能夠最有力地支持合作伙伴們擁抱邊緣AI機(jī)遇。

可以預(yù)見，隨著全新Ethos-U85和Corstone-320的登場及 Arm 在技術(shù)、生態(tài)中的不斷投入，未來Arm無疑將成為全球最普遍的AI計(jì)算平臺之一。屆時(shí)，越來越多的開發(fā)者和軟件廠商將加入到這一生態(tài)系統(tǒng)中，共同推動邊緣AI的創(chuàng)新和發(fā)展。