想要實現(xiàn)更有效率的人工智能體驗，很多工作都需要在設備端直接完成。在視覺識別和語音助手這兩大熱門應用中，常常都會見到DSP的身影;而Cadece的Tensilica系列DSP產(chǎn)品，一直受到華為等諸多廠商的喜愛。近日，Cadence在北京召開了發(fā)布會，發(fā)布了全新的DNA100和HiFi5的產(chǎn)品。作為Vision系列和HiFi系列的最新產(chǎn)品，有何高明之處?Cadence公司IP事業(yè)部Tensilica資深產(chǎn)品總監(jiān)Lazaar Louis先生和IP事業(yè)部Tensilica技術(shù)營銷總監(jiān)Yipeng Liu進行了詳細的講解。

DNA100: 通過稀疏計算引擎實現(xiàn)高效人工智能結(jié)構(gòu)

Cadence最新發(fā)布的DNA 100是其首款神經(jīng)網(wǎng)絡加速器IP，作為端側(cè)的運算單元，功耗仍然是客戶非常敏感的指標;從0.5到數(shù)百TMAC均可實現(xiàn)高性能和高能效。換言之，不論是電池驅(qū)動的小型IoT設備，還是譬如手機等多核處理器中，DNA 100均可發(fā)揮巨大作用。

相較其它采用相似陣列尺寸大小的乘法累加運輸商解決方案，DNA 100的性能提升高達4.7倍，每瓦性能提高2.3倍。據(jù)悉，這種性能提升和功耗的降低得益于其采用了稀疏計算引擎。“神經(jīng)網(wǎng)絡的特征在于權(quán)重和激活函數(shù)的固有稀疏度，加載和乘以零會早晨其它處理器不必要的MAC消耗。DNA 100移除了這兩項任務，利用稀疏度提高能效并降低計算量。神經(jīng)網(wǎng)絡再訓練有助于提高網(wǎng)絡的稀疏度，并通過DNA 100處理器的稀疏計算引擎實現(xiàn)最高性能。DNA 100處理器能夠利用更小的陣列實現(xiàn)最大吞吐量。作為例證，4K MAC配置環(huán)境下，ResNet 50推理性能預計能實現(xiàn)每秒高達2550幀(fps)和3.4TMAC / W(在16 nm工藝)。”

稀疏計算引擎專門處理卷積階段以及完全連接的分類層的任務。 單個稀疏計算引擎可以在256,512或1024 MAC中擴展，之后IP通過添加更多引擎進行擴展，上圖中可見最多可以達到4個引擎。 這意味著最大配置的單個DNA 100硬件塊最多包含4096個MAC。

帶寬是限制NN硬件效率的一個關(guān)鍵瓶頸，因此壓縮帶寬是實現(xiàn)最佳性能必備條件。就原始帶寬而言，DNA 100提供了從1到4 AXI 128或256位接口，這意味著在最寬的配置中，最高可達1024位總線寬度。

Cadence仍然提供DNA 100和Vision Q6產(chǎn)品的耦合使用方案，可以在執(zhí)行某些特定NN運算時實現(xiàn)更高效率。這種方案相較之前的P6+C5的方案有了很大提升，客戶也可以進行深度的定制。

在軟件方面，Cadence提供完整的軟件堆棧和神經(jīng)網(wǎng)絡編譯器，以方便客戶充分利用硬件，包括網(wǎng)絡分析儀和優(yōu)化器以及所需的設備驅(qū)動程序。Cadence最近還宣布將支持Facebook的Glow編譯器——一種跨硬件平臺的機器學習編譯器。

HiFi5：實現(xiàn)設備端語音UI

隨著家庭數(shù)字語音助手的興起，HiFi 4得到了大量的應用，而數(shù)字語音助手的下一個升級體驗是實現(xiàn)更好的語音UI，這需要更好的原場處理算法和基于NN的語音識別，HiFi5將幫助客戶實現(xiàn)這一設計。重點仍然是，能在端側(cè)完成的 ，要實現(xiàn)快速反饋，這樣才能帶來更好的用戶體驗。

高性能的DSP核是語音UI實現(xiàn)的關(guān)鍵器件，另外，還需要耕地精度的NN內(nèi)存權(quán)重，以減少內(nèi)存大小和帶寬需求;這兩個指標在端側(cè)同樣是非常敏感的資源，如此這般才能構(gòu)建節(jié)能高效的邊緣語音交互設備。

HiFi 5可根據(jù)其可使用的執(zhí)行單元和內(nèi)存控制器進行配置。 為了支持波束成形等任務，DSP管道能夠使用浮點數(shù)。而在DNN的工作任務中，DSP的管道可以由浮點單元轉(zhuǎn)為專注于低分辨率定點運算，降低到多個8x8并行乘法;或者可以在沒有用于傳統(tǒng)音頻處理的DNN聚焦模式的情況下部署DSP。同樣的，因為采用了其專有的稀疏計算引擎，因此可以減少零權(quán)重操作以及壓縮帶寬，從而實現(xiàn)更高效能。此特性已經(jīng)在DNA 100的介紹中提及，此處不再贅述。

作為HiFi 4的升級產(chǎn)品，HiFi 5的預處理和后處理的MAC性能提高2倍;神經(jīng)網(wǎng)絡處理MAC性能提高4倍;而且提供專門優(yōu)化的函數(shù)庫，可以與主流機器學習框架集成;兼容HiFi產(chǎn)品線300多個語音增強軟件包。

據(jù)悉，首批客戶之一是Ambiq Micro，想必大家并不陌生，這是一家專門構(gòu)建電池驅(qū)動音頻控制器的廠商。

未來端側(cè)的高性能推理的工作將越來越多，比如汽車的自動駕駛、語音UI、物聯(lián)網(wǎng)邊緣的AI處理以及手機AI強化。如何在有限的資源條件下，實現(xiàn)實時高效的AI處理，這是端側(cè)需要解決的問題。而這一問題的解決，Cadence的DNA 100和HiFi 5無疑都是最佳助手。