得克薩斯 A&M 大學(xué)、Rain Neuromorphics 和桑迪亞國家實(shí)驗(yàn)室的研究人員最近設(shè)計(jì)了一種新系統(tǒng)，可以更有效地更大規(guī)模地訓(xùn)練深度學(xué)習(xí)模型。該系統(tǒng)在Nature Electronics上發(fā)表的一篇論文中介紹，它依賴于使用新的訓(xùn)練算法和憶阻器交叉開關(guān)硬件，可以同時(shí)執(zhí)行多項(xiàng)操作。

“大多數(shù)人將 AI 與智能手表的健康監(jiān)測(cè)、智能手機(jī)的人臉識(shí)別等聯(lián)系起來，但就消耗的能量而言，大多數(shù) AI 都需要訓(xùn)練 AI 模型來執(zhí)行這些任務(wù)，”資深作者 Suhas Kumar 說道。這項(xiàng)研究告訴 TechXplore。

“訓(xùn)練發(fā)生在倉庫大小的數(shù)據(jù)中心，這在經(jīng)濟(jì)和碳足跡方面都非常昂貴。只有經(jīng)過充分訓(xùn)練的模型才會(huì)下載到我們的低功耗設(shè)備上?！?

從本質(zhì)上講，Kumar 和他的同事著手設(shè)計(jì)一種方法，可以減少與 AI 模型培訓(xùn)相關(guān)的碳足跡和財(cái)務(wù)成本，從而使其大規(guī)模實(shí)施更容易、更可持續(xù)。為此，他們必須克服當(dāng)前 AI 培訓(xùn)實(shí)踐的兩個(gè)關(guān)鍵限制。

這些挑戰(zhàn)中的第一個(gè)與使用基于圖形處理單元 (GPU) 的低效硬件系統(tǒng)有關(guān)，這些系統(tǒng)本身并不是為運(yùn)行和訓(xùn)練深度學(xué)習(xí)模型而設(shè)計(jì)的。第二種需要使用低效且數(shù)學(xué)運(yùn)算量大的軟件工具，特別是利用所謂的反向傳播算法。

“我們的目標(biāo)是使用新硬件和新算法，”Kumar 解釋道?！拔覀兝昧酥?15 年在基于憶阻器的硬件(GPU 的高度并行替代方案)方面的工作，以及類腦高效算法(一種非反向傳播局部學(xué)習(xí)技術(shù))的最新進(jìn)展。盡管硬件和軟件方面的進(jìn)步之前已經(jīng)存在，我們對(duì)它們進(jìn)行了代碼設(shè)計(jì)，使其能夠相互協(xié)作，從而實(shí)現(xiàn)非常高效的 AI 訓(xùn)練?！?

深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要不斷調(diào)整其配置，包括所謂的“權(quán)重”，以確保它能夠以更高的準(zhǔn)確性識(shí)別數(shù)據(jù)中的模式。這種適應(yīng)過程需要大量的乘法運(yùn)算，而傳統(tǒng)的數(shù)字處理器很難有效地執(zhí)行這些運(yùn)算，因?yàn)樗鼈冃枰獜膯为?dú)的存儲(chǔ)單元中獲取與重量相關(guān)的信息。

“今天幾乎所有的訓(xùn)練都是使用反向傳播算法進(jìn)行的，該算法采用大量數(shù)據(jù)移動(dòng)和求解數(shù)學(xué)方程式，因此適用于數(shù)字處理器，”該研究的主要作者 Suin Yi 告訴 TechXplore。

“作為一種硬件解決方案，近十年來出現(xiàn)的模擬憶阻器交叉開關(guān)能夠?qū)⑼挥|權(quán)重嵌入到計(jì)算發(fā)生的同一位置，從而最大限度地減少數(shù)據(jù)移動(dòng)。但是，傳統(tǒng)的反向傳播算法適用于高精度數(shù)字硬件，由于硬件噪聲、錯(cuò)誤和精度有限，與憶阻器交叉開關(guān)不兼容。”

由于傳統(tǒng)的反向傳播算法不太適合他們?cè)O(shè)想的系統(tǒng)，Kumar、Yi 和他們的同事開發(fā)了一種新的共同優(yōu)化學(xué)習(xí)算法，該算法利用了憶阻器交叉開關(guān)的硬件并行性。該算法的靈感來自于神經(jīng)科學(xué)研究中觀察到的神經(jīng)元活動(dòng)差異，它容錯(cuò)并復(fù)制了大腦的學(xué)習(xí)能力，甚至可以從稀疏、定義不明確和“嘈雜”的信息中學(xué)習(xí)。

“我們的算法-硬件系統(tǒng)研究了神經(jīng)網(wǎng)絡(luò)中合成神經(jīng)元在兩種不同條件下的不同行為方式的差異：一種是允許它以自由方式產(chǎn)生任何輸出，另一種是我們強(qiáng)制輸出成為目標(biāo)我們想要識(shí)別的模式，”易解釋道。

“通過研究系統(tǒng)響應(yīng)之間的差異，我們可以預(yù)測(cè)使系統(tǒng)得出正確答案所需的權(quán)重，而無需強(qiáng)迫它。換句話說，我們避免了復(fù)雜的數(shù)學(xué)方程反向傳播，使過程更具噪聲彈性，并啟用本地培訓(xùn)，這就是大腦學(xué)習(xí)新任務(wù)的方式。”

因此，作為本研究的一部分而開發(fā)的受大腦啟發(fā)且與模擬硬件兼容的算法最終可以在具有小電池的邊緣設(shè)備中實(shí)現(xiàn) AI 的節(jié)能實(shí)施，從而消除對(duì)消耗大量電力的大型云服務(wù)器的需求。這最終可能有助于使深度學(xué)習(xí)算法的大規(guī)模訓(xùn)練變得更加實(shí)惠和可持續(xù)。

“我們用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算法結(jié)合了深度學(xué)習(xí)和神經(jīng)科學(xué)的一些最佳方面，以創(chuàng)建一個(gè)可以使用低精度設(shè)備非常有效地學(xué)習(xí)的系統(tǒng)，”該論文的另一位作者 Jack Kendall 告訴 TechXplore。

“這有很多意義。首先是，使用我們的方法，可以將目前太大而無法部署的 AI 模型制作成適合手機(jī)、智能手表和其他不受限制的設(shè)備。另一個(gè)是這些網(wǎng)絡(luò)現(xiàn)在可以學(xué)習(xí)——即時(shí)，在部署時(shí)，例如考慮不斷變化的環(huán)境，或?qū)⒂脩魯?shù)據(jù)保存在本地(避免將其發(fā)送到云端進(jìn)行培訓(xùn))?！?

在初步評(píng)估中，Kumar、Yi、Kendall 和他們的同事 Stanley Williams 表明，與當(dāng)今市場(chǎng)上最好的 GPU 相比，他們的方法可以將與 AI 訓(xùn)練相關(guān)的功耗降低多達(dá) 100,000 倍。未來，它可以將海量數(shù)據(jù)中心轉(zhuǎn)移到用戶的個(gè)人設(shè)備上，減少與人工智能訓(xùn)練相關(guān)的碳足跡，并促進(jìn)更多支持或簡化人類日?；顒?dòng)的人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。

“我們接下來計(jì)劃研究這些系統(tǒng)如何擴(kuò)展到更大的網(wǎng)絡(luò)和更困難的任務(wù)，”肯德爾補(bǔ)充道?！拔覀冞€計(jì)劃研究各種用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的類腦學(xué)習(xí)算法，并找出其中哪些算法在不同的網(wǎng)絡(luò)和不同的硬件資源限制下表現(xiàn)更好。我們相信這不僅會(huì)幫助我們了解如何在資源受限的環(huán)境中最好地進(jìn)行學(xué)習(xí)，但它也可以幫助我們了解生物大腦如何能夠以如此令人難以置信的效率學(xué)習(xí)。”