2015年，AMD發(fā)布了搭載HBM的GPU顯卡。彼時(shí)大眾對(duì)于HBM并不了解，蘇姿豐形象比喻HBM的創(chuàng)新點(diǎn)在于——將DRAM顆粒由傳統(tǒng)的“平房設(shè)計(jì)”轉(zhuǎn)變?yōu)椤皹欠吭O(shè)計(jì)”，可實(shí)現(xiàn)更高的性能和帶寬。

而今，HBM成為了影響GPU顯卡實(shí)現(xiàn)更高性能AI計(jì)算的關(guān)鍵，AI巨頭排隊(duì)搶購(gòu)。在最近的兩次英偉達(dá)的新品發(fā)布中，黃仁勛也多次強(qiáng)調(diào)HBM3于AI計(jì)算的重要性。大眾也開(kāi)始意識(shí)到HBM的重要性，將HBM視為是躲在GPU背后的大贏家。

作為內(nèi)存領(lǐng)導(dǎo)者，美光必然不會(huì)缺席HBM這場(chǎng)盛筵。近日，美光發(fā)布了業(yè)界首款8層堆疊的24GB 第二代HBM3，采用美光的1β制程工藝，實(shí)現(xiàn)了1.2TB/s超高性能。

AI應(yīng)用對(duì)內(nèi)存提出了更高的要求

我們可以把AI應(yīng)用分為三大類(lèi)。首先是生成式AI，包括時(shí)下火熱的ChatGPT和Mid-Journey等，都屬于此類(lèi)范疇。第二類(lèi)是深度學(xué)習(xí)，例如虛擬助理、聊天機(jī)器人和醫(yī)療診斷等。這類(lèi)應(yīng)用需要處理大量的數(shù)據(jù)，并通過(guò)算法來(lái)詮釋數(shù)據(jù)、加以預(yù)測(cè)。第三類(lèi)是高效能計(jì)算，包括全基因測(cè)序、天氣預(yù)測(cè)等重大科學(xué)問(wèn)題的解決，都需要依賴(lài)于此類(lèi)AI計(jì)算能力發(fā)展。

而不論是哪種AI應(yīng)用，都驅(qū)動(dòng)了大量的計(jì)算性能需求和內(nèi)存需求。據(jù)美光副總裁暨計(jì)算與網(wǎng)絡(luò)事業(yè)部計(jì)算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan分享，光擁有大量的計(jì)算能力，卻沒(méi)有足夠的內(nèi)存帶寬來(lái)支持也是不夠的，通常計(jì)算性能的瓶頸超過(guò)半數(shù)都與內(nèi)存的帶寬有關(guān)。

此外，大語(yǔ)言模型的參數(shù)數(shù)量正在巨量增長(zhǎng)，因此AI應(yīng)用上需要更高的內(nèi)存容量密度，以在相同的體積內(nèi)實(shí)現(xiàn)更高的內(nèi)存容量。最后還需要關(guān)注到功耗，據(jù)推測(cè)未來(lái)7年內(nèi)數(shù)據(jù)中心的耗電量將占全球電力消耗近8%，而AI服務(wù)器中所需的內(nèi)存是通用服務(wù)器的6～8倍，因此內(nèi)存的高能效也同樣關(guān)鍵。

為了應(yīng)對(duì)數(shù)據(jù)密集型工作負(fù)載和應(yīng)用程序的增長(zhǎng)，數(shù)據(jù)中心基礎(chǔ)構(gòu)架已經(jīng)被重新定義。傳統(tǒng)上圍繞著CPU的數(shù)據(jù)中心架構(gòu)已經(jīng)不足以滿足當(dāng)下的計(jì)算需求，GPU、FPGA和ASIC等專(zhuān)用加速芯片正在成為異構(gòu)數(shù)據(jù)中心發(fā)展的核心。與此同時(shí)，僅僅靠DDR也已經(jīng)不足異構(gòu)數(shù)據(jù)中心基礎(chǔ)設(shè)施的需求，HBM作為超帶寬方案更為實(shí)現(xiàn)AI計(jì)算加速的關(guān)鍵。

HBM位于非?？拷麲PU或CPU的中介層上，由多個(gè)DRAM Die以堆疊的方式構(gòu)成，最底層是邏輯控制單元，每一層Die之間采用TVS的方式互聯(lián)。憑借其寬I/O總線和增加的密度，HBM提供了現(xiàn)代數(shù)據(jù)中心基于加速器的計(jì)算模型所需的高性能和功效。目前HBM技術(shù)最新已經(jīng)發(fā)展到了HBM3e，而預(yù)期明年的大規(guī)模AI計(jì)算系統(tǒng)商用上，HBM3和HBM3e將會(huì)成為主流。

美光第二代HBM3，先進(jìn)工藝和封裝技術(shù)加持

AI應(yīng)用爆發(fā)促進(jìn)了數(shù)據(jù)中心基礎(chǔ)構(gòu)架的發(fā)展，而HBM市場(chǎng)也將受益于此，據(jù)悉未來(lái)三年HBM的年復(fù)合增長(zhǎng)率將超過(guò)50%。

美光近日推出的第二代HBM3，是24GB的單塊DRAM，也是市面上第一款八層堆疊的24GB HBM3。在帶寬、容量和功耗上，新的HBM3都實(shí)現(xiàn)了突破：內(nèi)存帶寬高達(dá)1.2TB/s，引腳傳輸速率超過(guò)9.2Gb/s，較市面上11x11毫米的HBM3 Gen1產(chǎn)品高出約50%；功耗方面每瓦性能相較前代提升了2.5倍。

能夠取得如此領(lǐng)先的表現(xiàn)，得益于美光在HBM3上的技術(shù)積累。據(jù)悉，此次采用了1β制程工藝和先進(jìn)的封裝技術(shù)。

HBM3 Gen2是美光采用1β制程的第三個(gè)產(chǎn)品，該工藝已經(jīng)達(dá)到規(guī)模生產(chǎn)要求，在去年第四季度開(kāi)始投入生產(chǎn)，包括最新的LPDDR5和DDR5均采用此項(xiàng)工藝。該工藝是支持內(nèi)存實(shí)現(xiàn)更高容量密度的關(guān)鍵，美光也計(jì)劃在24GB 8層HBM3 Gen2的基礎(chǔ)上，明年推出36GB 12層堆疊的產(chǎn)品。

而先進(jìn)封裝技術(shù)則是實(shí)現(xiàn)3D IC的技術(shù)基礎(chǔ)，據(jù)Praveen介紹，美光致力于不斷提升硅通孔（TSV）與封裝以實(shí)現(xiàn)突破，達(dá)到封裝互聯(lián)的縮小。相比目前商用的產(chǎn)品，美光在HBM3 Gen2上提供了兩倍的硅通孔（TSV）數(shù)量，并且采用了縮小25%的封裝互聯(lián)，縮小了DRAM層之間的空間，從而縮短了熱量傳輸?shù)木嚯x；在封裝互聯(lián)的數(shù)量上也有所提升，從而減少了熱阻抗，實(shí)現(xiàn)了更高的散熱效率。此外，產(chǎn)品內(nèi)部采用了采用更高能效數(shù)據(jù)路徑設(shè)計(jì)，從而實(shí)現(xiàn)功耗的改善。

助力打造實(shí)現(xiàn)更高效的AI系統(tǒng)

對(duì)于AI系統(tǒng)而言，客戶在意的是提高訓(xùn)練算法的精度，同時(shí)盡量實(shí)現(xiàn)更低的系統(tǒng)功耗。而美光HBM Gen2的出現(xiàn)，可以進(jìn)一步助力客戶打造更高效的AI系統(tǒng)。

據(jù)悉，在AI系統(tǒng)引入最新的HBM Gen2后，得益于內(nèi)存帶寬的提升，整個(gè)AI訓(xùn)練演算將會(huì)變得更為高效，大幅降低模型訓(xùn)練的時(shí)間。對(duì)于大語(yǔ)言模型而言，能夠?qū)⒂?xùn)練時(shí)間降低30%。同時(shí)由于內(nèi)存容量的提升，給予了客戶更多的靈活性。不論是客戶想追求更準(zhǔn)確的精度，還是更快的運(yùn)算速度，都是可以實(shí)現(xiàn)的。

而HBM3 Gen2的低功耗的熱點(diǎn)，能夠?yàn)榭蛻籼峁└叩膬r(jià)值。一方面，更低的功耗可以幫助數(shù)據(jù)中心客戶實(shí)現(xiàn)電費(fèi)的節(jié)省，打造更綠色的服務(wù)器。假設(shè)一個(gè)數(shù)據(jù)中心裝設(shè)了1000萬(wàn)個(gè)GPU，那么每個(gè)HBM哪怕實(shí)現(xiàn)了幾W的功耗降低，對(duì)于整個(gè)數(shù)據(jù)中心而言都可以實(shí)現(xiàn)巨大的電量節(jié)省。而另一方面，對(duì)于電力充足的客戶而言，HBM內(nèi)存上節(jié)省的電力可以分配給GPU或ASIC，從而實(shí)現(xiàn)了整個(gè)系統(tǒng)的效能的提升。

HBM3 Gen2的性能提升，將會(huì)最終影響到AI應(yīng)用的加速賦能。“雖然終端消費(fèi)者不會(huì)直接購(gòu)買(mǎi)HBM，但如果他們發(fā)現(xiàn)每天查詢(xún)的效率或數(shù)量增加，便能提升他們的使用體驗(yàn)?！盤(pán)raveen分享到，“長(zhǎng)期而言，整個(gè)訓(xùn)練的成本會(huì)降低，最終計(jì)算的成本也會(huì)隨之降低。因此，在未來(lái)幾年，當(dāng)越來(lái)越多人使用AI引擎，整體AI計(jì)算性能也會(huì)跟著提升?！?

HBM乃內(nèi)存廠商的兵家必爭(zhēng)之地，美光也已經(jīng)進(jìn)行了長(zhǎng)遠(yuǎn)的產(chǎn)品規(guī)劃。據(jù)悉美光已經(jīng)在開(kāi)發(fā) HBM Next內(nèi)存產(chǎn)品，該 HBM 迭代將為每個(gè)堆棧提供 1.5 TB/s – 2+ TB/s 的帶寬，容量范圍為 36 GB 至 64 GB。