對存儲器帶寬的追求成為系統(tǒng)設計最突出的主題。SoC設計人員無論是使用ASIC還是FPGA技術，其思考的核心都是必須規(guī)劃、設計并實現(xiàn)存儲器。系統(tǒng)設計人員必須清楚的理解存儲器數(shù)據(jù)流模式，以及芯片設計人員建立的端口。即使是存儲器供應商也面臨DDR的退出，要理解系統(tǒng)行為，以便找到持續(xù)發(fā)展的新方法。

曾經(jīng)在斯坦福大學舉辦的熱點芯片大會上，尋求帶寬成為論文討論的主題，設計人員介紹了很多方法來解決所面臨的挑戰(zhàn)。從這些文章中，以及從現(xiàn)場工作的設計人員的經(jīng)驗中，可以大概看出存儲器系統(tǒng)體系結構今后會怎樣發(fā)展。

存儲器壁壘

基本問題很明顯：現(xiàn)代SoC時鐘頻率高達吉赫茲，并且具有多個內核，與單通道DDR DRAM相比，每秒會發(fā)出更多的存儲器申請。僅僅如此的話，會有很顯然的方案來解決這一問題。但是，這背后還有重要的精細結構，使得這一問題非常復雜，導致有各種各樣的解決辦法。

SoC開發(fā)人員關注的重點從高速時鐘轉向多個內核，這從根本上改變了存儲器問題。不再是要求一個CPU每秒有更高的兆字節(jié)（MBps），現(xiàn)在，我們面臨很多不同的處理器——經(jīng)常是很多不同類型的處理器，都要求同時進行訪問。而且，存儲器訪問的主要模式發(fā)生了變化?？茖W和商業(yè)數(shù)據(jù)處理任務通常涉及到大量的局部訪問，或者更糟糕的是采用相對緊湊的算法很慢的傳送大量的數(shù)據(jù)。配置適度規(guī)模的本地SRAM或者高速緩存，這類任務的一個CPU對主存儲器的需求并不高。

DRAM芯片設計人員利用了這種易用性，以便實現(xiàn)更高的密度和能效。相應的，以可預測的順序申請大塊數(shù)據(jù)時，DRAM實現(xiàn)了最佳比特率——它允許塊間插。如果SoC不采用這種常用模式，存儲器系統(tǒng)的有效帶寬會降低一個數(shù)量級。

新的訪問模式

不好的是，SoC的發(fā)展使得DRAM設計人員的假設難以實現(xiàn)。多線程以及軟件設計新出現(xiàn)的趨勢改變了每一內核訪問存儲器的方式。多核處理以及越來越重要的硬件加速意味著很多硬件要競爭使用主存儲器。這些趨勢使得簡單的局部訪問變得復雜，DRAM帶寬與此有關。

多線程意味著，當一個存儲器申請錯過其高速緩存時，CPU不會等待：它開始執(zhí)行不同的線程，其指令和數(shù)據(jù)區(qū)會在與前面線程完全不同的物理存儲區(qū)中。仔細的多路高速緩存設計有助于解決這一問題，但是最終，連續(xù)DRAM申請仍然很有可能去訪問不相關的存儲區(qū)，即使每一線程都仔細的優(yōu)化了其存儲器組織。相似的，競爭同一DRAM通道的多個內核也會擾亂DRAM訪問順序。

軟件中的變化也會產(chǎn)生影響。表查找和鏈接表處理會對大數(shù)據(jù)結構產(chǎn)生隨機分散存儲器訪問。數(shù)據(jù)包處理和大數(shù)據(jù)算法將這些任務從控制代碼轉移到大批量數(shù)據(jù)處理流程，系統(tǒng)設計人員不得不專門考慮怎樣高效的處理它們。虛擬化把很多虛擬機放到同一物理內核中，使得存儲器數(shù)據(jù)流更加復雜。

傳統(tǒng)的解決方案

這些問題并不是什么新問題——只是變復雜了。因此，芯片和系統(tǒng)設計人員有很多成熟的方法來滿足越來越高的基帶帶寬需求，提高DRAM的訪問效率。這些方法包括軟件優(yōu)化、高速緩存以及部署DRAM多個通道等。

大部分嵌入式系統(tǒng)設計人員習慣于首先會想到軟件優(yōu)化。在單線程系統(tǒng)中，軟件在很大程度上過度使用了存儲器通道，能耗較高。但是在多線程、多核系統(tǒng)中，軟件開發(fā)人員對DRAM控制器上的實際事件順序的影響很小。一些經(jīng)驗表明，他們很難改變實際運行時數(shù)據(jù)流模式。DRAM控制器可以使用重新排序和公平算法，編程人員對此并不清楚。

高速緩存的效率會更高——如果高速緩存足夠大，能夠顯著減少DRAM數(shù)據(jù)流。例如，在嵌入式多核實現(xiàn)中，相對較小的L1指令高速緩存與規(guī)模適度的L2一同工作，能夠完全容納所有線程的熱點代碼，有效的減少了對主存儲器的指令獲取數(shù)據(jù)流。相似的，在信號處理應用中，把相對較少的數(shù)據(jù)適配到L2或者本地SRAM中，可以去掉濾波器內核負載。要產(chǎn)生較大的影響，高速緩存不一定要實際減少DRAM申請總數(shù)量——只需要保護主要申請源不被其他任務中斷，因此，編程人員能夠優(yōu)化主要任務。

當芯片設計人員無法確定將要運行在SoC中的各種任務時，則傾向于只要成本允許，提供盡可能多的高速緩存：所有CPU內核和加速器的L1高速緩存、大規(guī)模共享L2，以及越來越大的管芯L3.在熱點芯片大會上，從平板電腦級應用處理器到大量的服務器SoC，有很多高速緩存的實例。

在低端，AMD的Kabini SoC （圖1）就是很有趣的研究。AMD資深研究員Dan Bouvier介紹了這一芯片，它包括四個Jaguar CPU內核，共享了2兆字節(jié)（MB） L2高速緩存，而每個Jaguars有32千字節(jié)（KB）指令和數(shù)據(jù)高速緩存——并不是非傳統(tǒng)的協(xié)議。更驚奇的是芯片的圖形處理器，除了常用的顏色高速緩存以及用于渲染引擎的Z緩沖，還有它自己的L1指令高速緩存和128 KB L2.

圖1.AMD的Kabini SoC目標應用是平板電腦，但是仍然采用了大規(guī)模高速緩存，顯著提高了存儲器帶寬。

而在高端則是IBM的POWER8微處理器（圖2），IBM首席網(wǎng)絡設計師Jeff Stuecheli介紹了這一款芯片。這一650 mm2、22 nm芯片包括12個POWER體系結構CPU內核，每個都有32 KB指令和64 KB數(shù)據(jù)高速緩存。每個內核還有自己512 KB的SRAM L2高速緩存，12 L2共享大容量96 MB的嵌入式DRAM L3.Stuecheli介紹說，三級連續(xù)高速緩存支持每秒230吉字節(jié)（GBps）的存儲器總帶寬。有趣的是，芯片還含有一個小容量會話存儲器。

圖2.IBM的POWER8體系結構在SoC管芯上實現(xiàn)了三級高速緩存。

在這兩個SoC之間是為微軟的XBOX One提供的多管芯模塊（圖3），微軟的John Snell在大會上對此進行了介紹。模塊含有一個SoC管芯，提供了豐富的存儲器資源。SoC有8個AMD Jaguar內核，分成兩組，每組4個。每一內核有32 KB的L1指令和數(shù)據(jù)高速緩存。每4個一組的CPU內核共享一個2 MB L2.此外，管芯上還有4個8 MB共享SRAM，它們至少為CPU提供了109 GBps的帶寬。

圖3.微軟的XBOX One結合了大容量高速緩存、本地SRAM以及模塊內DRAM，以低成本實現(xiàn)了更大的帶寬。