在指定的實現(xiàn)技術(shù)下，要將單個處理器性能發(fā)揮到極致并不容易。更快的時鐘，更深的管線和更大的緩存都會導致占用更大的硅片面積和功耗開銷，并有可能使得最后10%的性能增益化為烏有。有些時候沒有其它選擇，只能靠提高時鐘速率，升級電源和冷卻子系統(tǒng)。但是將處理任務分配到多個處理器的做法可以最大程度提升整體性能極限，處理器設計也會更簡單、更高效。

　　當今的許多嵌入式系統(tǒng)級芯片(SoC)設計已經(jīng)在使用多個處理器，不過，它們都是以一種特定應用或松散結(jié)合的方式實現(xiàn)。直到最近，針對軟件友好的多處理SoC設計功能還是受限。如今市場已經(jīng)有諸如MIPS32 1004K一致處理系統(tǒng)(CPS)這種新的SoC設計組件推出，意味著在單操作系統(tǒng)環(huán)境中片上對稱多處理(SMP)技術(shù)已經(jīng)成為現(xiàn)實。

　　雖然并行編程會使軟件工程師感到恐懼，因為并不是全部現(xiàn)有代碼都是針對并行處理平臺編寫的，但針對并行軟件已經(jīng)有多種范例，其中一些對于軟件設計師是來說已經(jīng)是很熟悉的了。

　　數(shù)據(jù)并行算法

　　數(shù)據(jù)并行算法通過劃分數(shù)據(jù)集來使用一個以上的處理器，甚至數(shù)量眾多的CPU。在教科書中，大的數(shù)據(jù)集通常是一種很大的輸入文件或數(shù)組，但在嵌入式系統(tǒng)中，它可能意味著高的I/O和事件服務帶寬。在一些SoC架構(gòu)中，多個輸入數(shù)據(jù)源(如網(wǎng)絡接口端口)可以被靜態(tài)地分配到運行相同驅(qū)動程序/路由程序代碼的多個處理器上，從而實現(xiàn)自然的數(shù)據(jù)并行處理。

　　當對單個數(shù)組或輸入流應用多處理器技術(shù)時，“分而治之”的數(shù)據(jù)并行算法很常見。這樣的算法對于單處理器來說通常不是最優(yōu)的，但是因為具有更多的計算帶寬，因此可以彌補效率的不足。這些算法對并行計算來說是可擴展的，但是將一個正常工作的順序執(zhí)行程序轉(zhuǎn)換成一個并行數(shù)據(jù)算法可能面臨價值不高、困難或不可能的局面，具體情況取決于程序依賴特性等因素。為了提高性能，如果絕大部分的應用計算都是用很少量的常規(guī)運算循環(huán)來實現(xiàn)的話，系統(tǒng)設計師很可能毫不猶豫地采用數(shù)據(jù)并行算法。

　　用于PC、工作站、服務器的多內(nèi)核X86芯片的出現(xiàn)催生了新的庫和工具套件，它們可以幫助設計師在數(shù)量適中的處理器上更容易地建立和開發(fā)并行算法。對于像MIPS這樣的嵌入式架構(gòu)來說許多算法都是開源和可移植的。針對數(shù)據(jù)并行C/C++以及Fortran的GCC擴展已經(jīng)成為標準GNU編譯器集的一個組成部分。

　　圖1左：復雜模塊化多任務處理嵌入式軟件系統(tǒng)通常表現(xiàn)出“偶發(fā)”的并行特性。在使用時間共享的OS時，每個任務必須運行在獨立的處理器上。而在一個時間共享的單處理器上，每個任務將在不同時間片中輪流執(zhí)行。在一個采用了SMP OS的多處理器上，任務將在多個處理器上并行運行。

　　圖1右：在SMP OS中，所有處理器都能看到相同的存儲器、I/O器件和全局OS狀態(tài)。在使用時間片的單CPU上執(zhí)行多任務的一組程序可以在SMP系統(tǒng)的多個CPU上并行運行。

　　并行控制編程

　　并行控制編程將根據(jù)任務而不是輸入進行工作劃分。如果將100通道的并行數(shù)據(jù)算法比作汽車工廠內(nèi)100個工人各自在組裝一輛汽車，那么并行控制程序就可以比作有100個工作崗位的組裝線，每個崗位完成百分之一的工作。組裝線通常效率更高，但是組裝一輛汽車的工作可能只能進行這樣的分工。對于可以擴展到多達數(shù)千個處理器的科學計算程序而言，這個限制影響很大，但是對于一般的并行SoC架構(gòu)來說不是問題。

　　軟件工程師經(jīng)常將程序劃分成若干個階段以便于編碼、調(diào)試和維護，并減輕指令存儲器和緩存的壓力。通常，并行控制分解在OS可視任務層面就已經(jīng)完成。在類似Unix這樣的系統(tǒng)中，單指令“cc”順序地調(diào)用C語言預處理器、編譯器、匯編器和目標代碼連接器。其中幾個可以同時運行，每個后續(xù)程序使用前一個階段的輸出作為其輸入，并使用類似Unix這樣的OS內(nèi)的文件或軟件管線。

　　當分解成獨立運行的任務還沒有完成的時候，需要某些軟件工程使應用階段對OS和底層硬件可見，并且在任務之間明確地傳遞數(shù)據(jù)。但是不需要對部分階段算法進行重寫。粗粒度的任務分解可以通過文件、套接字或管線實現(xiàn)進程通信來完成。對于細粒度控制，許多OS支持Posix線程API、pthreads，包括Linux、微軟的Windows和多種實時操作系統(tǒng)。

　　復雜的模塊化多任務嵌入式軟件系統(tǒng)通常表現(xiàn)出偶然的并行特性。整個系統(tǒng)任務可能涉及到對應不同輸入而具有不同功能的多個任務。當沒有時間共享的OS時，每個任務必須運行在一個獨立的處理器上。而在一個時間共享的單處理器上，每個任務將在不斷輪換的時間片中運行。在一個采用SMP操作系統(tǒng)的多處理器上，每個任務可以在多個可用的處理器上并行運行。

　　分布式處理

　　分布式計算，特別是網(wǎng)絡客戶服務器模式很常見，以至于有時不被認為是“并行”的?？蛻舴掌骶幊袒旧鲜且环N控制流程分解的形式。程序任務并不是獨自執(zhí)行所有的計算，而是將工作請求發(fā)送到針對特定目標分配的專用系統(tǒng)任務?？蛻舴掌骶幊檀蠖鄶?shù)在LAN和WAN中完成，但是SMP SoC遵循相同的范例。未作修改的客戶服務器二進制代碼可以通過片上或空環(huán)回網(wǎng)絡接口實現(xiàn)TCP/IP通信，或者利用本地通信協(xié)議在存儲器中傳遞數(shù)據(jù)緩沖器實現(xiàn)更有效的通信。

　　可以通過單獨使用或者組合使用這些技術(shù)來充分發(fā)揮SMP的處理器能力。有人甚至可能構(gòu)建一組采用并行數(shù)據(jù)計算的分布式SMP服務器，每個服務器實現(xiàn)一條控制流管線。

　　在有可能通過將任務靜態(tài)地物理分解到處理器上實現(xiàn)并行機制的SoC系統(tǒng)中，將并行任務分配到各個處理器可以由硬件實現(xiàn)。這樣做能減少軟件開銷和物理尺寸，但是缺乏靈活性。

　　如果一個嵌入式應用可以靜態(tài)地分解到通過片上互聯(lián)通信的客戶機和服務器，那么整合整個系統(tǒng)所需要的唯一系統(tǒng)軟件就是實現(xiàn)一個公共協(xié)議的消息傳遞代碼。消息傳遞協(xié)議提供了一個抽象等級，它能幫助采用更多或更少處理器的配置運行最基本的應用代碼，但是對于任何一個配置來說，在處理器之間的負載均衡與硬件分割一樣是靜態(tài)的。更靈活的并行系統(tǒng)編程可以由具有共享資源的多處理器系統(tǒng)之上的軟件任務分配實現(xiàn)。

　　在SMP操作系統(tǒng)中，所有的處理器面對的是相同的存儲器、I/O器件和全局OS狀態(tài)，從而使得處理器之間的程序移植簡單而高效，負載均衡也非常容易。不需要額外的編程或系統(tǒng)管理，在使用時間片的單個CPU上執(zhí)行多任務的一組程序可以并行地運行在SMP系統(tǒng)的多個CPU上。像Linux中一樣，SMP調(diào)度器對程序的處理器資源占用進行切換。

　　作為多進程運行的Linux應用程序不需要修改就可以利用SMP并行特性，而且通常不需要進行重新編譯。SMP Linux環(huán)境提供了很多工具，用于調(diào)整任務如何共享可用的處理器資源—提高/降低任務的優(yōu)先級，或者限制任務運行在任意的處理器子集上。適當?shù)膬?nèi)核支持可以實現(xiàn)不同的實時調(diào)度機制。

　　類似于Unix的OS總是能為應用程序提供針對相對任務調(diào)度優(yōu)先級的某種控制，即使在單處理器時間共享系統(tǒng)中。傳統(tǒng)的外部命令和系統(tǒng)調(diào)用在Linux系統(tǒng)中通過更加精心設計的機制得到了增強，可以控制任務優(yōu)先級、任務組或特定的系統(tǒng)用戶。而且，在多處理器配置中，每一個Linux任務都具有一個參數(shù)，這個參數(shù)規(guī)定了那一組處理器可以調(diào)度該任務。默認參數(shù)是整個系統(tǒng)處理器組，但是這種CPU關(guān)系是可以控制的。

　　SMP范例要求所有處理器能訪問相同地址下的所有存儲器。對于低性能的處理器來說，這是通過將所有處理器的取指和加載/保存流放到公共的存儲和I/O總線上實現(xiàn)的。然而這種模式隨著處理器的增多將很快失去效用，因為總線成為了瓶頸。即使在單處理器系統(tǒng)中，高性能嵌入式內(nèi)核的指令和數(shù)據(jù)帶寬要求規(guī)定緩存必須在主存儲器和處理器之間使用。

　　每個處理器都有獨立緩存的系統(tǒng)不再必然是SMP。當一個處理器的緩存保存了存儲器中最新位置值的唯一拷貝時，就是不對稱的了。必須增加緩存一致性協(xié)議才能恢復對稱性。

　　在所有處理器都連接到公共總線的簡單系統(tǒng)中，緩存控制器可以通過監(jiān)測總線來觀察哪一個緩存保存了最新的指定存儲器位置。在更先進的系統(tǒng)中，處理器是利用到交換結(jié)構(gòu)的點對點連接連接到存儲器的，因此緩存一致性需要更復雜的支持。一致性管理單元應該對存儲器事務施加全局指令，并產(chǎn)生干涉信號來維護處理器內(nèi)核之間的緩存一致性。

　　像Linux這樣的SMP OS能夠自由地移植任務，動態(tài)地均衡處理器負載。在嵌入式SoC中，很大部分的總體計算可以用中斷服務完成。好的負載均衡和性能調(diào)整需要對發(fā)生中斷服務的位置進行控制。Linux OS具有一個IRQ關(guān)系控制接口，該接口可以讓用戶和程序規(guī)定哪個處理器對某個指定中斷提供服務。

　　緩存一致性基礎架構(gòu)不僅在SMP用的處理器之間，而且在處理器和I/O DMA通道之間都非常管用。使用軟件時要求CPU在每個I/O DMA操作之前或之后對DMA緩存進行處理。這對I/O密集的應用性能有很大的影響。使用I/O一致性硬件連接I/O DMA和存儲器可以對DMA流進行排序，并能與相關(guān)的加載/保存流程集成在一起，從而有效消除軟件開銷。

　　緩存一致性管理單元應該對處理器、I/O和存儲器之間的存儲流進行排序。這樣做增加了處理器的存儲器訪問時間周期，可能導致管線暫停引起的處理器周期損失。然而，每個內(nèi)核使用的硬件多線程等技術(shù)允許單個內(nèi)核通過執(zhí)行并行的指令流來增加管線的效率。

　　每個內(nèi)核中的線程看起來就像是運行OS軟件的全能CPU，包括具有獨立的中斷輸入。線程共享相同的緩存和功能單元，并交叉執(zhí)行管線命令。如果一個線程暫停，另外一個可以執(zhí)行，這樣可以避免因為相關(guān)的存儲器子系統(tǒng)延遲而導致的處理周期丟失。管理多個內(nèi)核的相同SMP OS可以管理它們的相應硬件線程。為利用SMP而編寫的軟件自然能利用多線程處理技術(shù)，反之亦然。

　　兩個線程競爭一個管線取得的性能將比在獨立內(nèi)核上執(zhí)行兩個線程要低。應該對SMP Linux內(nèi)核進行負載均衡優(yōu)化。為了優(yōu)化功耗，調(diào)度器每次可以將任務加載到一個內(nèi)核的虛擬處理器上，讓其他處理器處于低功耗狀態(tài)。為了優(yōu)化性能，可以將工作任務分配到若干個內(nèi)核上，然后加載每個內(nèi)核的多個線程，這樣所有的內(nèi)核都有一個活動的任務?？梢岳闷隙嗵幚砑夹g(shù)提高SoC性能。SMP平臺和軟件提供了一種靈活的高性能計算平臺，相對于單處理器可以大大地提高速度，而且很少甚至無需應用代碼的修改。