原創(chuàng)
這些AI芯片創(chuàng)企想挑戰(zhàn)英偉達，它們能成功嗎？
[導(dǎo)讀]受到AI浪潮的刺激，英偉達市值沖至2萬億美元。5月22日英偉達公布一季度財報，財報顯示期內(nèi)英偉達營收260.4億美元，同比增長262%；凈利148.8億美元，同比增長628%。
科幻小說《沙丘》中有這樣一句話：“誰控制了GPU，誰就控制了宇宙?！痹诮裉斓目萍际澜纾绻募移髽I(yè)想在AI領(lǐng)域有所見樹，就要購買英偉達GPU。
分析師們喋喋不休，將追逐AI夢想的企業(yè)分成兩類，也就是“GPU-rich”和“GPU-poor”，前者擁有大量GPU，后者沒有多少。為了證明自己的實力，科技企業(yè)的老板們紛紛炫耀，說自己囤了多少GPU。
受到AI浪潮的刺激，英偉達市值沖至2萬億美元。5月22日英偉達公布一季度財報，財報顯示期內(nèi)英偉達營收260.4億美元，同比增長262%；凈利148.8億美元，同比增長628%。
那么，能不能拋開GPU設(shè)計AI專用芯片？當然可以，這也是許多大小企業(yè)正在做的，它們想挑戰(zhàn)英偉達。
英偉達主導(dǎo)的GPU也有缺陷
從本質(zhì)上講，CPU是一件事一件事接著處理，GPU不一樣，它擁有幾千個處理引擎（或者叫Core），可以在同一時間處理幾千個簡單的任務(wù)。當GPU運行AI大模型時，相當于同時運行幾千個相同任務(wù)的副本。搞清楚如何重寫在GPU上運行的AI代碼是核心問題，正是因為大家對這一問題的研究導(dǎo)致AI突飛猛進。
但GPU也有缺陷，當數(shù)據(jù)來回移動時GPU的處理速度不夠快?，F(xiàn)代AI大模型運行時往往需要大量GPU和大量存儲芯片，它們相互連接在一起。數(shù)據(jù)在GPU和存儲芯片間移動越快，性能越好。當研究人員訓(xùn)練大型AI模型時，一些GPU內(nèi)核會閑置，幾乎一半的時間都在等待數(shù)據(jù)。
加州創(chuàng)業(yè)公司Cerebras創(chuàng)始人Andrew Feldman解釋說，等待數(shù)據(jù)如同購物節(jié)來臨時購物者在生鮮店門前排隊。他說：“每個人都在排隊，停車場堵了，通道堵了，收銀臺也堵了，GPU與此類似?！?br />
怎么辦？Cerebras將90萬個內(nèi)核和海量內(nèi)存組合在一起，變成一個龐大的整體。如此一來，多塊芯片的連接復(fù)雜性降低，中間的數(shù)據(jù)移動速度加快。內(nèi)核在芯片上連接在一起，運行速度比獨立GPU組合快幾百倍，因為連接更緊密，能耗比英偉達產(chǎn)品降低一半。
Groq來自加州山景城，它選擇的路徑有些不同。它也在開發(fā)AI芯片，名叫語言處理單元（LPU），可以訓(xùn)練、運行大語言模型（LLM）。芯片內(nèi)有存儲元件，同時芯片又有路由功能，在相互連接的LPU間傳輸數(shù)據(jù)。搭配智能路由軟件，它可以消除延遲，降低數(shù)據(jù)等待時間。獨特的設(shè)計大大提升了效率和速度，Groq稱它們的LPU運行LLM時速度比現(xiàn)有系統(tǒng)快10倍。
來自加州的MatX公司反向操作，它認為，GPU內(nèi)包括各種功能和電路，這些組件適合圖形處理，但在LLM領(lǐng)域沒有用。MatX將不必要組件剔除，當芯片執(zhí)行一些任務(wù)時性能反而會更好。
還有很多企業(yè)也在默默努力，比如以色列Hailo，它于今年4月融資1.2億美元；多倫多Taalas，美國Tenstorrent，它們用開源RISC V架構(gòu)開發(fā)AI芯片；英國企業(yè)Graphcore，它早早就進了場，但失敗了，現(xiàn)在考慮賣身給軟銀。
科技巨頭也在開發(fā)自己的AI芯片，比如谷歌、亞馬遜、Meta和微軟，它們也開發(fā)了面向云端AI的定制芯片。AMD、英特爾直接與英偉達競爭，已經(jīng)擁有GPU AI芯片。
挑戰(zhàn)英偉達壟斷地位不容易
新手們挑戰(zhàn)霸主勇氣可嘉，但它們可能太激進，走得太遠了。
斯坦福大學(xué)計算機科學(xué)家Christos Kozyrakis表示，設(shè)計一款芯片需要2-3年，考慮到AI大模型正在快速進化，2-3年是很漫長的時間。
創(chuàng)業(yè)公司如果想成功，最好是抓住機會，提前為未來模型設(shè)計芯片，芯片的性能比英偉達的一些GPU更好，那樣就能找到突破口。但選擇這條路風(fēng)險也很大，企業(yè)為未來模型設(shè)計專用芯片，最終可能發(fā)現(xiàn)下錯的注。
MatX公司聯(lián)合創(chuàng)始人Reiner Pope認為他們看到了未來，最新的狀態(tài)空間模型漸漸流行，MatX完全可以適配。Cerebras創(chuàng)始人Andrew Feldman認為，現(xiàn)代AI本質(zhì)上還是“稀疏線性代數(shù)（sparse linear algebra），他們開發(fā)的芯片可以快速適應(yīng)。
挑戰(zhàn)英偉達還有一個障礙，那就是軟件層。CUDA實際上已經(jīng)成為行業(yè)標準，雖然用起來繁瑣，但它的標準地位難以撼動。
Christos Kozyrakis認為，軟件為王，在這方面英偉達優(yōu)勢明顯，畢竟它已經(jīng)花了多年時間打磨軟件生態(tài)系統(tǒng)。AI芯片創(chuàng)業(yè)公司如果想成功，必須說服程序員為新芯片優(yōu)化程序。企業(yè)要提供軟件工具，還要提供兼容的主流機器學(xué)習(xí)框架。問題在于，優(yōu)化軟件，讓它適配新架構(gòu)，這項工作既困難又復(fù)雜。
AI芯片的客戶比較簡單，一類是大模型開發(fā)者，比如OpenAI、Anthropic、Mistral，還有就是科技巨頭，比如亞馬遜、微軟、Meta、谷歌。它們有興趣收購優(yōu)秀的AI芯片創(chuàng)業(yè)公司，奪取技術(shù)，增強自身競爭力。芯片創(chuàng)業(yè)公司可以放棄與英偉達競爭，努力賣身給上述兩類企業(yè)。
MatX的目標很遠大，它想將芯片賣給OpenAI、谷歌之類的企業(yè)，當然賣身也可以考慮。MatX稱：“對于多種退出方式我們都是歡迎的，但我們還是認為，作為一家獨立公司，業(yè)務(wù)是可以持續(xù)的?！盋erebras則說它準備上市。
總體來看，雖然有許多創(chuàng)業(yè)公司試圖挑戰(zhàn)英偉達，但至今還沒有哪家能造成威脅，一切還有待時間驗證。（小刀）
分析師們喋喋不休，將追逐AI夢想的企業(yè)分成兩類，也就是“GPU-rich”和“GPU-poor”，前者擁有大量GPU，后者沒有多少。為了證明自己的實力，科技企業(yè)的老板們紛紛炫耀，說自己囤了多少GPU。
受到AI浪潮的刺激，英偉達市值沖至2萬億美元。5月22日英偉達公布一季度財報，財報顯示期內(nèi)英偉達營收260.4億美元，同比增長262%；凈利148.8億美元，同比增長628%。
那么，能不能拋開GPU設(shè)計AI專用芯片？當然可以，這也是許多大小企業(yè)正在做的，它們想挑戰(zhàn)英偉達。
英偉達主導(dǎo)的GPU也有缺陷
從本質(zhì)上講，CPU是一件事一件事接著處理，GPU不一樣，它擁有幾千個處理引擎（或者叫Core），可以在同一時間處理幾千個簡單的任務(wù)。當GPU運行AI大模型時，相當于同時運行幾千個相同任務(wù)的副本。搞清楚如何重寫在GPU上運行的AI代碼是核心問題，正是因為大家對這一問題的研究導(dǎo)致AI突飛猛進。
但GPU也有缺陷，當數(shù)據(jù)來回移動時GPU的處理速度不夠快?，F(xiàn)代AI大模型運行時往往需要大量GPU和大量存儲芯片，它們相互連接在一起。數(shù)據(jù)在GPU和存儲芯片間移動越快，性能越好。當研究人員訓(xùn)練大型AI模型時，一些GPU內(nèi)核會閑置，幾乎一半的時間都在等待數(shù)據(jù)。
加州創(chuàng)業(yè)公司Cerebras創(chuàng)始人Andrew Feldman解釋說，等待數(shù)據(jù)如同購物節(jié)來臨時購物者在生鮮店門前排隊。他說：“每個人都在排隊，停車場堵了，通道堵了，收銀臺也堵了，GPU與此類似?！?br />
怎么辦？Cerebras將90萬個內(nèi)核和海量內(nèi)存組合在一起，變成一個龐大的整體。如此一來，多塊芯片的連接復(fù)雜性降低，中間的數(shù)據(jù)移動速度加快。內(nèi)核在芯片上連接在一起，運行速度比獨立GPU組合快幾百倍，因為連接更緊密，能耗比英偉達產(chǎn)品降低一半。
Groq來自加州山景城，它選擇的路徑有些不同。它也在開發(fā)AI芯片，名叫語言處理單元（LPU），可以訓(xùn)練、運行大語言模型（LLM）。芯片內(nèi)有存儲元件，同時芯片又有路由功能，在相互連接的LPU間傳輸數(shù)據(jù)。搭配智能路由軟件，它可以消除延遲，降低數(shù)據(jù)等待時間。獨特的設(shè)計大大提升了效率和速度，Groq稱它們的LPU運行LLM時速度比現(xiàn)有系統(tǒng)快10倍。
來自加州的MatX公司反向操作，它認為，GPU內(nèi)包括各種功能和電路，這些組件適合圖形處理，但在LLM領(lǐng)域沒有用。MatX將不必要組件剔除，當芯片執(zhí)行一些任務(wù)時性能反而會更好。
還有很多企業(yè)也在默默努力，比如以色列Hailo，它于今年4月融資1.2億美元；多倫多Taalas，美國Tenstorrent，它們用開源RISC V架構(gòu)開發(fā)AI芯片；英國企業(yè)Graphcore，它早早就進了場，但失敗了，現(xiàn)在考慮賣身給軟銀。
科技巨頭也在開發(fā)自己的AI芯片，比如谷歌、亞馬遜、Meta和微軟，它們也開發(fā)了面向云端AI的定制芯片。AMD、英特爾直接與英偉達競爭，已經(jīng)擁有GPU AI芯片。
挑戰(zhàn)英偉達壟斷地位不容易
新手們挑戰(zhàn)霸主勇氣可嘉，但它們可能太激進，走得太遠了。
斯坦福大學(xué)計算機科學(xué)家Christos Kozyrakis表示，設(shè)計一款芯片需要2-3年，考慮到AI大模型正在快速進化，2-3年是很漫長的時間。
創(chuàng)業(yè)公司如果想成功，最好是抓住機會，提前為未來模型設(shè)計芯片，芯片的性能比英偉達的一些GPU更好，那樣就能找到突破口。但選擇這條路風(fēng)險也很大，企業(yè)為未來模型設(shè)計專用芯片，最終可能發(fā)現(xiàn)下錯的注。
MatX公司聯(lián)合創(chuàng)始人Reiner Pope認為他們看到了未來，最新的狀態(tài)空間模型漸漸流行，MatX完全可以適配。Cerebras創(chuàng)始人Andrew Feldman認為，現(xiàn)代AI本質(zhì)上還是“稀疏線性代數(shù)（sparse linear algebra），他們開發(fā)的芯片可以快速適應(yīng)。
挑戰(zhàn)英偉達還有一個障礙，那就是軟件層。CUDA實際上已經(jīng)成為行業(yè)標準，雖然用起來繁瑣，但它的標準地位難以撼動。
Christos Kozyrakis認為，軟件為王，在這方面英偉達優(yōu)勢明顯，畢竟它已經(jīng)花了多年時間打磨軟件生態(tài)系統(tǒng)。AI芯片創(chuàng)業(yè)公司如果想成功，必須說服程序員為新芯片優(yōu)化程序。企業(yè)要提供軟件工具，還要提供兼容的主流機器學(xué)習(xí)框架。問題在于，優(yōu)化軟件，讓它適配新架構(gòu)，這項工作既困難又復(fù)雜。
AI芯片的客戶比較簡單，一類是大模型開發(fā)者，比如OpenAI、Anthropic、Mistral，還有就是科技巨頭，比如亞馬遜、微軟、Meta、谷歌。它們有興趣收購優(yōu)秀的AI芯片創(chuàng)業(yè)公司，奪取技術(shù)，增強自身競爭力。芯片創(chuàng)業(yè)公司可以放棄與英偉達競爭，努力賣身給上述兩類企業(yè)。
MatX的目標很遠大，它想將芯片賣給OpenAI、谷歌之類的企業(yè)，當然賣身也可以考慮。MatX稱：“對于多種退出方式我們都是歡迎的，但我們還是認為，作為一家獨立公司，業(yè)務(wù)是可以持續(xù)的?！盋erebras則說它準備上市。
總體來看，雖然有許多創(chuàng)業(yè)公司試圖挑戰(zhàn)英偉達，但至今還沒有哪家能造成威脅，一切還有待時間驗證。（小刀）
下載文檔
