北京——2024年7月24日 亞馬遜云科技宣布，Meta剛剛發(fā)布的新一代Llama模型現(xiàn)已在Amazon Bedrock和Amazon SageMaker中提供。客戶也可以在基于Amazon Trainium和Amazon Inferentia自研芯片的Amazon Elastic Cloud Compute(Amazon EC2)實(shí)例中部署這些模型。Llama 3.1模型是一系列預(yù)訓(xùn)練和指令微調(diào)的大語(yǔ)言模型(LLMs)，支持8B、70B和405B三種尺寸，適用于廣泛的使用場(chǎng)景。開(kāi)發(fā)人員、研究人員和企業(yè)可以用此模型進(jìn)行文本摘要和分類(lèi)、情感分析、語(yǔ)言翻譯和代碼生成。

Meta表示，Llama 3.1 405B是目前最優(yōu)秀和最大的開(kāi)源基礎(chǔ)模型(foundation models, FMs)之一，為生成式AI能力設(shè)立了新標(biāo)準(zhǔn)。它特別適用于合成數(shù)據(jù)生成和模型蒸餾，這能在后續(xù)訓(xùn)練中提升較小尺寸Llama模型的性能。Llama 3.1 405B還在通用知識(shí)、數(shù)學(xué)、工具使用和多語(yǔ)言翻譯方面有出色的表現(xiàn)。

得益于大幅增加的訓(xùn)練數(shù)據(jù)和規(guī)模，所有新的Llama 3.1模型相比之前的版本都有明顯改進(jìn)。這些模型支持128K的上下文長(zhǎng)度，相較于Llama 3增加了12萬(wàn)個(gè)標(biāo)記(Token)，模型容量是上一版本的16倍，并提升了在以下八種語(yǔ)言對(duì)話場(chǎng)景中的推理能力，即英語(yǔ)、德語(yǔ)、法語(yǔ)、意大利語(yǔ)、葡萄牙語(yǔ)、印地語(yǔ)、西班牙語(yǔ)和泰語(yǔ)。

Llama 3.1模型還增強(qiáng)對(duì)語(yǔ)言細(xì)微差別的理解能力，即能更好地理解上下文，并能更有效地處理復(fù)雜問(wèn)題。該模型還可以從長(zhǎng)篇文本中獲取更多信息，以做出更明智的決策，并利用更豐富的上下文數(shù)據(jù)生成更加細(xì)致和凝練的回應(yīng)。

亞馬遜云科技首席執(zhí)行官M(fèi)att Garman表示：“我們與Meta保持著長(zhǎng)期合作關(guān)系，今天很高興能將他們最先進(jìn)的模型提供給我們的客戶。客戶普遍希望根據(jù)他們的具體用例自定義和優(yōu)化Llama模型，通過(guò)在亞馬遜云科技上訪問(wèn)Llama 3.1，客戶可以利用最新的領(lǐng)先模型來(lái)負(fù)責(zé)任地構(gòu)建AI應(yīng)用?！?

過(guò)去十年間，Meta一直致力于為開(kāi)發(fā)人員提供工具，并促進(jìn)開(kāi)發(fā)人員、研究人員和企業(yè)之間的合作共贏。Llama模型提供各種參數(shù)尺寸，允許開(kāi)發(fā)人員選擇最適合其需求和推理預(yù)算的模型。亞馬遜云科技上的Llama模型打開(kāi)了充滿無(wú)限可能的新世界，開(kāi)發(fā)人員無(wú)需再擔(dān)心擴(kuò)展性或基礎(chǔ)設(shè)施管理等問(wèn)題。亞馬遜云科技提供了一種簡(jiǎn)單的開(kāi)箱即用的方式來(lái)使用Llama。

Meta創(chuàng)始人兼首席執(zhí)行官馬克·扎克伯格表示：“開(kāi)源是讓AI造福所有人的關(guān)鍵。我們一直在與亞馬遜云科技合作，將整個(gè)Llama 3.1模型集成到Amazon SageMaker JumpStart和Amazon Bedrock中，這樣開(kāi)發(fā)人員就可以全面使用亞馬遜云科技的各種能力來(lái)構(gòu)建出色的應(yīng)用，例如用于處理復(fù)雜任務(wù)的高級(jí)智能體?！?

Llama 3.1模型的優(yōu)勢(shì)

Llama 3.1 405B

· 適用于構(gòu)建企業(yè)應(yīng)用程序和研發(fā)

· 用例包括：長(zhǎng)篇文本生成、多語(yǔ)言和機(jī)器翻譯、編碼工具使用、增強(qiáng)的上下文理解，以及高級(jí)推理和決策

Llama 3.1 70B

· 適用于內(nèi)容創(chuàng)建、對(duì)話AI、語(yǔ)言理解和研發(fā)

· 用例包括：文本摘要、文本分類(lèi)、情感分析和細(xì)微推理、語(yǔ)言建模、代碼生成和遵循指令

Llama 3.1 8B

· 適用于計(jì)算能力和資源有限的情況以及移動(dòng)設(shè)備

· 更快的訓(xùn)練時(shí)間

· 用例包括：文本摘要和分類(lèi)、情感分析和語(yǔ)言翻譯

亞馬遜云科技提供對(duì)多種大語(yǔ)言模型的輕松訪問(wèn)

Amazon Bedrock為數(shù)萬(wàn)名客戶提供安全、便捷的模型訪問(wèn)，提供性能卓越、完全托管的大型語(yǔ)言模型和其他基礎(chǔ)模型選擇，并具有領(lǐng)先的易用性，是客戶開(kāi)始使用Llama 3.1的便捷途徑，其中8B和70B參數(shù)模型已經(jīng)正式可用，405B版本現(xiàn)提供預(yù)覽。

客戶希望訪問(wèn)Llama 3.1模型并利用亞馬遜云科技的所有安全性和功能，這些通過(guò)Amazon Bedrock提供的一個(gè)簡(jiǎn)單的API即可輕松實(shí)現(xiàn)，同時(shí)無(wú)需管理任何底層基礎(chǔ)設(shè)施?？蛻暨€可以使用Llama 3.1提供的負(fù)責(zé)任AI能力，該功能能夠與Amazon Bedrock的數(shù)據(jù)治理和評(píng)估功能配合使用，例如Guardrails和模型評(píng)估?？蛻暨€可以使用Amazon Bedrock即將推出的微調(diào)功能來(lái)自定義模型。

Amazon SageMaker是數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師預(yù)訓(xùn)練、評(píng)估和微調(diào)基礎(chǔ)模型的絕佳平臺(tái)，能夠提供先進(jìn)的技術(shù)和精細(xì)的控制能力來(lái)部署基礎(chǔ)模型，以滿足生成式AI用例在準(zhǔn)確性、延遲和成本方面的嚴(yán)格要求。今天，通過(guò)Amazon SageMaker JumpStart，客戶僅需幾次點(diǎn)擊即可發(fā)現(xiàn)和部署所有Llama 3.1模型。隨著即將推出的微調(diào)功能，數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師將能夠更進(jìn)一步使用Llama 3.1，例如在短短幾小時(shí)內(nèi)將Llama 3.1適配于他們的特定數(shù)據(jù)集。

亞馬遜云科技首席執(zhí)行官M(fèi)att Garman表示：“Amazon Bedrock是使用Llama 3.1進(jìn)行快速構(gòu)建的簡(jiǎn)單途徑，提供行業(yè)領(lǐng)先的隱私和數(shù)據(jù)治理評(píng)估功能和內(nèi)置保護(hù)措施。Amazon SageMaker提供的工具選擇和精細(xì)控制，則使各行各業(yè)的客戶能夠輕松訓(xùn)練和調(diào)整Llama模型，以推動(dòng)亞馬遜云科技上的生成式AI創(chuàng)新?！?

對(duì)于希望通過(guò)自管理機(jī)器學(xué)習(xí)工作流的方式在亞馬遜云科技上部署Llama 3.1模型的客戶，Amazon EC2提供廣泛的加速計(jì)算選項(xiàng)，以為其提供更大的靈活性和對(duì)底層資源的控制。Amazon Trainium 和Amazon Inferentia2能夠?yàn)槲⒄{(diào)和部署Llama 3.1模型提供高性能和成本效益?？蛻艨梢酝ㄟ^(guò)使用的Amazon EC2 Trn1和Inf2實(shí)例在亞馬遜云科技自研AI芯片上開(kāi)啟使用Llama 3.1的旅程。

客戶已經(jīng)在亞馬遜云科技上使用Llama模型

全球金融服務(wù)集團(tuán)野村控股(Nomura)的業(yè)務(wù)覆蓋30個(gè)國(guó)家和地區(qū)。該集團(tuán)正在使用Amazon Bedrock中的Llama模型簡(jiǎn)化海量行業(yè)文檔的分析，以提取相關(guān)的商業(yè)信息，使員工可以將更多時(shí)間專(zhuān)注于從日志文件、市場(chǎng)評(píng)論或原始文檔等數(shù)據(jù)源中提取洞見(jiàn)和獲取關(guān)鍵信息。

領(lǐng)先的外包數(shù)字服務(wù)和客戶體驗(yàn)提供商TaskUs使用Amazon Bedrock中的Llama模型來(lái)支持其專(zhuān)屬生成式AI平臺(tái)——TaskGPT。TaskUs在該平臺(tái)上構(gòu)建智能工具，自動(dòng)化部分客戶服務(wù)流程，釋放團(tuán)隊(duì)成員處理更復(fù)雜的問(wèn)題，并提供更好的客戶體驗(yàn)。