6月30日消息,百度今天正式開源文心大模型4.5系列模型。與此同時,中國算力平臺模創(chuàng)空間率先上線文心大模型。
中國算力平臺是在工信部指導下,中國信息通信研究院建設的平臺,匯聚“多源+多元”模型服務。
通過服務網(wǎng)關能力,實現(xiàn)模型及AI應用的在線調(diào)用服務。模型方可以將自有模型通過API方式發(fā)布到模型市場,開發(fā)者可以在線調(diào)用模型進行開發(fā)創(chuàng)作。
作為前沿人工智能成果,文心4.5創(chuàng)新運用多模態(tài)混合專家模型預訓練技術,以異構混合專家結構結合了多維旋轉(zhuǎn)位置編碼,并且在損失函數(shù)計算時,增強了不同專家間的正交性,提升文本生成、圖像理解以及多模態(tài)推理等任務效能。
為支持高效訓練提出異構混合并行和多層級負載均衡策略,在推理方面提出多專家并行協(xié)同量化方法和卷積編碼量化算法,從而實現(xiàn)高效訓練推理框架。
對預訓練模型進行了針對模態(tài)的精調(diào),大語言模型針對通用語言理解和生成進行了優(yōu)化,多模態(tài)大模型側重于視覺語言理解,支持思考和非思考模式,滿足實際場景不同需求。