8月5日消息，今日，國家安全部發(fā)文提醒，人工智能的訓(xùn)練數(shù)據(jù)存在良莠不齊的問題，其中不乏虛假信息、虛構(gòu)內(nèi)容和偏見性觀點，造成數(shù)據(jù)源污染，給人工智能安全帶來新的挑戰(zhàn)。

據(jù)了解，人工智能的三大核心要素是算法、算力和數(shù)據(jù)，其中數(shù)據(jù)是訓(xùn)練AI模型的基礎(chǔ)要素，也是AI應(yīng)用的核心資源。

高質(zhì)量的數(shù)據(jù)能夠顯著提升模型的準確性和可靠性，但數(shù)據(jù)一旦受到污染，可能導(dǎo)致模型決策失誤甚至AI系統(tǒng)失效，存在一定的安全隱患。

通過篡改、虛構(gòu)和重復(fù)等“數(shù)據(jù)投毒”行為產(chǎn)生的污染數(shù)據(jù)，將干擾模型在訓(xùn)練階段的參數(shù)調(diào)整，削弱模型性能、降低其準確性，甚至誘發(fā)有害輸出。

研究顯示，當訓(xùn)練數(shù)據(jù)集中僅有0.01%的虛假文本時，模型輸出的有害內(nèi)容會增加11.2%。

即使是0.001%的虛假文本，其有害輸出也會相應(yīng)上升7.2%。

受到數(shù)據(jù)污染的人工智能生成的虛假內(nèi)容，可能成為后續(xù)模型訓(xùn)練的數(shù)據(jù)源，形成具有延續(xù)性的“污染遺留效應(yīng)”。

當前，互聯(lián)網(wǎng)AI生成內(nèi)容在數(shù)量上已遠超人類生產(chǎn)的真實內(nèi)容，大量低質(zhì)量及非客觀數(shù)據(jù)充斥其中，導(dǎo)致AI訓(xùn)練數(shù)據(jù)集中的錯誤信息逐代累積，最終扭曲模型本身的認知能力。

官方表示，數(shù)據(jù)污染還可能引發(fā)一系列現(xiàn)實風(fēng)險，尤其在金融市場、公共安全和醫(yī)療健康等領(lǐng)域。

在金融領(lǐng)域，不法分子利用AI炮制虛假信息，造成數(shù)據(jù)污染，可能引發(fā)股價異常波動，構(gòu)成新型市場操縱風(fēng)險;

在公共安全領(lǐng)域，數(shù)據(jù)污染容易擾動公眾認知、誤導(dǎo)社會輿論，誘發(fā)社會恐慌情緒;

在醫(yī)療健康領(lǐng)域，數(shù)據(jù)污染可能致使模型生成錯誤診療建議，不僅危及患者生命安全，也加劇偽科學(xué)的傳播。