在人工智能的發(fā)展歷程中，我們往往認(rèn)為更多的訓(xùn)練、更復(fù)雜的數(shù)據(jù)能讓 AI 變得更加智能。然而，近期一些研究卻揭示了令人意外的現(xiàn)象：對(duì)小型 AI 語言模型進(jìn)行數(shù)學(xué)訓(xùn)練時(shí)，過度訓(xùn)練可能會(huì)導(dǎo)致其表現(xiàn)急劇下降，甚至出現(xiàn) “變笨” 的情況。與此同時(shí)，強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)這兩種主流學(xué)習(xí)方式在其中所起的作用也大相徑庭，它們的差異值得深入探討。

新加坡科技設(shè)計(jì)大學(xué)的研究團(tuán)隊(duì)在 2025 年 6 月的研究中發(fā)現(xiàn)，當(dāng)對(duì)參數(shù)量在 30 億以下的小型 AI 語言模型進(jìn)行復(fù)雜數(shù)學(xué)推理過程的訓(xùn)練時(shí)，出現(xiàn)了 “長思維鏈退化” 現(xiàn)象。以只有 5 億參數(shù)的小型模型 Qwen2.5 - 0.5B 為例，用 8000 個(gè)包含詳細(xì)解題步驟的樣本訓(xùn)練它時(shí)，其準(zhǔn)確率從 14% 驟降至 7%，回答長度從平均 2000 個(gè)詞增加到 8000 個(gè)詞，但這些冗長回答大多錯(cuò)誤。研究人員擴(kuò)大實(shí)驗(yàn)范圍，測(cè)試了九個(gè)不同的 AI 模型，涵蓋 5 億到 140 億參數(shù)范圍，使用包含 22.5 萬個(gè)數(shù)學(xué)問題及詳細(xì)解題過程的大型數(shù)據(jù)集，結(jié)果證實(shí)了這種退化現(xiàn)象的普遍性。如 Gemma3 - 1B 模型準(zhǔn)確率從 24% 降至 6%，Qwen2.5 - 14B 模型從 50% 降至 45%。這表明小型模型在接受長思維鏈訓(xùn)練時(shí)，性能反而下降。

深入探究這一現(xiàn)象背后的原因，研究團(tuán)隊(duì)提出小型模型在接受長思維鏈訓(xùn)練時(shí)，可能先學(xué)會(huì)了 “裝腔作勢(shì)”。為驗(yàn)證此假設(shè)，他們開發(fā) “反思行為識(shí)別系統(tǒng)”，結(jié)果顯示，即使只用 8000 個(gè)長思維鏈樣本訓(xùn)練，所有 Qwen 模型的 “反思比例” 從不到 5% 急劇上升到約 75%，包含反思行為的回答平均比不包含的長 2000 個(gè)詞左右。這意味著模型只是快速學(xué)會(huì)使用反思性語言作為 “填充詞”，并未真正理解復(fù)雜推理，只是模仿表面形式特征，進(jìn)而導(dǎo)致回答冗長且錯(cuò)誤，產(chǎn)生 “錯(cuò)誤累積效應(yīng)”，每一個(gè)小錯(cuò)誤在后續(xù)步驟中被放大，最終得出完全錯(cuò)誤的結(jié)論。

這一現(xiàn)象也反映出強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)在 AI 訓(xùn)練中的巨大差異。監(jiān)督學(xué)習(xí)就像是有一位老師在旁邊時(shí)刻指導(dǎo)，數(shù)據(jù)集中明確包含了輸入以及對(duì)應(yīng)的正確輸出標(biāo)簽。例如，在教 AI 識(shí)別貓和狗的圖片時(shí)，監(jiān)督學(xué)習(xí)的數(shù)據(jù)集中清晰標(biāo)注了每張圖片是貓還是狗，AI 通過學(xué)習(xí)這些已標(biāo)注的數(shù)據(jù)來構(gòu)建模型，以對(duì)新的圖片進(jìn)行準(zhǔn)確分類，反饋即時(shí)且明確。而強(qiáng)化學(xué)習(xí)則不同，智能體處于一個(gè)環(huán)境中，沒有明確的 “正確答案” 標(biāo)簽。智能體通過不斷嘗試不同的動(dòng)作，從環(huán)境中獲得獎(jiǎng)勵(lì)或懲罰作為反饋信號(hào)，以此來學(xué)習(xí)最優(yōu)策略。比如讓一個(gè)機(jī)器人在一個(gè)未知的房間里尋找出口，機(jī)器人嘗試不同的移動(dòng)方向，若靠近出口，環(huán)境給予正獎(jiǎng)勵(lì)，反之給予負(fù)獎(jiǎng)勵(lì)，機(jī)器人根據(jù)這些延遲的獎(jiǎng)勵(lì)信號(hào)來逐漸調(diào)整自己的行動(dòng)策略，以找到最佳的走出房間的路徑。

在數(shù)學(xué)訓(xùn)練導(dǎo)致 AI 變笨這一情境中，若采用監(jiān)督學(xué)習(xí)方式對(duì)小型模型進(jìn)行長思維鏈訓(xùn)練，由于小型模型本身的容量限制，面對(duì)復(fù)雜的數(shù)學(xué)解題步驟這種 “高級(jí)課程”，即使有詳細(xì)的解題標(biāo)注作為 “老師的指導(dǎo)”，模型也可能因無法理解復(fù)雜邏輯，只是機(jī)械地記憶和模仿，從而產(chǎn)生大量錯(cuò)誤。而如果采用強(qiáng)化學(xué)習(xí)，模型在嘗試生成數(shù)學(xué)問題的解答過程中，由于自身能力不足，早期生成的錯(cuò)誤解答會(huì)導(dǎo)致獲得負(fù)面反饋，并且由于 “錯(cuò)誤累積效應(yīng)”，后續(xù)的探索方向也會(huì)被嚴(yán)重誤導(dǎo)。即使后續(xù)有獎(jiǎng)勵(lì)信號(hào)引導(dǎo)，之前養(yǎng)成的錯(cuò)誤 “思維習(xí)慣” 也很難糾正，使得模型難以找到正確的解題策略，性能不斷下降。

然而，研究也帶來了希望。當(dāng)提供足夠大規(guī)模的訓(xùn)練數(shù)據(jù)(如 12.8 萬個(gè)樣本)時(shí)，大多數(shù)模型最終能夠恢復(fù)甚至超越原有性能。這意味著，在 AI 訓(xùn)練中，我們需要根據(jù)模型的特點(diǎn)和能力，合理選擇學(xué)習(xí)方式，并提供合適規(guī)模的數(shù)據(jù)。對(duì)于小型模型，在進(jìn)行復(fù)雜任務(wù)訓(xùn)練時(shí)，更要謹(jǐn)慎設(shè)計(jì)訓(xùn)練方案，避免過度訓(xùn)練導(dǎo)致性能下降。同時(shí)，深入理解強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)的差異，根據(jù)具體任務(wù)和模型特性靈活運(yùn)用這兩種學(xué)習(xí)方式，將有助于推動(dòng) AI 技術(shù)更健康、有效地發(fā)展，使 AI 真正實(shí)現(xiàn)智能提升，而非誤入 “變笨” 的歧途。