AI“模型崩潰”風(fēng)險需警惕
來源：
科技日報
日期：2024-09-25
責(zé)編：
殷緒江
從客戶服務(wù)到內(nèi)容創(chuàng)作，人工智能（AI）影響了眾多領(lǐng)域的進展。但是，一個日益嚴重的被稱為“模型崩潰”的問題，可能會使AI的所有成就功虧一簣。“模型崩潰”是今年7月發(fā)表在英國《自然》雜志上的一篇研究論文指出的問題。它是指用AI生成的數(shù)據(jù)集訓(xùn)練未來幾代機器學(xué)習(xí)模型，可能會嚴重“污染”它們的輸出。
多家外媒報道稱，這不僅是數(shù)據(jù)科學(xué)家需要擔(dān)心的技術(shù)問題，如果不加控制，“模型崩潰”可能會對企業(yè)、技術(shù)和整個數(shù)字生態(tài)系統(tǒng)產(chǎn)生深遠影響。天津大學(xué)自然語言處理實驗室負責(zé)人熊德意教授在接受記者采訪時，從專業(yè)角度對“模型崩潰”進行了解讀。
“模型崩潰”是怎么回事
大多數(shù)AI模型，比如GPT-4，都是通過大量數(shù)據(jù)進行訓(xùn)練的，其中大部分數(shù)據(jù)來自互聯(lián)網(wǎng)。最初，這些數(shù)據(jù)是由人類生成的，反映了人類語言、行為和文化的多樣性和復(fù)雜性。AI從這些數(shù)據(jù)中學(xué)習(xí)，并用它來生成新內(nèi)容。
然而，當AI在網(wǎng)絡(luò)上搜索新數(shù)據(jù)來訓(xùn)練下一代模型時，AI很可能會吸收一些自己生成的內(nèi)容，從而形成反饋循環(huán)，其中一個AI的輸出成為另一個AI的輸入。當生成式AI用自己的內(nèi)容進行訓(xùn)練時，其輸出也會偏離現(xiàn)實。這就像多次復(fù)制一份文件，每個版本都會丟失一些原始細節(jié)，最終得到的是一個模糊的、不那么準確的結(jié)果。
美國《紐約時報》報道稱，當AI脫離人類輸入內(nèi)容時，其輸出的質(zhì)量和多樣性會下降。熊德意解讀稱：“真實的人類語言數(shù)據(jù)，其分布通常符合齊普夫定律，即詞頻與詞的排序成反比關(guān)系。齊普夫定律揭示了人類語言數(shù)據(jù)存在長尾現(xiàn)象，即存在大量的低頻且多樣化的內(nèi)容。”
熊德意進一步解釋道，由于存在近似采樣等錯誤，在模型生成的數(shù)據(jù)中，真實分布的長尾現(xiàn)象逐漸消失，模型生成數(shù)據(jù)的分布逐漸收斂至與真實分布不一致的分布，多樣性降低，導(dǎo)致“模型崩潰”。
AI自我“蠶食”是壞事嗎
對于“模型崩潰”，美國《The Week》雜志近日刊文評論稱，這意味著AI正在自我“蠶食”。熊德意認為，伴隨著這一現(xiàn)象的出現(xiàn)，模型生成數(shù)據(jù)在后續(xù)模型迭代訓(xùn)練中占比越高，后續(xù)模型丟失真實數(shù)據(jù)的信息就會越多，模型訓(xùn)練就更加困難。乍一看，“模型崩潰”在當前似乎還是一個僅需要AI研究人員在實驗室中擔(dān)心的小眾問題，但其影響將是深遠而長久的。
美國《大西洋月刊》刊文指出，為了開發(fā)更先進的AI產(chǎn)品，科技巨頭可能不得不向程序提供合成數(shù)據(jù)，即AI系統(tǒng)生成的模擬數(shù)據(jù)。然而，由于一些生成式AI的輸出充斥著偏見、虛假信息和荒謬內(nèi)容，這些會傳遞到AI模型的下一版本中。
美國《福布斯》雜志報道稱，“模型崩潰”還可能會加劇AI中的偏見和不平等問題。不過，這并不意味著所有合成數(shù)據(jù)都是不好的?！都~約時報》表示，在某些情況下，合成數(shù)據(jù)可以幫助AI學(xué)習(xí)。例如，當使用大型AI模型的輸出訓(xùn)練較小的模型時，或者當可以驗證正確答案時，比如數(shù)學(xué)問題的解決方案或國際象棋、圍棋等游戲的最佳策略。
AI正在占領(lǐng)互聯(lián)網(wǎng)嗎
訓(xùn)練新AI模型的問題可能凸顯出一個更大的挑戰(zhàn)。《科學(xué)美國人》雜志表示，AI內(nèi)容正在占領(lǐng)互聯(lián)網(wǎng)，大型語言模型生成的文本正充斥著數(shù)百個網(wǎng)站。與人工創(chuàng)作的內(nèi)容相比，AI內(nèi)容的創(chuàng)作速度更快，數(shù)量也更大。
OpenAI首席執(zhí)行官薩姆·奧特曼今年2月曾表示，該公司每天生成約1000億個單詞，相當于100萬本小說的文本，其中有一大部分會流入互聯(lián)網(wǎng)。
互聯(lián)網(wǎng)上大量的AI內(nèi)容，包括機器人發(fā)布的推文、荒謬的圖片和虛假評論，引發(fā)了一種更為消極的觀念?！陡２妓埂冯s志稱，“死亡互聯(lián)網(wǎng)理論”認為，互聯(lián)網(wǎng)上的大部分流量、帖子和用戶都已被機器人和AI生成的內(nèi)容所取代，人類不再能決定互聯(lián)網(wǎng)的方向。這一觀念最初只在網(wǎng)絡(luò)論壇上流傳，但最近卻獲得了更多關(guān)注。
幸運的是，專家們表示，“死亡互聯(lián)網(wǎng)理論”尚未成為現(xiàn)實?！陡２妓埂冯s志指出，絕大多數(shù)廣為流傳的帖子，包括一些深刻的觀點、犀利的語言、敏銳的觀察，以及在新背景下對新生事物的定義等內(nèi)容，都不是AI生成的。不過，熊德意仍強調(diào)：“隨著大模型的廣泛應(yīng)用，AI合成數(shù)據(jù)在互聯(lián)網(wǎng)數(shù)據(jù)中的占比可能會越來越高，大量低質(zhì)量的AI合成數(shù)據(jù)，不僅會使后續(xù)采用互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練的模型出現(xiàn)一定程度的‘模型崩潰’，而且也會對社會形成負面影響，比如生成的錯誤信息對部分人群形成誤導(dǎo)等。因此，AI生成內(nèi)容不僅是一個技術(shù)問題，同時也是社會問題，需要從安全治理與AI技術(shù)雙重角度進行有效應(yīng)對。”（記者 張佳欣）
【免責(zé)聲明】：
凡注明 “環(huán)球科技網(wǎng)” 字樣的圖片或文字內(nèi)容均屬于本網(wǎng)站專稿，如需轉(zhuǎn)載圖片請保留 “環(huán)球科技網(wǎng)” 水印，轉(zhuǎn)載文字內(nèi)容請注明來源“環(huán)球科技網(wǎng)”；凡本網(wǎng)注明“來源：XXX(非環(huán)球科技網(wǎng))”的作品，均轉(zhuǎn)載自其它媒體，轉(zhuǎn)載目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其作品內(nèi)容的實質(zhì)真實性負責(zé)，轉(zhuǎn)載信息版權(quán)屬于原媒體及作者。如轉(zhuǎn)載內(nèi)容涉及版權(quán)或者其他問題，請投訴至郵箱；1978751725@qq.com
本網(wǎng)公告
環(huán)球科技網(wǎng)從不發(fā)布負面新聞資訊，也絕不會發(fā)布負面信息。如發(fā)現(xiàn)負面信息鏈接請甄別是否為環(huán)球科技網(wǎng)所發(fā)。
本網(wǎng)系北京伯樂傳媒廣告有限公司主辦、所有。本網(wǎng)唯一域名（www.lzsczx.com），其它域名鏈接均為假冒。望廣大網(wǎng)民及企業(yè)主認真甄別。
咨詢、采訪、合作、投稿等請致電：13911566744（含微信）
