大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？
2023-06-08 13:44:02 來源：程序員客棧 小 中
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士
(相關(guān)資料圖)
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準(zhǔn)確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現(xiàn)，當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf關(guān)鍵詞：
相關(guān)文章
- 大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？
- 環(huán)球熱文：解剖屎山，尋覓黃金之第二彈
- 資訊推薦:咸魚炒肉怎么做好吃?
- 世界微頭條丨國家醫(yī)保局：2023年1至4月基本醫(yī)?；鹗杖?.14萬億元，同比增長8.1%
- 東方通：在機器視覺領(lǐng)域擁有內(nèi)容安全監(jiān)測系統(tǒng)
- 太陽電纜：太陽海纜海底電纜試生產(chǎn)成功-環(huán)球觀天下
- 當(dāng)前快報:醫(yī)療器械板塊震蕩走低
- 【環(huán)球報資訊】精工科技：公司碳纖維裝備業(yè)務(wù)處于快速發(fā)展的戰(zhàn)略機遇期
- 世界快消息！電力板塊拉升 皖能電力漲超4%
- 王傳福：比亞迪有信心在未來3-5年獲得更高市場份額
- 券商股異動拉升 首創(chuàng)證券漲超8%
- 醋化股份2015-2022年報掃描
- 誰將是國產(chǎn)“英偉達”？一文看懂國產(chǎn)AI芯片主要上市公司（附股） 世界訊息
- 我國首個自主開發(fā)深水油田群原油產(chǎn)量突破1000萬噸 聚焦
- 頭條焦點：充滿算計！日美澳在南太鋪光纜，日媒炒“抗衡中國影響力”
- 世界觀焦點：潘功勝：美元走強較難持續(xù)，我國外匯市場將有條件保持平穩(wěn)運行
- 潘功勝：不跟隨美聯(lián)儲“大放大收” 不搞競爭性的零利率或量化寬松政策
- 青龍管業(yè)：從已簽訂單數(shù)量來看 今年遠(yuǎn)超去年
- A股午評：指數(shù)早盤集體收跌 養(yǎng)殖業(yè)板塊反彈回暖-今日關(guān)注
- 每日熱議!32+21+10！約基奇刷爆8大紀(jì)錄 總決賽歷史第一人 提前鎖定FMVP？
- 看點：一日三謠言，塔瓦雷斯赴CBA？廣東北控大交易？李京龍加盟廣東？
- 視頻 | 150秒帶你認(rèn)識海南這片藍|環(huán)球觀察
- 瓊島瀑布別有風(fēng)情：靈山多秀色 空水共氤氳|熱頭條
- 網(wǎng)絡(luò)欺騙：技術(shù)如何重塑網(wǎng)絡(luò)安全的未來
- 焦點消息！【2023天津高考】城市建設(shè)者|脫下工地反光背心 換上志愿者紅馬甲
- 科力遠(yuǎn)：正研發(fā)新型泡沫鎳金屬材料以開拓不同市場領(lǐng)域 熱門
- 環(huán)球即時：大基建、新型城鎮(zhèn)化板塊持續(xù)拉升
- 世界即時：易綱：上海未來可以在綠色金融領(lǐng)域發(fā)揮更大先導(dǎo)作用
- 易綱：截至一季度末我國本外幣綠色貸款余額超25萬億元-每日熱文
- 易綱：通過市場化的激勵機制 降低綠色能源的成本
熱文推薦
世界微頭條丨國家醫(yī)保局：2023年1至4月基本醫(yī)?；鹗杖?.14萬億元，同比增長8.1%
國家醫(yī)保局7日發(fā)布數(shù)據(jù)顯示，2023年1至4月，基本醫(yī)療......更多>
排行推薦
東方通：在機器視覺領(lǐng)域擁有內(nèi)容安全監(jiān)測系統(tǒng)
太陽電纜：太陽海纜海底電纜試生產(chǎn)成功-環(huán)球觀天下
當(dāng)前快報:醫(yī)療器械板塊震蕩走低
