大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？
2023-06-08 13:44:02 來源：程序員客棧 小 中
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學，在讀博士
(相關資料圖)
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡下的涌現(xiàn)現(xiàn)象在機器學習中使用大規(guī)模神經(jīng)網(wǎng)絡時，由于增加了參數(shù)數(shù)量、訓練數(shù)據(jù)或訓練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經(jīng)網(wǎng)絡的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現(xiàn)，當我們訓練用網(wǎng)絡計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf關鍵詞：
相關文章
- 大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？
- 環(huán)球熱文：解剖屎山，尋覓黃金之第二彈
- 資訊推薦:咸魚炒肉怎么做好吃?
- 世界微頭條丨國家醫(yī)保局：2023年1至4月基本醫(yī)保基金收入1.14萬億元，同比增長8.1%
- 東方通：在機器視覺領域擁有內(nèi)容安全監(jiān)測系統(tǒng)
- 太陽電纜：太陽海纜海底電纜試生產(chǎn)成功-環(huán)球觀天下
- 當前快報:醫(yī)療器械板塊震蕩走低
- 【環(huán)球報資訊】精工科技：公司碳纖維裝備業(yè)務處于快速發(fā)展的戰(zhàn)略機遇期
- 世界快消息！電力板塊拉升 皖能電力漲超4%
- 王傳福：比亞迪有信心在未來3-5年獲得更高市場份額
- 券商股異動拉升 首創(chuàng)證券漲超8%
- 醋化股份2015-2022年報掃描
- 誰將是國產(chǎn)“英偉達”？一文看懂國產(chǎn)AI芯片主要上市公司（附股） 世界訊息
- 我國首個自主開發(fā)深水油田群原油產(chǎn)量突破1000萬噸 聚焦
- 頭條焦點：充滿算計！日美澳在南太鋪光纜，日媒炒“抗衡中國影響力”
- 世界觀焦點：潘功勝：美元走強較難持續(xù)，我國外匯市場將有條件保持平穩(wěn)運行
- 潘功勝：不跟隨美聯(lián)儲“大放大收” 不搞競爭性的零利率或量化寬松政策
- 青龍管業(yè)：從已簽訂單數(shù)量來看 今年遠超去年
- A股午評：指數(shù)早盤集體收跌 養(yǎng)殖業(yè)板塊反彈回暖-今日關注
- 每日熱議!32+21+10！約基奇刷爆8大紀錄 總決賽歷史第一人 提前鎖定FMVP？
- 看點：一日三謠言，塔瓦雷斯赴CBA？廣東北控大交易？李京龍加盟廣東？
- 視頻 | 150秒帶你認識海南這片藍|環(huán)球觀察
- 瓊島瀑布別有風情：靈山多秀色 空水共氤氳|熱頭條
- 網(wǎng)絡欺騙：技術(shù)如何重塑網(wǎng)絡安全的未來
- 焦點消息！【2023天津高考】城市建設者|脫下工地反光背心 換上志愿者紅馬甲
- 科力遠：正研發(fā)新型泡沫鎳金屬材料以開拓不同市場領域 熱門
- 環(huán)球即時：大基建、新型城鎮(zhèn)化板塊持續(xù)拉升
- 世界即時：易綱：上海未來可以在綠色金融領域發(fā)揮更大先導作用
- 易綱：截至一季度末我國本外幣綠色貸款余額超25萬億元-每日熱文
- 易綱：通過市場化的激勵機制 降低綠色能源的成本
熱文推薦
世界微頭條丨國家醫(yī)保局：2023年1至4月基本醫(yī)保基金收入1.14萬億元，同比增長8.1%
國家醫(yī)保局7日發(fā)布數(shù)據(jù)顯示，2023年1至4月，基本醫(yī)療......更多>
排行推薦
東方通：在機器視覺領域擁有內(nèi)容安全監(jiān)測系統(tǒng)
東方通6月8日在互動平臺表示，公司在機器視覺領域擁有... 更多>
太陽電纜：太陽海纜海底電纜試生產(chǎn)成功-環(huán)球觀天下
據(jù)太陽電纜(002300)消息，6月7日太陽海纜海底電纜第一... 更多>
當前快報:醫(yī)療器械板塊震蕩走低
醫(yī)療器械板塊震蕩走低，賽諾醫(yī)療(688108)跌超8%，戴維... 更多>
【環(huán)球報資訊】精工科技：公司碳纖維裝備業(yè)務處于快速發(fā)展的戰(zhàn)略機遇期
精工科技(002006)在機構(gòu)調(diào)研時表示，根據(jù)公開信息顯示... 更多>
傳媒娛樂板塊持續(xù)下挫 中國出版、中視傳媒跌停
傳媒娛樂板塊持續(xù)下挫，截至發(fā)稿，中國出版(601949)、... 更多>
上海再保險“國際板”正式啟動
6月8日，國家金融監(jiān)督管理總局局長李云澤與上海市市長... 更多>
生物醫(yī)藥板塊震蕩走低
生物醫(yī)藥板塊震蕩走低，科創(chuàng)板益方生物(688382)跳水跌... 更多>
特斯拉動員中國供應商出海，去墨西哥復制“上海工廠”
特斯拉正在動員不少中國的供應鏈企業(yè)去墨西哥建廠。“... 更多>
雙杰電氣等設新公司 經(jīng)營范圍含物聯(lián)網(wǎng)技術(shù)研發(fā) 環(huán)球今日報
企查查APP顯示，近日，杰捷科技(北京)有限公司成立，... 更多>
王傳福在股東會上說了啥
$比亞迪(SZ002594)$$比亞迪股份(01211)$股東大會打卡... 更多>
留意！時隔4年，300價值反超300成長，（61指數(shù)估值06.08） 環(huán)球觀察
大伙早：又是新的一期指數(shù)估值表，本周繼續(xù)磨練心性，... 更多>
出口數(shù)據(jù)是有點難看|全球今熱點
大家好，我是很帥的狐貍今天我來聊兩句剛剛公布的出口... 更多>
環(huán)球今日訊！新低近在咫尺（6月7日）
今天這市場又是看得我一臉懵賽道就算差，至于搞成這樣... 更多>
易綱：上海可在綠色金融領域發(fā)揮更大先導作用
央行行長易綱今日在“第十四屆陸家嘴論壇”開幕式上表... 更多>