微軟推出 ZeRO++ 技術，可顯著減少 AI 大模型訓練時間和成本 環(huán)球速訊
2023-06-27 15:28:04 來源：IT之家 小 中
(資料圖)
微軟研究人員日前推出了名為 ZeRO++ 的新技術，用于優(yōu)化在訓練大型 AI 模型時，容易遇到的數(shù)據(jù)傳輸成本和帶寬限制的難題，可顯著減少大模型訓練時間和成本。
據(jù)悉，ZeRO++ 建立在現(xiàn)有的 ZeRO 傳輸技術基礎上，并提供增強的通信策略，可提高訓練效率，同時減少訓練時間和成本。
▲ 圖源 微軟
為了減少參數(shù)通信量，ZeRO++ 可對權重進行量化，其利用基于塊的量化方法來保持訓練精度，這種優(yōu)化的量化過程相對原始 Zero 傳輸技術更快更準確。為了能夠盡量減少通信開銷，ZeRO++ 通過在每臺機器上保持完整的模型副本，以向 GPU 顯存換取通信帶寬。而在梯度通信方面，ZeRO++ 引入了一種名為 qgZ 的新的量化梯度通信方式，可以減少跨節(jié)點的流量和延遲。
▲ 圖源 微軟
這些改進的通信技術大大減少了通信量，微軟研究人員表示，與 ZeRO 相比，ZeRO++ 減少了高達 4 倍的通信量，提高了訓練吞吐量和效率。當在每個 GPU 上使用小批量大小時，在高帶寬集群中，ZeRO++ 相比 ZeRO-3 的吞吐量提高了 28% 至 36%。在低帶寬集群中，與 ZeRO-3 相比，ZeRO++ 實現(xiàn)了平均 2 倍的加速，使得大模型訓練在更多種類的集群上更為可行。
例如 Turing-NLG、ChatGPT 和 GPT-4 這樣的大型模型，其訓練需要跨多個 GPU 設備占用大量顯存和計算資源，而 ZeRO++ 引入了通信優(yōu)化策略，以克服在低帶寬集群上進行訓練時原有 ZeRO 傳輸技術的帶寬限制。目前微軟已經(jīng)放出了相關技術文檔，研究人員可以利用 ZeRO++ 更有效地訓練模型，在 AI 領域探索新的可能性。
關鍵詞：
相關文章
- 微軟推出 ZeRO++ 技術，可顯著減少 AI 大模型訓練時間和成本 環(huán)球速訊
- 如果牛市來了，私募投資者的舊愛能否戰(zhàn)勝新歡？|天天快消息
- 昨日剛跌破9年新低，今日地產(chǎn)板塊再度沖上A股第一！地產(chǎn)ETF（159707）漲近5%！
- 廣汽集團：正全力推進廣汽埃安IPO工作 每日快看
- 國內(nèi)商品期貨多數(shù)收漲|世界視訊
- 陜煤運銷集團北方港累計銷售煤炭突破800萬噸
- 老胡入市
- 歐洲主要股指集體高開 德國DAX指數(shù)漲0.34%
- 熱點！東方港灣：強烈譴責假冒但斌名義欺騙投資者的非法行為
- 陜煤運銷集團北方港累計銷售煤炭突破800萬噸
- 中國信通院副院長：我國5G基站總數(shù)已達284.4萬個 實現(xiàn)“縣縣通5G”
- ChatGPT訪問量今年以來環(huán)比增速明顯下滑 6月或為負數(shù) 全球聚看點
- 多城二手房掛牌量壓頂：上海二手房掛牌增幅全國第一 重慶二手房掛牌量全國第一-世界新要聞
- 收盤信息：滬指震蕩反彈漲超1% 地產(chǎn)產(chǎn)業(yè)鏈領漲-當前簡訊
- 國家信息中心單志廣：算力指數(shù)每提高1點 對GDP有1.8‰的推動
- L39鏡頭、測光表II 銘匠發(fā)布多款新品
- 環(huán)球短訊！昆明試管嬰兒的費用是多少？
- 焦點快看：成語遺簪墜屨的意思是什么_怎么理解成語遺簪墜屨的意思
- 世界觀察：人間煙火mp3下載（遇見人間煙火：嚴禁以等待核酸為由限制貨車通行）
- 天天微頭條丨小米攝像頭內(nèi)存卡32g能存多少天
- 環(huán)球滾動:國機汽車（600335）6月27日主力資金凈買入3714.06萬元
- 航嘉推出便攜型45W雙口氮化鎵充電器_今頭條
- 世界快看：建筑工程技術專業(yè)就業(yè)前景_建筑工程技術專業(yè)
- 焦點熱文：23.78億！基金發(fā)行頻出喜訊！投資名將集體新發(fā) 什么信號？
- 去冰溝丹霞怎么走（自駕+大巴車）
- 科技賦能裝配式建筑發(fā)展 助力建筑業(yè)綠色轉型升級-觀點
- 國家電網(wǎng)董事長：中國平均電價始終保持在全球較低水平|全球要聞
- 佳都科技：“佳都知行行業(yè)大模型”將于6月29日發(fā)布
- 山東章鼓等投資新設智能科技公司
- 今日觀點!中糧年營收超7000億，背后是糧食暗戰(zhàn)？
熱文推薦
排行推薦
國內(nèi)商品期貨多數(shù)收漲|世界視訊
陜煤運銷集團北方港累計銷售煤炭突破800萬噸
老胡入市
