這兩天阿里出了個專家會議紀要，其中提了一個問題：我們趕上 GPT 3. 5 的難度是在調參還是在算力？最重要的核心瓶頸是什么？專家的回答如下圖，我把重點標出來。

(資料圖片)

專家回答，在算力不是問題的前提下，核心瓶頸有三個：第一是數據量，占比30%。第二是模型結構的創新，占比40%。第三是工程化落地能力，占比30%。

公司自己總結五大優勢中，大規模優質數據資產和AI工程化落地能力是拓爾思核心優勢。

今天不吹數據，吹多了沒意思了。重點看工程化落地能力。

生成一個高質量行業大模型的關鍵，就是在通用大模型的基礎上，利用行業數據進一步訓練生產行業大模型，并對行業大模型調優實現。這其中，對通用大模型“再訓練”、“調優”形成高質量行業大模型的兩個基本動作，也決定了廠商必備的三大能力：豐富的行業數據積累、大模型調優能力、AI工程化。

而AI工程化是指提供AI應用開發的系列方法、工具和實踐集合，形成快速測試、構建和部署AI應用開發流水線，加速AI應用落地過程，實現模型自動重新訓練和部署。行業大模型只解決了大模型“可用”的問題，若想AI成為企業的生產力，還需要解決大模型“落地”的工程化問題，否則落地效率、周期會遠超預期。

就如阿里專家會議紀要中所說:"我們都知道什么叫預訓練、調優訓練、推理訓練，但是到具體的工程階段沒有任何可以參照的方法論，數據的處理，模型的訓練，模型優化，模型的部署和運用，每個階段都有一些方法論在里面，需要自己去摸索。包括你怎么樣去獲取高質量的數據，拿到這些數據以后怎么樣通過工程化的手法把數據標注好，標注好以后怎么樣去評測。如果數據質量不夠高，你再喂養給模型，基本上是浪費時間，因為跑一輪下來花了幾百萬，但是你的精度可能只能調零點幾，這樣投產很不值得，所以在整個模型里面有 1/ 3 的時間是用來處理數據的，只有數據質量夠好，才可以去后面做模型訓練。做模型訓練，中間你要去設定它的評估指標，而且你要在調試的過程中可視化的監控它，所以整個模型調優過程需要一套工程化的工具手段，要可量化，而且中間你要會干預，否則你幾十層訓練完幾個月過去了，所以這種顆粒度的控制和可視化都有一些關鍵的方法論在里面，這種方法論也是海外跟我們拉開差距，以及我們自己相互拉開差距的比較重要一點，基本上要占百分之30。"

AI工程化能力涉及兩個方面：1）通過分布式訓練提升計算效率，解決大模型大體量參數、復雜網絡結構帶來的內存、通訊以及計算瓶頸；2）實現模型開發過程的持續生產、持續交付和持續部署。一方面，需要將定制化解決方案經驗沉淀形成標準化產品，實現產品與服務的規模化，加速商業化落地效率；另一方面，也需要完善AI開發生命周期的工具、固化開發流程，提高模型開發全流程的緊耦合度，提升大模型訓練效率。

$拓爾思(SZ300229)$

$三六零(SH601360)$

$昆侖萬維(SZ300418)$

關鍵詞：