今天中午，量子位公眾號宣傳了LLM領域最新的進展，陳天奇團隊的MLC LLM，實現了全球首個能夠完全用安卓和蘋果手機端芯片推理的大模型，個人用A breakthough in LLM來形容這個技術，完全不過分！

我看了一下開源的Github的日志記錄，發現針對適配安卓手機的模型，3天前上傳了3Billion參數的模型，2天前上傳了7Billion參數的模型，MLC LLM絕對是最新的還未被大范圍報道的大模型領域的技術突破。

(資料圖片)

下面直接使用一些本人自問自答的方式展開，來給大家介紹這個突破性的技術！

================================================================

1. MLC LLM 是什么？

MLC LLM是一個通用的解決方案，它允許任何語言模型以本機方式部署在一組不同的硬件后端和本機應用程序上，此外，它還為每個人提供了一個高效的框架，以針對自己的用例進一步優化模型性能。一切都在本地運行，無需服務器支持，并通過手機和筆記本電腦上的本地GPU進行加速。

2. 哪些設備上可以運行MLC LLM?

iPhone手機; 安卓; Windows Linux Mac; Web瀏覽器

3. 重點關注的當然是手機端的推理，硬件要求有哪些？

對手機性能要求較高，一般是6GRAM起步的手機，基本是就是目前各家廠商的旗艦級手機的性能要求，其中安卓手機需要用支持OpenCL的帶GPU的高通驍龍8Gen 2 手機（雪球愛者之貽總結）。

具體來說，iPhone手機可以試試這個TestFlight頁面（僅限于前9000名用戶， 網頁鏈接），安裝并使用我們為iPhone構建的示例iOS聊天應用程序。Vicuna-7B需要4GB的RAM，RedPajama-3B需要2.2GB才能運行。考慮到iOS和其他正在運行的應用程序，我們需要一款最新的iPhone，Vicuna-7B為6GB，RedPajama-3B為4GB才能運行該應用程序。該應用程序僅在iPhone 14 Pro Max、iPhone 14 Pro和iPhone 12 Pro上進行測試。安卓手機，在此處下載APK文件網頁鏈接 并安裝在您的手機上。然后，您可以開始與LLM聊天。當你第一次打開應用程序時，需要下載參數，加載過程可能會很慢。在未來的運行中，參數將從緩存中加載（這很快），您可以離線使用該應用程序。我們目前的演示依賴于手機上的OpenCL支持，需要大約6GB的RAM，如果你有一部帶有最新Snapdragon芯片的手機，你可以嘗試演示。作者在三星Galaxy S23上測試了我們的演示。

4. MLC LLM 使用 手機芯片推理的表現如何？

根據量子位公眾號的測試，文字創作能力還算不錯，

難題代碼類問題，還有待加強

5. 團隊開發MLC LLM的初心是什么？

近年來，在生成人工智能（AI）和大型語言模型（LLM）方面取得了顯著進展，這些領域正變得越來越普遍。得益于開源舉措，現在可以使用開源模型開發個人人工智能助理。然而，LLM往往是資源密集型的，并且對計算要求很高。為了創建可擴展的服務，開發人員可能需要依靠強大的集群和昂貴的硬件來運行模型推理。此外，部署LLM還帶來了一些挑戰，例如不斷發展的模型創新、內存限制以及對潛在優化技術的需求。

該項目的目標是在一系列設備上開發、優化和部署用于推理的人工智能模型，不僅包括服務器級硬件，還包括用戶的瀏覽器、筆記本電腦和移動應用程序。

6. MLC LLM的開發過程中克服了哪些關鍵技術挑戰？

為了實現這一點，我們需要解決計算設備和部署環境的多樣性問題。一些關鍵挑戰包括：

支持不同型號的CPU、GPU，以及潛在的其他協處理器和加速器。

在用戶設備的本地環境上部署，這些設備可能沒有現成的python或其他必要的依賴項。

通過仔細規劃分配和積極壓縮模型參數來解決內存限制。

MLC LLM提供了一個可重復、系統和可定制的工作流程，使開發人員和人工智能系統研究人員能夠以注重生產力的Python優先方法實現模型和優化。這種方法能夠快速試驗新模型、新思想和新的編譯器通道，然后將本機部署到所需的目標。此外，我們正在通過拓寬TVM后端來不斷擴展LLM加速，以使模型編譯更加透明和高效。

7. MLC LLM 團隊未來將大模型引入消費類設備的發展方向？

將LLM引入消費類設備的機會非常多。以下是一些可能的未來的可能不完整的列表：

個性化。聰明的語言模型知道很多東西，另一方面，他們不一定知道我們最喜歡的歌曲或寫作風格。在一個可能的未來，有些人可能希望有一個個人的人工智能伴侶。這些模型可能不是最聰明的，但它們了解我們自己，可以用來放大我們的日常工作流程。它們還可以與服務器上更強大的模型一起工作，以創造更放大的體驗。它們也可以是在開放的強大模型之上構建的適配器形式。然而，要創建這樣的個性化人工智能，我們需要將個人數據輸入到模型中，理想情況下是在我們自己的消費設備上運行。

專業化和應用程序集成。語言模型可以做很多事情，但也有一些領域，也許我們只需要對其進行一點精簡。看到未來的游戲利用這些模型的一些變體來為每一場游戲產生獨特的體驗也就不足為奇了。專門研究游戲對話框是現有應用程序如何從集成LLM中獲益的一個例子。擁有直接在游戲機上運行的專業模型可以創造很多有趣的機會。

離線支持和客戶端-服務器混合使用案例。我們并不是一直都能上網。當我們離線、飛行或想去一個不容易上網的地方時，如果能有一些功能較弱但仍然智能的人工智能助手來幫助我們，那就太好了。在另一種情況下，讓不同的人工智能組件協同工作，在本地卸載部分計算，并與云上運行的模型協作，也是一件好事?；蛘呤褂靡环N服務，根據我們所處的環境，在兩者之間無縫地移動計算。

去中心化。還有一個有趣的未來。雖然每個消費者設備的計算功能可能不如數據中心上的計算功能強大，但當消費者設備連接在一起時，可以做很多功能強大的事情。在去中心化人工智能領域有很多有趣的運動，如果得到正確的工具支持，看看它們能實現什么將是很有趣的。

向消費者硬件部署LLM面臨的挑戰：

討論的想法都是（可能的）未來。除了談論它們，更有趣的是，我們如何才能實現一些可能的未來。具體來說，我們是否可以為開源社區做出貢獻，以推動以下目標：

使每個人都能在任何地方本地開發、優化和部署人工智能模型，包括服務器環境和消費設備。

讓我們從這里的一個關鍵元素開始——硬件加速。大型模型需要大量計算，并且有大量的內存需求。重要的是要利用硬件加速來真正將一些大型號帶到消費設備上。

8. MLC LLM產業機會有哪些？

本人觀點，就是邊緣端AI芯片（Soc芯片），是特指專門做端側深度學習模型推理的芯片，包括GPU, NPU, TPU以及上游IP那些公司，這點與周五漲停的邊緣計算$美格智能(SZ002881)$還是有所不同的。

MLC LLM產業機會，應該是$芯原股份(SH688521)$瑞芯微 全志科技等這些做端側深度學習模型推理的芯片的公司，他們擁有最豐富的邊緣端深度學習模型推理優化經驗及硬件加速方案支持。

此外最正宗的，是在美股的蘋果和高通，而且對目前的$高通(QCOM)$是巨大利好。因為安卓端，目前只支持搭載高通驍龍8Gen2芯片的安卓旗艦機。

關鍵詞：