Meta 在論文中發布的新模型名叫 Segment Anything Model (SAM) 。他們在博客中介紹說，「SAM 已經學會了關于物體的一般概念，并且它可以為任何圖像或視頻中的任何物體生成 mask，甚至包括在訓練過程中沒有遇到過的物體和圖像類型。SAM 足夠通用，可以涵蓋廣泛的用例，并且可以在新的圖像『領域』上即開即用，無需額外的訓練。」在深度學習領域，這種能力通常被稱為零樣本遷移，這也是 GPT-4 震驚世人的一大原因。

(資料圖)

論文地址：網頁鏈接

項目地址：網頁鏈接

Demo 地址：網頁鏈接

除了模型，Meta 還發布了一個圖像注釋數據集 Segment Anything 1-Billion (SA-1B)，據稱這是有史以來最大的分割數據集。該數據集可用于研究目的，并且 Segment Anything Model 在開放許可 (Apache 2.0) 下可用。

雖然智能摳圖這件事并不算是個新鮮事物，但如果你嘗試過用P圖軟件來摳圖換背景，就會發現想把照片摳得快、摳得準、摳得自然其實是一件費時又費力的事。

從技術的角度來說，數字圖像的“摳圖”一直就是計算機視覺領域的一項經典且復雜的任務，其中關鍵的難點在于識別的時間和精準度。而Meta此次發布的SAM可以說給出了近乎完美的解決方案。

對于任何一張照片，Meta都可以快速識別照片中的所有物體，并智能地將其分割成不同的形狀和板塊。你可以點擊圖中的任意物品進行單獨處理。

而除了簡單的識別圖片中的物品之外，此次SAM還支持用戶使用各種交互性的方式來分離出想要的物體。

比如你可以通過將鼠標懸浮在該物體之上，就能自動定位出物體的輪廓。即使是顏色非常相近或者有連人眼都很難快速分辨出的倒影的圖片之中，SAM都能非常準確的找出輪廓邊線。

再比如，你也可以直接通過輸入文字查詢，AI就可以幫你找到并標記出這個圖片中的你想找的這個文字對象。

不僅僅是靜態圖片，對于視頻中的物體，SAM也能準確識別并且還能快速標記出物品的種類、名字、大小，并自動用ID給這些物品進行記錄和分類。Meta表示未來這一技術會跟AR/AR頭顯進行廣泛結合。這聽上去是不是確實有點鋼鐵俠頭盔的味道了？

看到這里是不是已經覺得很厲害了？別著急，Meta這次還有大招。

Meta發布了SAM之后，立刻吸引了大量關注，甚至在很多人工智能業內人士的眼中，SAM的出現可以說是計算機視覺領域的GPT-3時刻。

英偉達人工智能科學家 Jim Fan 表示此次SAM最大的一點突破是它已經基本能夠理解“物品”的一般概念，即使對于未知對象、不熟悉的場景（例如水下和顯微鏡里的細胞）它都能比較準確的理解。因此他表示相信SAM的出現會是在計算機視覺領域里的GPT-3時刻。

不僅是Jim有這樣的觀點，一些AI研究專家甚至也表示，SAM之于計算機視覺，就像是GPT之于大語言模型。

而就在SAM昨天發布之后，很多人也在第一時間上手進行了實測。硅星人瀏覽了一圈，發現不僅基本滿屏都是驚嘆，一些網友還結合自身的工作領域打開了SAM更廣的應用想象空間。

有人將包含了眾多復雜元素的圖片上傳之后，SAM識別起來毫無壓力，無論是近景還是遠景，大量的復雜細微的元素都可以基本準確找出。

有自然科學研究者將SAM和衛星圖像結合在了一起，表示SAM能夠很好的識別和找到他標記的風貌類型。

有神經外科影像學的專家將SAM用到了一個脊髓血管病的病例文件之中，認為SAM在幫助判斷和分析病情上有很大幫助。

有生物學家輸入了一張顯微鏡下的組織圖片，即使圖中形狀特征毫無規律，但憑借著Zero-shot技術，SAM也能夠自動識別多細胞結構中的腺體、導管、動脈等。該生物學家認為SAM的產出結果已經非常接近完美，未來能夠節省大量手動注釋的時間。

還有有騎行愛好者將地圖和SAM結合起來，認為能夠幫助自己未來更快更高效地給地圖做標記。

總體來看，跟過去的一些計算機視覺模型相比，SAM 在幾個方面有著顯著的提升和不同。

首先，SAM 開創性地跟Prompt結合了起來。它可以接受各種輸入提示，例如點擊、框選或指定想要分割的對象，這種輸入并不是一次性指令，你可以不停地對圖像下達不同的指令達到最終的編輯效果，這也意味著此前在自然語言處理的Prompt模式也開始被應用在了計算機視覺領域。

此外，SAM基于1100 萬張圖像和 11 億個掩碼的海量數據集上進行訓練，這是迄今為止最大的分割數據集。該數據集涵蓋了廣泛的對象和類別，例如動物、植物、車輛、家具、食物等，這些圖像的分辨率達到了1500×2250 pixels，平均每張圖像約有100個掩碼。此次SAM采用了輕量級掩碼解碼器，可以在每次提示僅幾毫秒內在網絡瀏覽器中運行。

SAM 在各種分割任務上具有很強的零樣本性能。零樣本意味著 SAM 可以在不對特定任務或領域進行任何額外訓練或微調的情況下分割對象。例如，SAM 可以在沒有任何先驗知識或監督的情況下分割人臉、手、頭發、衣服和配飾。SAM 還可以以不同的方式分割對象，例如紅外圖像或深度圖等。

SAM的訓練數據集是OpenImage V5的6倍

Meta表示，目前公司內部已經開始使用SAM相關技術，用于在Facbook、Instagram等社交平臺上照片的標記、內容審核和內容推薦等。而之后，生成人工智能作為 "創意輔助工具 "也將被作為今年的重點優先事項被納入到Meta更多的應用程序中。

此次，可能最讓很多業內人士驚喜的地方在于，無論是SAM模型還是巨大的訓練數據集都是開源的！也就是說，目前任何人都可以在非商用許可下載和使用SAM及數據。

Meta表示，此舉是希望進一步加速整個行業對圖像分割以及更通用圖像與視頻理解的研究。‘Meta也預計，隨著SAM的演進和發展，該技術可能會成為未來AR/VR、內容創作、設計更多領域的強大的輔助工具。

Meta的模型SAM至少涉及兩個方向，一是機器視覺，再一個是推動XR。

周五異動且比較正宗的標的：

$凌云光(SH688400)$：公司的機器視覺已經在消費電子、新型顯示、印刷包裝和新能源等眾多行業獲得廣泛應用。在智能算法方面，公司自2005年啟動研發核心算法庫VisionWARE，到2021年，該算法庫迭代至5.0版本。截至目前，公司已具有基礎、定位、測量、檢測、識別、顏色、3D、深度學習和圖形用戶界面等9個技術模塊、18個算法庫和100余個算法工具包。公司算法功能的通用性強，經過多年持續研發并快速迭代升級，在精度、效率及穩定性三個性能指標上具備較好優勢。

而且凌云光參與開發與應用北京智源的悟道大模型。

$大華股份(SZ002236)$：公司基于深度學習對視頻中人、車和物的檢測和各類屬性的提取，性能指標已經達到國際一流。公司的車身識別技術可以識別130種車輛品牌以及3,000多種的車型。公司2016年在人臉識別領域的LFW上取得排名第一；2017年，公司在文本檢測和識別領域的ICDAR上3項排名第一，在場景流識別領域的KITTI排名第一。

大華一直是賣方重點推薦的核心品種，強趨勢。

$虹軟科技(SH688088)$：致力于計算機視覺技術的研發和應用，堅持以技術創新為核心驅動力，在全球范圍內為智能手機、智能汽車、AIoT等智能設備提供一站式計算機視覺技術解決方案。

其他還有：云從科技、格林深瞳、奧普特、奧比中光等。

XR賣方推薦標的：

蘋果MR相關標的：

長盈精密/智立方/兆威機電/杰普特/歌爾股份/華興源創

非蘋果VR/AR標的：

三利譜/紫建電子/聯合光電/國光電器

引用文章：網頁鏈接

關鍵詞：