蓋世汽車訊 據(jù)外媒報(bào)道，麻省理工學(xué)院（MIT）計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）、微軟和康奈爾大學(xué)（Cornell University）的科學(xué)家們創(chuàng)建出算法“STEGO”，可在完全沒有任何人類標(biāo)簽的情況下共同發(fā)現(xiàn)和分割對(duì)象，乃至像素。

圖片來源：MIT CSAIL

STEGO學(xué)習(xí)了“語義分割”——想象一下為圖像中的每個(gè)像素分配標(biāo)簽的過程。語義分割是當(dāng)今計(jì)算機(jī)視覺系統(tǒng)的一項(xiàng)重要技能，因?yàn)閳D像可能會(huì)被物體弄得雜亂無章。更具挑戰(zhàn)性的是這些對(duì)象并不總是適合文字框。相對(duì)于植被、天空和土豆泥等，算法往往更適用于人和汽車等離散的“事物”。以前的系統(tǒng)可能只是將狗在公園里玩耍的細(xì)微場景視為狗，但通過為圖像的每個(gè)像素分配一個(gè)標(biāo)簽，STEGO可以將圖像分解為其主要成分：狗、天空、草和它的主人。

為了降低耗時(shí)，在沒有人類幫助的情況下發(fā)現(xiàn)對(duì)象，STEGO會(huì)尋找出現(xiàn)在整個(gè)數(shù)據(jù)集中的相似對(duì)象。然后，它會(huì)將這些相似的對(duì)象關(guān)聯(lián)在一起，以在它學(xué)習(xí)的所有圖像中構(gòu)建一致的世界視圖。

看世界

可以“看到”的機(jī)器對(duì)于自動(dòng)駕駛汽車和醫(yī)療診斷預(yù)測模型等各種新興技術(shù)至關(guān)重要。由于STEGO可以在沒有標(biāo)簽的情況下學(xué)習(xí)，它可以檢測不同領(lǐng)域的對(duì)象，甚至是人類尚未完全理解的對(duì)象。

麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)博士生、麻省理工CSAIL的研究附屬機(jī)構(gòu)、微軟的軟件工程師，以及STEGO相關(guān)論文的主要作者M(jìn)ark Hamilton表示：“如果你正在查看腫瘤掃描、行星表面或高分辨率生物圖像，若沒有專業(yè)知識(shí)，很難知道要尋找什么物體。在新興領(lǐng)域，有時(shí)甚至人類專家也不知道什么是正確的對(duì)象。在這些情況下，我們想要設(shè)計(jì)一種在科學(xué)邊界上運(yùn)行的方法，而不是指望人類在機(jī)器之前搞清楚狀況?！?/p>

視頻來源：MIT CSAIL

STEGO在一系列視覺領(lǐng)域進(jìn)行了測試，包括一般圖像、駕駛圖像和高空航拍照片。在每個(gè)領(lǐng)域，STEGO都能夠識(shí)別和分割與人類判斷密切相關(guān)的對(duì)象。 STEGO最多樣化的基準(zhǔn)是COCO-Stuff數(shù)據(jù)集，由世界各地的不同圖像組成，從室內(nèi)場景到運(yùn)動(dòng)的人，再到樹木和奶牛。在大多數(shù)情況下，以前最先進(jìn)的系統(tǒng)可以捕捉場景的低分辨率要點(diǎn)，但在精細(xì)細(xì)節(jié)上卻差強(qiáng)人意：人是一團(tuán)的、摩托車被識(shí)別為人，甚至還無法辨別所有鵝類。在相同的場景中，STEGO將先前系統(tǒng)的性能提高了一倍，并可發(fā)現(xiàn)動(dòng)物、建筑物、人、家具等許多概念。

STEGO不僅在COCO-Stuff基準(zhǔn)測試中將先前系統(tǒng)的性能提高了一倍，而且在其他視覺領(lǐng)域也取得了類似的飛躍。當(dāng)應(yīng)用于無人駕駛汽車數(shù)據(jù)集時(shí)，STEGO比以前的系統(tǒng)具有更高的分辨率和粒度，可成功分割出道路、人和路牌。在來自太空的圖像上，該系統(tǒng)將地球表面的每一平方英尺分解為道路、植被和建筑物。

連接像素

STEGO，代表“基于能量的圖優(yōu)化的自我監(jiān)督變壓器（Self-supervised Transformer with Energy-based Graph Optimization）”，是建立在DINO算法之上，該算法通過ImageNet數(shù)據(jù)庫中的1400萬張圖像了解世界。STEGO通過一個(gè)學(xué)習(xí)過程來完善DINO骨干，該過程模仿我們自己將世界的各個(gè)部分拼接在一起以產(chǎn)生意義的方式。

例如，人可能會(huì)想象兩張狗在公園里散步的圖像。盡管它們是不同的狗，擁有不同的主人，在不同的公園，STEGO依然可以（不依靠人類）分辨出每個(gè)場景的對(duì)象是如何相互關(guān)聯(lián)的。研究院甚至探究了STEGO的大腦，想知道圖像中每個(gè)棕色毛茸茸的小東西有何相似之處，以及與草和人等其他共享對(duì)象的相似之處。 通過跨圖像連接對(duì)象，STEGO構(gòu)建了一致的單詞視圖。

Hamilton表示：“這些類型的算法可以在很大程度上以自動(dòng)化的方式找到一致的分組，因此我們?nèi)祟惒槐刈约哼@樣做。理解復(fù)雜的視覺數(shù)據(jù)集（如生物圖像）可能需要數(shù)年時(shí)間，但如果我們能夠避免花費(fèi)1,000小時(shí)梳理數(shù)據(jù)并對(duì)其進(jìn)行標(biāo)記，我們就可以找到并發(fā)現(xiàn)我們可能錯(cuò)過的新信息。我們希望這將有助于我們以更經(jīng)驗(yàn)為基礎(chǔ)的方式理解視覺詞。”

圖片來源：MIT CSAIL

展望未來

盡管進(jìn)行了改進(jìn)，STEGO仍然面臨著一定的挑戰(zhàn)。一是標(biāo)簽可以是任意的。例如，COCO-Stuff數(shù)據(jù)集的標(biāo)簽區(qū)分了像香蕉和雞翅這樣的“食物”和像玉米片和意大利面這樣的“食物”，STEGO并沒有看到太大的區(qū)別。在其他情況下，STEGO也會(huì)對(duì)奇怪的圖像困惑，比如一個(gè)香蕉坐在電話接收器上，而接收器被標(biāo)記為“食品”而不是“原材料”。

未來，研究人員計(jì)劃探索為STEGO提供更多的靈活性，而不僅僅是將像素標(biāo)記為固定數(shù)量的類別，因?yàn)楝F(xiàn)實(shí)世界中的事物有時(shí)可能同時(shí)是多個(gè)事物（例如“食物”、“植物”和“水果”）。研究人員希望這將為算法提供不確定性、權(quán)衡和更抽象思維的空間。

Hamilton表示：“在制作用于理解潛在復(fù)雜數(shù)據(jù)集的通用工具時(shí)，我們希望這種類型的算法可以自動(dòng)化從圖像中發(fā)現(xiàn)對(duì)象的科學(xué)過程。在不同的領(lǐng)域中，人工標(biāo)記的成本過高，或者人類根本不知道具體的結(jié)構(gòu)，例如某些生物和天體物理學(xué)領(lǐng)域。我們希望未來能夠應(yīng)用于較為廣泛的數(shù)據(jù)集。由于不需要任何人工標(biāo)簽，我們現(xiàn)在可以開始更廣泛地應(yīng)用ML工具。”

關(guān)鍵詞： STEGO