蓋世汽車訊 據(jù)外媒報道，英偉達(dá)（Nvidia）AI研究人員開發(fā)了一種方法，通過使用超快速神經(jīng)網(wǎng)絡(luò)訓(xùn)練和快速渲染，可將數(shù)十張2D圖像快速轉(zhuǎn)換為3D場景。這一過程稱作逆渲染，利用AI模仿真實(shí)世界中光線的行為，將從不同角度拍攝的2D圖像轉(zhuǎn)換成3D場景。

（圖片來源：英偉達(dá)）

英偉達(dá)研究人員將該新方法應(yīng)用于名為神經(jīng)輻射場（NeRF）技術(shù)，從而開發(fā)出新的Instant NeRF（即時NeRF）技術(shù)，這是迄今為止最快的NeRF技術(shù)，在某些情況下，相比其他技術(shù)，其速度要快1000多倍。盡管Instant NeRF也需要拍攝照片的攝像頭角度數(shù)據(jù)，但其所使用的神經(jīng)模型只需幾秒鐘就可以訓(xùn)練幾十張靜態(tài)照片。

英偉達(dá)圖形研究副總裁在博客中進(jìn)一步闡述了NeRF和Instant NeRF之間的區(qū)別。David Luebke表示，“如果多邊形網(wǎng)格這類傳統(tǒng)3D表示方式類似于矢量圖像，那么NeRF就像位圖圖像，密集地捕捉光線從物體或場景中輻射的方式。從這個意義而言，Instant NeRF對于3D的重要性可能不亞于數(shù)碼攝像頭和JPEG壓縮對于2D攝影的重要性，極大地提高了3D捕捉和共享的速度、易用性和可實(shí)現(xiàn)性?！?/p>

通過使用神經(jīng)網(wǎng)絡(luò)，NeRF能夠基于2D圖像的輸入集合呈現(xiàn)逼真的3D場景。然而，最有趣的部分是用于創(chuàng)建這些圖像的神經(jīng)網(wǎng)絡(luò)如何能夠填補(bǔ)2D圖像之間的空白，即使圖像中的物體或人被障礙物阻擋。

通常情況下，由于可視化的復(fù)雜性和分辨率不同，使用傳統(tǒng)方法創(chuàng)建3D場景可能需要數(shù)小時甚至更長時間。而引入AI，即使是早期的NeRF模型也能夠在經(jīng)過幾個小時的訓(xùn)練后，在幾分鐘內(nèi)呈現(xiàn)出沒有偽影的清晰場景。英偉達(dá)的Instant NeRF采用該公司開發(fā)的多分辨率哈希網(wǎng)格編碼技術(shù)，能夠?qū)⑺桎秩緯r間縮短幾個數(shù)量級。這一技術(shù)經(jīng)過優(yōu)化，可在英偉達(dá)GPU上高效運(yùn)行。

未來，Instant NeRF技術(shù)可用于快速創(chuàng)建虛擬世界的場景，以3D方式捕捉視頻會議參與者及其所處環(huán)境，或?yàn)?D數(shù)字地圖重建場景，或用于訓(xùn)練機(jī)器人和自動駕駛汽車，以使其根據(jù)所捕獲的現(xiàn)實(shí)世界物體的2D圖像或視頻片段，更好地理解物體的大小和形狀。此外，建筑和娛樂行業(yè)可以使用 Instant NeRF快速生成真實(shí)環(huán)境的數(shù)字呈現(xiàn)，創(chuàng)作者可在此基礎(chǔ)上進(jìn)行修改和構(gòu)建。英偉達(dá)的研究人員還在探索如何利用新的輸入編碼技術(shù)加速解決各種AI挑戰(zhàn)，如強(qiáng)化學(xué)習(xí)、語言翻譯和通用深度學(xué)習(xí)算法。

關(guān)鍵詞： NeRF Instant