原文標題：《逼人去學(xué)挖掘機：朱俊彥團隊新 AI 模型發(fā)布，設(shè)計圈看了心慌慌》
CV 大佬朱俊彥的新論文，讓設(shè)計師們感覺危了。
事情是這樣的：
量子位在微博上搬運了朱俊彥團隊的新成果，一個能將 2D 草圖一鍵變成 3D 模型的新算法，卻意外引發(fā)設(shè)計圈盆友們的熱烈轉(zhuǎn)發(fā)討論。
配文全是“沃日”、“？？？”……
簡單來說，這個模型能讓非常粗糙的簡筆畫，一鍵變成逼真 3D 模型。
還支持實時編輯，不滿意的地方擦掉重畫，立馬生成一個新的：
要知道之前的“圖轉(zhuǎn)圖”模型，基本都是停留在 2D 層面，這回直接變 3D 真是一個突破。
也確實是生產(chǎn)力利器。
但沒想到，是設(shè)計圈先感到了危機。有圈內(nèi)博主就覺得又要被 AI 搶飯碗了，隨后也有很多人跟轉(zhuǎn)了這一條。
所以論文成果到底說了啥？一起來看。
可從任意角度實時編輯
現(xiàn)在有很多圖-圖的轉(zhuǎn)換模型，但基本上都是 2D-2D。
這是因為從 2D 到 3D，在訓(xùn)練和測試過程中都有很大挑戰(zhàn)。
訓(xùn)練方面，想要把 2D 輸入圖像和 3D 輸出圖像配對，需要龐大數(shù)據(jù)集，成本會很高。
測試方面，為了得到不同角度的 3D 模型，需要輸入圖像的多個視角，但是二者之間可能存在不一致的情況，導(dǎo)致生成效果不好。
為了解決這些問題，朱俊彥團隊提出了使用 3D 神經(jīng)場景表示（3D neural scene representations）的條件生成模型。
它只需要給定一個 2D 標簽圖（如語義分割圖和勾線圖），能為每個 3D 點匹配標簽、顏色和密度等。實現(xiàn)在渲染圖像的同時，像素對齊標簽圖像。
通過構(gòu)建一個交互式系統(tǒng)，用戶能在任何視角修改標簽圖，并生成與之相對的輸出。
為了實現(xiàn)跨視圖編輯，需要將額外的語音信息編碼為 3D 的，然后通過圖像重建和對抗損失（adversarial losses）的 2D 監(jiān)督，來學(xué)習(xí)上述 3D 表示。
重建損失可以確保 2D 用戶輸入和相應(yīng)的 3D 內(nèi)容對齊，像素對齊條件鑒別器（ pixel-alignedconditional discriminator）也進一步促使外觀和標簽對應(yīng)合理，并在新視角時也保持像素對齊。
最后，方法還提出了跨視圖一致性損失，強制潛碼在不同視點保持一致。
和不同模型對比顯示，pix2pix-3D 能在保持多視角一致的情況下，生成高質(zhì)量結(jié)果。
消融實驗結(jié)果同樣顯示，該方法的生成結(jié)果能更好和輸入圖像對齊。
不過研究團隊也提出了方法的一些局限性。
第一，目前它還只能針對于單個對象；
第二，模型在訓(xùn)練過程中，需要與每個訓(xùn)練圖像關(guān)聯(lián)相機姿態(tài)（camera pose），推理時不需要。如果能不依賴于相機姿態(tài)，可以進一步擴大模型的使用范圍。
朱俊彥團隊出品
該論文成果來自朱俊彥團隊。
朱俊彥，現(xiàn)任 CMU 計算機科學(xué)學(xué)院助理教授，是 AI 領(lǐng)域知名的青年學(xué)者。
2008 年，朱俊彥進入清華大學(xué)計算機科學(xué)系，學(xué)習(xí)計算機科學(xué)專業(yè)。在同專業(yè) 140 人中，朱俊彥排名第 2。
2012 年清華本科畢業(yè)后，朱俊彥奔赴美國，在 CMU 和 UC 伯克利經(jīng)過 5 年學(xué)習(xí)，獲得了 UC 伯克利電氣工程與計算機科學(xué)系的博士學(xué)位，師從 Alexei Efros。
其博士畢業(yè)畢業(yè)論文 Learning to Generate Images，獲得了計算機圖形學(xué)頂會 ACM SIGGRAPH 2018“杰出博士論文獎”。
博士畢業(yè)后，朱俊彥來到 MIT 計算機與人工智能實驗室（CSAIL），成為一名博士后研究員。2020 年秋季，他回到曾經(jīng)的母校 CMU（卡內(nèi)基梅隆大學(xué)），擔任助理教授一職。
曾提出 CycleGAN、GauGAN 等明星模型。
論文一作為 Kangle Deng。他現(xiàn)在是卡耐基梅隆大學(xué)機器人學(xué)院的一名在讀博士。
2020 年從北京大學(xué)本科畢業(yè)。他以第一作者身份發(fā)表的論文，曾被 CVPR 2022、ICLR 2021 接收。
論文地址：
https://arxiv.org/abs/2302.08509
本文來自微信公眾號：量子位 （ID：QbitAI），作者：明敏
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。