來(lái)源丨量子位（ID：QbitAI）

作者丨魚(yú)羊 栗子 乾明 發(fā)自 凹非寺

你離礁石越來(lái)越近，仿佛還有一秒就要觸礁了。

不過(guò)這張動(dòng)圖，并不是從人類(lèi)拍攝的視頻里截下來(lái)的。

是Adobe放出的新魔法，把這張靜態(tài)照片變出了立體感，整個(gè)過(guò)程只需要2-3秒：

這種特效處理，常常用于紀(jì)錄片等視頻的后期制作，名為Ken Burns Effect。

原本只是2D縮放 (下圖左) ，通過(guò)對(duì)靜止圖像的平移和縮放，來(lái)產(chǎn)生視差，從而實(shí)現(xiàn)動(dòng)畫(huà)效果。

但Adobe這種3D效果 (上圖右) ，不僅有平移和縮放，還有視角轉(zhuǎn)換，給人更沉浸的體驗(yàn)。想要實(shí)現(xiàn)，需要專業(yè)的設(shè)計(jì)師在Photoshop等軟件中花費(fèi)數(shù)個(gè)小時(shí)時(shí)間。

而且制作成本也很高，一張照片大概需要40-50美元 (約合人民幣280-350元) 。Adobe也登上了ACM主辦的計(jì)算機(jī)圖形學(xué)頂級(jí)期刊TOG，引發(fā)了大量討論與關(guān)注。不乏有激動(dòng)的網(wǎng)友給出“三連”：

Incredible. Amazing. Holy shit.

完全不是簡(jiǎn)單的縮放

透視原理決定，前景比背景的移動(dòng)/縮放更劇烈。所以，前景移動(dòng)的時(shí)候，背景除了移動(dòng)，也要跟著修復(fù)。AI的背景修復(fù)十分自然，手法明顯比“前輩”更高超：

形狀有點(diǎn)奇怪的教堂

并且，不論背景簡(jiǎn)單復(fù)雜，AI都不怕。比如，走到沙發(fā)跟前，沙發(fā)就擋住了后面窗戶外的草地：

背景的色彩和結(jié)構(gòu)都很復(fù)雜，但AI并沒(méi)有蒙蔽。

如果你覺(jué)得，剛才的視角變化只是由遠(yuǎn)及近，不夠復(fù)雜。那就看一眼這古老的臺(tái)階吧：

仿佛你打算走上臺(tái)階，所以正在朝著它的方向，慢慢轉(zhuǎn)身。

除此之外，一條古老的走廊，你置身其中，好像正在從上仰的視角，變得平視前方。

當(dāng)然，不只是風(fēng)景，人像也可以處理。

比如，草地上的新娘，可以遠(yuǎn)觀，也可以近距離欣賞：

就像開(kāi)頭說(shuō)的那樣，所有的變換，只靠一張靜態(tài)圖來(lái)完成。

這自然不是普通的縮放可以做到的：

左為普通縮放，右為3D魔法

所以，究竟是怎樣的技術(shù)做到的？

三步定邊界，結(jié)合上下文感知

用單個(gè)圖像合成逼真的相機(jī)移動(dòng)的效果要解決兩個(gè)基本問(wèn)題。首先，要設(shè)置一個(gè)新的相機(jī)位置，合成新視圖，并且需要準(zhǔn)確地恢復(fù)原始視圖的場(chǎng)景幾何結(jié)構(gòu)。其次，根據(jù)預(yù)測(cè)的場(chǎng)景幾何結(jié)構(gòu)，要將新視圖在連續(xù)的時(shí)間線上合成，這就涉及到去遮擋這樣的圖像修復(fù)手段。

研究人員們用了三個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建處理框架。

用以訓(xùn)練的數(shù)據(jù)集是用計(jì)算機(jī)生成的。研究人員從UE4 Marketplace2收集了32種虛擬環(huán)境，用虛擬攝像機(jī)在32個(gè)環(huán)境中捕獲了134041個(gè)場(chǎng)景，包括室內(nèi)場(chǎng)景，城市場(chǎng)景，鄉(xiāng)村場(chǎng)景和自然場(chǎng)景。每個(gè)場(chǎng)景包含4個(gè)視圖，每個(gè)視圖都包含分辨率為512×512像素的顏色、深度和法線貼圖。

指定一張高分辨率圖像，首先根據(jù)其低分辨率版本估計(jì)粗糙深度。這一步由VGG-19來(lái)實(shí)現(xiàn)，根據(jù)VGG-19提取的語(yǔ)義信息指導(dǎo)深度估計(jì)網(wǎng)絡(luò)的訓(xùn)練，并用具有g(shù)round truth的計(jì)算機(jī)合成數(shù)據(jù)集進(jìn)行監(jiān)督。如此，就能提取出原始圖像的深度圖。

第二個(gè)網(wǎng)絡(luò)，是Mask R-CNN。為了避免語(yǔ)義失真，平行于VGG-19，用Mask R-CNN對(duì)輸入的高分辨率圖像進(jìn)行分割，而后用分割的結(jié)果來(lái)對(duì)深度圖進(jìn)行調(diào)整，以確保圖中的每個(gè)對(duì)象都映射到一個(gè)相干平面上。

最后，利用深度細(xì)化網(wǎng)絡(luò)，參考輸入的高分辨率圖像，對(duì)提取出的粗糙深度進(jìn)行上采樣，確保深度邊界更加精確。

之所以要采用深度細(xì)化網(wǎng)絡(luò)，是因?yàn)椴们袑?duì)象的過(guò)程中，對(duì)象很可能在邊界處被撕開(kāi)。

有了從輸入圖像獲得的點(diǎn)云和深度圖（注：點(diǎn)云指通過(guò)3D掃描得到的物品外觀表面的點(diǎn)數(shù)據(jù)集合），就可以渲染連續(xù)的新視圖了。

不過(guò)，這里又會(huì)出現(xiàn)一個(gè)新的問(wèn)題——當(dāng)虛擬攝像機(jī)向前移動(dòng)的時(shí)候，對(duì)象本身會(huì)產(chǎn)生裂隙（下圖中高塔右側(cè)像被網(wǎng)格切開(kāi)了）。

為了解決這個(gè)問(wèn)題，研究人員采取了結(jié)合上下文感知修復(fù)的方法。

結(jié)合上下文信息能夠產(chǎn)生更高質(zhì)量的合成視圖。上下文信息劃定了相應(yīng)像素在輸入圖像中位置的鄰域，因此點(diǎn)云中的每個(gè)點(diǎn)都可以利用上下文信息來(lái)進(jìn)行擴(kuò)展。

具體而言，第一步，是進(jìn)行顏色和深度圖像修復(fù)，以從不完整的渲染中恢復(fù)出完整的新視圖，其中每個(gè)像素都包含顏色，深度和上下文信息。

而后，利用圖像修復(fù)深度，將圖像修復(fù)顏色映射到點(diǎn)云中新的色調(diào)點(diǎn)。

重復(fù)這一過(guò)程，直到點(diǎn)云充分?jǐn)U展，填補(bǔ)空隙，可以實(shí)時(shí)地呈現(xiàn)完整且連續(xù)的畫(huà)面。

“用過(guò)都說(shuō)好”

研究人員覺(jué)得好，那不算好。新方法效果如何，還是用戶說(shuō)了算。

于是，研究團(tuán)隊(duì)搞出了一個(gè)“非正式用戶調(diào)研”。他們?cè)赮ouTube上搜集了30個(gè)人類(lèi)創(chuàng)造的3D Ken Burns視頻，將其分成“風(fēng)景”，“肖像”，“室內(nèi)”，“人造室外環(huán)境”四組，每組隨機(jī)抽取三個(gè)視頻作為樣本。

8位志愿者參與到了這個(gè)測(cè)試之中。團(tuán)隊(duì)為每個(gè)志愿者分配了一張靜態(tài)圖，并提供了人類(lèi)作品作為參考，要求志愿者使用新方法和Adobe After Effects模板、移動(dòng)App Viewmee這兩種Ken Burns制作工具創(chuàng)作類(lèi)似的效果。

志愿者會(huì)依據(jù)自己的主觀意見(jiàn)評(píng)價(jià)每種工具的可用性和質(zhì)量。

在志愿者們看來(lái)，不論是從效果上，還是易用性上，Adobe的這個(gè)新工具顯然好得多。

來(lái)自Adobe的實(shí)習(xí)生（現(xiàn)已轉(zhuǎn)Google）

這項(xiàng)研究的第一作者，是一名波特蘭州立大學(xué)的博士生，名為Simon Niklaus，研究方向?yàn)橛?jì)算機(jī)視覺(jué)與深度學(xué)習(xí)。

他在Adobe Research實(shí)習(xí)的時(shí)候完成了這項(xiàng)工作，目前他正在Google實(shí)習(xí)。

他的博士生導(dǎo)師，名為Feng Liu，博士畢業(yè)于威斯康辛大學(xué)麥迪遜分校，現(xiàn)在是波特蘭州立大學(xué)的助理教授，也是這一研究的做作者之一。

此外，這項(xiàng)研究還有另外兩名作者，分別是Long Mai和Jimei Yang，都是Adobe的研究科學(xué)家。

Simon Niklaus在Hacker News上與網(wǎng)友互動(dòng)時(shí)也談到了研究的開(kāi)源計(jì)劃。他說(shuō)，自己計(jì)劃公布代碼以及數(shù)據(jù)集，但還沒(méi)有得到批準(zhǔn)。因?yàn)檫@項(xiàng)工作是“實(shí)習(xí)生”完成的， Adobe在開(kāi)源方面都比較大度。

當(dāng)然，這也無(wú)法排除他們商業(yè)化的可能性，如果你對(duì)這一研究感興趣，可以先看下研究論文：

3D Ken Burns Effect from a Single Image

論文傳送門(mén)：https://arxiv.org/abs/1909.05483

主頁(yè)傳送門(mén)：http://sniklaus.com/papers/kenburns

One more thing……

關(guān)于Ken Burns Effect，也有一段喬布斯的往事。

為了將這一特效用到蘋(píng)果中，喬布斯還專程聯(lián)系了Ken Burns，希望能夠得到他的許可。一開(kāi)始，Burns是拒絕的，他不想自己的名字被商業(yè)化。但后來(lái)，Burns透露，他同意了喬布斯的請(qǐng)求。

這中間到底發(fā)生了什么，也沒(méi)有太多信息傳遞出來(lái)。

現(xiàn)在，這一效應(yīng)在iPhone中應(yīng)用非常廣泛，比如照片的“回憶”功能，就能夠自動(dòng)利用這一特效，把一張張照片制作成視頻。

這也給Burns帶來(lái)了很多“麻煩”。他說(shuō)，有時(shí)候自己走在街上，會(huì)有陌生人沖到他面前，說(shuō)自己如何在iPhone上使用它，或者是問(wèn)他問(wèn)題。

對(duì)于這種情況，他說(shuō)自己都是盡力快速逃離現(xiàn)場(chǎng)。跟明星遇上私生飯差不多。

emmm……

— 完—

本文經(jīng)授權(quán)轉(zhuǎn)載自量子位（ID：QbitAI），如需二次轉(zhuǎn)載請(qǐng)聯(lián)系原作者。

歡迎轉(zhuǎn)發(fā)到朋友圈。

果殼

ID：Guokr42

整天不知道在科普些啥玩意兒的果殼

我覺(jué)得你應(yīng)該關(guān)注一下

推薦閱讀：廣州都市網(wǎng)