|
上?？萍即髮W(xué)信息科技與技術(shù)學(xué)院教授我是上?？萍即髮W(xué)虞晶怡，今天給大家?guī)淼难葜v主題是《什么是“扭曲現(xiàn)實”的光場技術(shù)》。首先，來看看什么是光場。這個被大家刷爆朋友圈的視頻，應(yīng)用的就是所謂的光場虛擬現(xiàn)實技術(shù)，來自于全美國最大的初創(chuàng)公司Magic Leap，這個公司市值現(xiàn)在是45億美元。上一輪融資14億美元，投資他們的是阿里巴巴和谷歌。看完之后，大家的第一個感覺應(yīng)該是問我：這是真的還是假的？很抱歉，這是假的。為什么是假的？你需要戴著AR眼鏡，才能夠看到這樣的效果。拋開眼鏡不談。很多人驚嘆：“哇，好酷！”為什么會覺得如此酷炫？這跟我們平時在電影院看到的，有什么不一樣？。我希望大家能夠帶著這些問題接收后面的演講內(nèi)容。先簡單介紹一下我自己，在過去15年，我一直在從事虛擬現(xiàn)實相關(guān)的研究，特別是光場虛擬現(xiàn)實技術(shù)。1998年，我在美國加州理工大學(xué)讀本科，主要學(xué)習(xí)的是計算機視覺和圖形學(xué)。我對虛擬現(xiàn)實非常感興趣，所以讀完本科意猶未盡，于2000年進入了麻省理工，讀完博士之后的整整十年里，我一直是在美國任教。2015年的時候，我非常困惑，每個人到了我這個年紀大概都會想，我今后的人生何去何從。在全世界最好的兩個理工大學(xué)讀畢以后，我想找一個更好的理工大學(xué)。正好上海新建了一個全新的大學(xué)——上?？萍即髮W(xué)，所以我就加入了其中，并負責(zé)虛擬現(xiàn)實中心。今后我會不會變成一個虛擬的我？那是后話。 一談到虛擬現(xiàn)實，我們就會想到360度的環(huán)視?？墒谴蠹也恢?，這其實已是20年前的舊科技，幾乎一點新科技的成分都沒有。 這是1995年的技術(shù)，主導(dǎo)的科技大神叫Eric Chen，這位老兄在蘋果公司工作。 當(dāng)然，每個人都想創(chuàng)業(yè)，當(dāng)大家看到這個進行的時候，特別興奮。所以在1998年，我和我的4個小伙伴就在想這是怎么做的。其實這個系統(tǒng)做法非常簡單，拿一個相機拍多張照片，然后用一個拼接的算法，把它拼成一張環(huán)視的照片。這個技術(shù)呈現(xiàn)，在你的手機里就有。我是一個工程師，不得不講一點核心的東西。這個技術(shù)里有兩個核心的問題：第一，要有圖像映射，英文叫Image Warping。它要能夠找到這個圖像里的這個人，對應(yīng)到另一個圖像里的同一個人。有了這樣一個映射關(guān)系，才有把握將這兩個圖像拼合在一起。但你會發(fā)現(xiàn)，它們并不能完美拼接。所以你還要利用計算機算法，找到一條邊縫。這條縫保證從左到右，切的剛剛好，那你最后完成的這個圖象就是完美的了。我實在沒能經(jīng)受住誘惑，在1999年，和我加州理工的小伙伴一起，建立了我人生的第一個公司。這個公司干什么呢？說來比較慚愧，它是為拉斯維加斯賭場拍一個環(huán)視效果。至于作用是什么，留給你們自己去想。很抱歉，這個公司并沒能成功，最后我們只賣了4000美元。然后用這4000美元，我們四個人去夏威夷玩了一趟。痛定思痛，要回過頭來想，為什么這樣一個傳統(tǒng)360度的、所謂的虛擬現(xiàn)實沒有成功？如果20年前都不能成功，憑什么說它在現(xiàn)在就可以成功？必須要知道什么地方搞錯了。根本的原因在于，現(xiàn)在的虛擬現(xiàn)實過多注重虛擬的部分。所謂虛擬現(xiàn)實，就是讓你的眼睛看到的，像真實的場景一樣。你是否滿足于將一張環(huán)視360度的圖片當(dāng)作真實？我想大家是不會滿意的。所以，我們必須要從虛擬現(xiàn)實，慢慢過渡到虛擬真實。有了虛擬真實，我們才能做到眼見為實。有了這三樣?xùn)|西，我們就可以看一下人眼的構(gòu)造。 人眼可能是全世界最精密的相機。這樣一個相機由多個部分組成，最重要的兩個部分：首先是人的角膜，它起了2/3聚焦的作用。后一部分是晶狀體，近視眼就是由于晶狀體長期變形造成的。有了晶狀體和角膜以后，我們就能把光線從三維空間映射到視網(wǎng)膜上，再通過電信號傳輸?shù)酱竽X，產(chǎn)生圖像。我為什么要講解人眼這一段呢？如果我要做真正的虛擬現(xiàn)實，那我必須要知道眼睛是怎么看世界的，知道了眼睛怎么看，我才知道怎么樣產(chǎn)生正確的內(nèi)容。現(xiàn)在，絕大部分虛擬現(xiàn)實就是一個360度的環(huán)視圖片。我們還需了解，虛擬現(xiàn)實當(dāng)前存在著三大局限性。人的兩只眼睛長在正前方。受限于這樣的布局，它也會有很大的重疊，同一個物體在左眼和右眼里都會出現(xiàn)。但它可以根據(jù)物體的偏移狀況，決定距離這個物體遠或是近。而傳統(tǒng)的360度，是沒有雙目視覺的，所以你根本連深度都看不到。當(dāng)然你可以說，我用一只眼睛也能“抓取”物體，因為人眼具備動態(tài)對焦的功能。你用一只眼睛看舞臺上的我，再看我身后的屏幕，焦距不停在變化。大腦處理了這個信息，并告訴你，你的眼睛往我看的時候，我離你近，屏幕離你遠。雖然一只眼睛也能判斷大約的深度，但它并不知道精確的深度，需要依靠兩只眼睛協(xié)同判別深度到底在哪里。 有些動物，如鴿子，它的兩只眼睛長在兩側(cè)，中間沒有交匯的地方，所以兩只眼睛分別看到不同的東西，而且它不具備較強的動態(tài)對焦的功能。可是，你很少看到鴿子撞墻，這是為什么？因為鴿子是依靠它所見物體移動的速度，來判別這個物體離它遠還是近。如果它看到一個物體移動得非?？?，它會認為物體離它非常近，并據(jù)此判斷什么時候可著陸。所以，為了產(chǎn)生真正的下一代的虛擬現(xiàn)實，你要做到三件事情——雙目視覺，動態(tài)對焦和移動視角，這才是當(dāng)今的核心問題所在。20年前，有一位以色列的技術(shù)大牛叫Shmuel Peleg，他發(fā)明了一種怎么產(chǎn)生這樣一種立體對焦的設(shè)備和算法。這個設(shè)備和算法其實也很簡單，拿一個相機，圍著三維世界旋轉(zhuǎn)一圈，拍出很多很多張照片。然后，每張照片我只取兩個數(shù)值的列。比如從中間的位置開始，往左取第五列或者往右取第五列，各拼出一張照片。這樣兩張照片，你能保證你看的時候，你的雙目視覺是正確的，這是一個非常有意思，且非常簡單的做法。再介紹一個百萬美元的設(shè)備，谷歌Jump相機。谷歌一直在研發(fā)360度3D全景系統(tǒng)。方法也是將相機排成一大圈，只是拼接的時候，它把每一張圖象一拆為二，左半邊的圖像拼在一起形成整張圖片，右半邊的圖像拼在一起形成另一張圖片，由此產(chǎn)生了360度3D全景播放系統(tǒng)。其中的難度還是有兩個：第一，怎樣實時將這些圖像拼接起來；第二，圖像拼接后，如何保證我左眼看到的和右眼看到的一致。上海科技大學(xué)也在過去一年里，研發(fā)了一套非常有意思的360度3D環(huán)視系統(tǒng)?；诤诵乃惴ㄍ瓿蓪崟r拼接，然后在云端進行壓縮和傳輸，最后在手機端實現(xiàn)360度3D直播，從而解決雙目視覺的問題。利用這套系統(tǒng)，我們在去年年底的時候，協(xié)助SMG東方文廣全景拍攝舞臺劇《戰(zhàn)馬》。你看什么地方，它能對焦到什么地方。為了解決這樣一個問題，我曾經(jīng)MIT的教授Ted Adelson，提出了一個非常了不起的概念，叫做“光場”。什么是光場？在Ted Adelson的眼里，這個世界其實是沒有三維的，沒有光照，沒有顏色。這個世界對你我來說，只有光線。只要能夠采樣到這個世界里所有的光線，就能夠進行渲染、建模，因為光線描述了空間里所有的幾何、信息、光照等等信息。
怎么表征這樣一個光線呢？ 為了表示一根直線，可以用所謂的“兩點式”，即兩個點決定一根光線。所以這兩個點你可以分別認為，它固定在兩個平面上，這兩個平面分別叫SD Plane和UV Plane。四個點，STUV四維就能表示所有的光線。采樣了那么多光線以后，你就能夠重對焦。如果我要對焦到后面的話，我可以采樣從后面射出來的光線，如果我要對焦到前面，我可以采樣前面射出來的光線。Magic Leap其中一個原理就在這里面，怎么樣讓你的眼睛看到虛擬現(xiàn)實的光場信息。我現(xiàn)在給你們看一個視頻，你可以點任何位置，它就會對焦到任何位置。它可以對焦到后面的人，也可以對焦到前面的人。點在哪里，它就會對焦到哪里。這都是后拍攝的，捕捉完，重對焦，非常有意思。這是我在2000年加入MIT以后，協(xié)助搭建的第一個相機陣列。它用了64個USB的相機，能夠采樣各個方向和各個角度的光線，采樣完以后就可以采用重對焦的方法。三四年以后，比麻省理工更有錢的斯坦福大學(xué)，花100萬美元搭建了一個更好的相機陣列，這個相機陣列在當(dāng)時來說可是超豪華的陣容。有了這樣一個相機陣列，我們就可以做動態(tài)對焦的視頻。用100萬美元做這樣一個相機陣列還是太昂貴了，沒有多少人能夠付得起。那怎么辦？現(xiàn)在的相機分辨率越來越高，很快就要超過億萬級像素?？晌艺娴男枰獌|萬級像素嗎？用不著，那就干脆改變它。我在這億萬級像素的相機前面，放一個微小的棱鏡陣列，每一個小棱鏡就好像是一個小的相機，等價于一個相機陣列，這就是所謂的光場相機。有了這個光場相機，拍一張照片就可以拍動態(tài)對焦這樣的效果。耳聽為虛，眼見為實。這是我們拍的一個能夠做到實時重對焦的360度環(huán)視。用這樣一個系統(tǒng)捕捉光場的話，它就可以很有效地模擬我們眼睛看三維世界。一種是拍電影似的做法，我用計算機圖形學(xué)方法來渲染一張又一張非常漂亮的圖片。這個方法非常好，可惜效率很低，渲染一張圖片通常需要一天的時間，而且你不可能戴在頭盔上，走到哪里渲染到哪里。另一種，是計算機視覺的做法。拍很多圖片，然后對三維空間進行一個重建，把三維空間模型重建出來。很可惜，重建的效果并不理想。如果你戴著頭盔看，體驗非常差。所以我們只能在中間找一個平衡點。這個平衡點就叫Lumigraph，Lumi就是光的意思，Graph就是圖的意思。把這兩樣一結(jié)合，我就能夠產(chǎn)生一個動態(tài)的在三維世界里走動的效果。
看《星球大戰(zhàn)》的時候，你們有沒有想到一個很有意思問題，這里面的技術(shù)非常發(fā)達，我有一個死星，能夠打一束光，一個地球就沒了；我有一把激光劍，可以削鐵如泥；R2D2機器人能跟你對話。但是當(dāng)你想看3D的時候，卻只有64個像素。可見，如果要見到真正的虛擬現(xiàn)實，或者增強現(xiàn)實的這樣一個3D全景，他們的技術(shù)還不夠。什么技術(shù)夠？就是把我剛剛講的用光場采集、陣列等技術(shù)逆向來用。我要把這個相機反向運用，制造下一代像人眼一樣的VR技術(shù)。怎么做這樣一件事情呢？在相機的事例里，我把一個小的棱鏡陣列放在我的傳感器上，現(xiàn)在我把它反過來，把相機這樣一個棱鏡陣列，貼到我的顯示器上，這樣我每一束光打出來，不但能夠控制它每一個位置，而且能控制它每一個方向的顏色。等價于在這個世界里，我能夠控制任何一個方向，任何一個位置的光線的顏色，這樣我就解決了光場生成的問題。現(xiàn)在絕大部分的VR公司都在強調(diào)做顯示端，頭盔。但是，大家忽略了很重要的問題，就是頭盔上我播什么片子呢？最關(guān)鍵點并不在于頭盔，而在于怎么樣生成內(nèi)容。由于人們的要求越來越高，已經(jīng)不滿足這種傳統(tǒng)的，只是拍一下360度環(huán)視的效果，因為它跟我的眼睛看出來一點都不一樣。慢慢它會過渡到360度3D這樣的環(huán)拍技術(shù)，至少可以解決雙目視覺的方案。在不久的未來，大家就會聚焦光場技術(shù)，因為有這樣的技術(shù)，才能進階到解決動態(tài)對焦，做到運動視差產(chǎn)生的這樣一個過程。Lytro公司，是全球最厲害的光場相機的公司，推出的最新版的光場相機，同時能在多個高度，拍攝高幀率高畫質(zhì)的圖象，然后實現(xiàn)重對焦。很可惜這個相機價值80萬美元，所以你要賣掉半套房子才能夠買這樣一個相機。我們正在研發(fā)自己的光場相機系統(tǒng)，成本控制會遠遠低于這樣一個系統(tǒng)。我的想法是，希望我們中國的用戶能夠成為全世界第一批看到光場VR效果的用戶。
|
