10年前是游戲業(yè)學(xué)習(xí)影視業(yè)，如今，影視業(yè)需要從游戲業(yè)身上，找到技術(shù)進(jìn)步的路徑了。

全文約 5539 字

預(yù)計閱讀 14 分鐘

作為一個星戰(zhàn)粉，2020 年《曼達(dá)洛人》第二季出來的時候，我非常沉迷于它創(chuàng)造的異世界。作為一個電視劇，能夠把布景做到這般震撼而真實，這挺讓人匪夷所思的。

帶著好奇，我搜索相關(guān)資料，發(fā)現(xiàn)原來這個效果是用了新的技術(shù)：所謂的虛擬制作。

簡單來說，虛擬制作是利用數(shù)字化的方式，使用一系列計算機輔助制片和可視化電影制作方法。將虛擬現(xiàn)實和增強現(xiàn)實與 CGI 和游戲引擎技術(shù)相結(jié)合，使制作人員能夠看到場景在他們面前展開，仿佛這些場景就是在實景拍攝的。

最近又恰好看到了愛奇藝用虛擬制作打造的 THE9「虛實之城」沉浸式虛擬演唱會的新聞，發(fā)現(xiàn)原來他們也正在進(jìn)行這個領(lǐng)域的探索。

在他們演唱會正式舉辦之前，我有機會和愛奇藝CTO兼IIG總裁劉文峰聊一聊。他的結(jié)論：娛樂業(yè)的數(shù)字化正處在一個加速的進(jìn)程中，虛擬制作這樣新的技術(shù)會帶來一波新的創(chuàng)造力的解放。這聽起來挺讓人興奮的。我整理了一下我們的交流，也分享給大家。

圖 愛奇藝C TO兼IIG總裁 劉文峰

從虛擬「影視城」到創(chuàng)造力解放

張鵬：你們?yōu)槭裁催@次要使用「虛擬制作」，這個概念很新潮啊？

劉文峰：其實不是因為新潮，是因為必須。這次我們用了新的品牌：愛奇藝云演出，這個云演出如果不是用直播的形態(tài)，如果不是用這種配置虛擬制作的環(huán)境，云演出的含金量就會變得很小了。

演唱會片段

我們這次特別大的挑戰(zhàn)是來自直播。粉絲更愿意在直播的環(huán)境下能夠通過線上的互動，和他們喜歡的明星形成互動。如果不追求實時呈現(xiàn)，可能跟原來的影視制作是沒有區(qū)別的，大家拿個綠幕就可以解決，并不需要用 LED 場景和虛擬制作技術(shù)來做這件事情，很可能在更小的棚里就能完成。直播要求我們創(chuàng)造一種新的更突破的形態(tài)才行。

張鵬：虛擬制作在布景上，有什么特別的嗎？

劉文峰：我們每一個娛樂 IP，其實都在給觀眾展現(xiàn)想象中的世界，有可能是和真實世界很接近的現(xiàn)實世界的投影，也有可能是他想象不到的世界，用各種方式讓你去想象。但虛擬制作，實際上是讓表演的人和觀眾都覺得這個是真實存在的，這個是很不一樣的。

用 LED 做虛擬制作，感受完全不同，它像大自然環(huán)境里的那種光線的真實感，讓你沉浸其中。可以快速、輕松地制作出就像身臨其境的場景體驗，實現(xiàn)虛擬拍攝。你可以無限想象，無限探索，只要你想得到，就可以做出來。

張鵬：聽起來這就是虛擬「影視城」，實景可能是要受到影響了。

劉文峰：我們是打算這么干的。影視城有很多景，它本身也是模擬真實景。但是臨時搭景的成本一點也不低。我們想將這樣的景數(shù)字化，可能是以毫米級或是厘米級做非常高清的數(shù)字化，做數(shù)字資產(chǎn)的景素材。當(dāng)演員進(jìn)入到虛擬拍攝平臺，可以實現(xiàn)看上去和去影視城一樣。比如，影視城本身也是模擬真實故宮的情景。在用 LED 的情況下，直接拿真實故宮的數(shù)字化場景進(jìn)行虛擬拍攝，拍出來的真實程度可能會遠(yuǎn)高于影視城。

因為完全數(shù)字化，所有的東西都變成模型，還可以模擬出一個不可能下雪的地方下雪，比如說金字塔沒有下過雪，實際上完全數(shù)字化以后，下雪可以做到非常逼真，這個是以前想象不到的。然后可以瞬間切換到不同場景。最后看景也會變得線上化，可以直接在資產(chǎn)庫里挑出來想拍的景，在棚里面實現(xiàn)環(huán)游世界，各個地方都可以拍。

張鵬：虛擬制作的創(chuàng)作過程的核心是什么？

劉文峰：它的創(chuàng)作過程類似于游戲，但比游戲精度要高。游戲的精度相對在虛擬拍攝層面是不夠的，虛擬拍攝需要做到和現(xiàn)實世界中人眼看到世界的精度類似，而難度也在這，所以后期需要更多的設(shè)計資源。

如果你是將真實的景做成一個數(shù)字世界，在虛擬拍攝環(huán)境下，更多的是需要將實景進(jìn)行掃描，再到毫米級精度的能力。這種掃描，可以使用類似激光雷達(dá)對深度信息進(jìn)行捕捉，用多個攝像頭采集，再進(jìn)行算法合成。利用算法把由太陽光造成的，不同時間點拍同一個位置的亮度問題解決掉，可以實現(xiàn)模擬出任何時候的場景。

張鵬：這等于我們具備一個虛擬世界的創(chuàng)造能力，可以實現(xiàn)完全數(shù)字孿生在世界各地拍片。如何看待虛擬制作在生產(chǎn)端的意義？

劉文峰：虛擬制作這個詞很長時間了，但是過去拍攝都是純粹綠幕。綠幕可以后期將背景去掉，疊加你想要的任何東西，但是它受限于實時性。因為它沒有那么強的計算能力。綠幕還有很多問題，比如綠幕在現(xiàn)場的燈光，投射到眼球里是綠色的，這個顏色很難修。此外，對演員的要求極高，他完全感受不到自己在哪，很難保持一個表演狀態(tài)。使用 LED 背景墻可以讓演員實時看到，表演狀態(tài)會非常快的到位。但要注意一點，虛擬制作和綠幕并不是完全對立，綠幕具有面積大、價格低廉、容易部署等優(yōu)點，也是可以和虛擬制作相互結(jié)合的。

虛擬制作降低了生產(chǎn)門檻，人在里面可以更好地釋放自己的表達(dá)，是生產(chǎn)力端的解放。我們也是準(zhǔn)備建成一個平臺，讓每個人在平臺上可以更容易、更輕松地去發(fā)揮。我們希望這個平臺出來以后，可以一直復(fù)用，無論是我們自己的演員，還是需要在這個平臺展現(xiàn)的演員，都可以使用虛擬拍攝的場景，制作出就像身臨其境的感覺。

張鵬：看來虛擬制作可以讓內(nèi)容的生產(chǎn)變得更聚焦在創(chuàng)造力之上。

娛樂業(yè)一樣要步入「工業(yè)4.0」

張鵬：采用虛擬制作，而不是傳統(tǒng)的布景方式，對演員是有解放的。同時對于整個的制作流程來說，它的本質(zhì)上是一個全面的數(shù)字化和智能化？

劉文峰：是的，全面的數(shù)字化和智能化之后，它才能用到過去移動互聯(lián)網(wǎng)、大數(shù)據(jù)、AI 等技術(shù)紅利。你會發(fā)現(xiàn)原來是完全靠人，現(xiàn)在可以通過機器更有效率地完成，人可以更聚焦在創(chuàng)造上，而不是流程性的工序。這個是理解虛擬制作的本質(zhì)，實際上它是一個完整體系的生產(chǎn)效率的提升。我開玩笑說「我們的智能制作這個事情類比于工業(yè) 4.0，可以叫影視工業(yè) 4.0。」

其實，從更宏大的視角而言，虛擬制作是智能制作里的一個子集或者是一個分支，這個分支更側(cè)重于如何利用 XR、虛擬制作技術(shù)等來實現(xiàn)智能化的舞臺，從而完成影視和綜藝演出等內(nèi)容的制作。所以它是更注重在拍攝環(huán)節(jié)里面的虛擬化場景。

張鵬：你們發(fā)展智能制作技術(shù)的起因是什么？

劉文峰：當(dāng)時要解決的問題特別簡單，我們綜藝的拍攝周期變得越來越短，拍完到上線之間時間很短。最多拍攝時候有好幾十個機位，同時拍一個場景。這時候選合適的演員和表情，如果用傳統(tǒng)的手法，一定是需要更多的人，生產(chǎn)力的提升不是線性的，也會出現(xiàn)溝通的問題，最后質(zhì)量還不好，所以大家很焦慮。

我們當(dāng)時想，能不能將在互聯(lián)網(wǎng)里積累的技術(shù)，反饋給 B 端制作團(tuán)隊使用的工具箱中。比如現(xiàn)在 AI 算法做面部識別，可以識別出每個鏡頭拍的人以及他的表情，這樣可以用搜索快速找到想要找的人。我們在盡可能將每一步用上算法，節(jié)省了大量時間。后來發(fā)現(xiàn)團(tuán)隊的接受度越來越高，甚至有新的需求提進(jìn)來。這個就是智能制作的動因。

智能制作還有一個好處在于，數(shù)字平行世界的邊際成本是最低的，使得你有更多機會，在這件事情發(fā)生之前反復(fù)的優(yōu)化迭代，最終找到最完美的解決方案，同時可以節(jié)省時間和降低成本。

互動和網(wǎng)絡(luò)效應(yīng)

張鵬：在技術(shù)的推動之下，用戶和內(nèi)容制作之間的關(guān)系，會有什么樣的變化？

劉文峰：我們一直嘗試帶來一些好的改變。我們在 18 年的時候嘗試做互動。傳統(tǒng)線性和單向的播出形式，用戶的參與只能通過線下的交流，或者在社交網(wǎng)站上交流。彈幕是一種形式的互動，彈幕的出現(xiàn)改變了屏幕里面的內(nèi)容，將播出的畫面和彈幕合在一起去消費內(nèi)容，這是一次創(chuàng)新。但它和內(nèi)容結(jié)合的程度其實是弱的。所以我們做了互動視頻，希望讓用戶像玩游戲一樣，來控制視頻故事情節(jié)的走向。

在這次演唱會中，我們探索將用戶的互動直接變成節(jié)目的一部分，用戶和用戶的互動都變成內(nèi)容。我們這次高階票的用戶會獲取到應(yīng)援棒，那個應(yīng)援棒會寄到他家里，拿著應(yīng)援棒，這個節(jié)目播出的時候，導(dǎo)演會控制當(dāng)時用什么顏色。以后隨著應(yīng)援棒的傳感器進(jìn)一步發(fā)展，觀眾和節(jié)目實時的雙向互動，將使得節(jié)目和玩法的想象空間變得很大。

張鵬：是的，彈幕其實還是異步的，但這個是實時的。說白了，用一切手段榨取真實世界里數(shù)字化的進(jìn)程，能夠越實時化，越孿生越好。

用戶進(jìn)來會變成內(nèi)容，而內(nèi)容也會吸引更多的用戶，對于互動和內(nèi)容的再定義好像變成你們整個生態(tài)不斷擴展的一種手段，你怎么看？

劉文峰：用戶和內(nèi)容的雙向正反饋，網(wǎng)絡(luò)效應(yīng)才會出來。內(nèi)容創(chuàng)作和內(nèi)容消費以及其商業(yè)化完全形成良性的增長和規(guī)模化，價值才會得到更加充分的釋放。商業(yè)模式也可以變得更加立體，而不只是單一的消費。單一的消費更像販賣式，持續(xù)性太弱了。形成規(guī)模效應(yīng)和網(wǎng)絡(luò)效應(yīng)之后，會使得內(nèi)容制作和內(nèi)容消費兩個閉環(huán)首尾相連。

張鵬：我覺得一個好的系統(tǒng)不在于他的絕對確定性，這樣的系統(tǒng)往往擴展性是非常弱的，你需要在一個包含不確定的系統(tǒng)里面找確定性。而技術(shù)和網(wǎng)絡(luò)效應(yīng)可以促進(jìn)這一點。

流程、組織和能力的變化趨勢

張鵬：節(jié)目生產(chǎn)流程長期變化就是組織變化，組織的長期變化就是能力和人的變化，這個層面上你有什么能推演一下？

劉文峰：我們已經(jīng)在創(chuàng)造一種新形式的組織形態(tài)，就是創(chuàng)意者團(tuán)隊和技術(shù)團(tuán)隊的距離非常近，兩者緊密合作。在項目立項過程中，技術(shù)團(tuán)隊是其中一部分。之前更多是導(dǎo)演指揮現(xiàn)場的人來實現(xiàn)節(jié)目制作，但是現(xiàn)在變成導(dǎo)演的需求，直接在我們 APP 的研發(fā)過程中就能夠落地。這個是以前想象不到的。

虛擬內(nèi)容設(shè)計師調(diào)整場景

這次導(dǎo)演不僅僅是將節(jié)目編排好，還要考慮將用戶的虛擬分身，和演員之間實現(xiàn)互動，虛擬分身在有聯(lián)線的時候會直接在屏幕上。所以組織形態(tài)變成，研發(fā)團(tuán)隊就在現(xiàn)場，直接接受導(dǎo)演的指揮。產(chǎn)品的研發(fā)和一個節(jié)目的研發(fā)融合在一起。以前是互相分開的，一個產(chǎn)品的研發(fā)更多的是分發(fā)端，你給我節(jié)目上線，我這邊播出，現(xiàn)在是你給我流，我直接推過來。更進(jìn)一步的是你給我流，我在上面增加產(chǎn)品的特性，然后輸出給用戶。

張鵬：總結(jié)起來就是未來偉大的導(dǎo)演身邊，未來要有一堆理工男，能夠理解藝術(shù)的理工男跟一個偉大的創(chuàng)作者一起去實現(xiàn)那樣的東西，才是有效率。在你們那里，這些技術(shù)人員在劇組里算什么身份，怎么定義？以前似乎沒有這樣的人？

劉文峰：以前很少。這次節(jié)目組，讓我掛名演出的總工程師。現(xiàn)在想想技術(shù)是整個團(tuán)隊里面的一部分了，所以技術(shù)的人員也是制作團(tuán)隊的一部分。未來成名大片里，也許能夠找到越來越多理工男的名字。

張鵬：面向未來，跟原來的能力相比，有什么會變得不重要，而又有什么會變得很重要？

劉文峰：創(chuàng)意一定是非常重要的，永遠(yuǎn)重要。另外重要的是一定要有一些 IT 思維。你肯定不需要是那個程序員，但如何用 IT 的方式解決問題是很重要的。我們看到現(xiàn)在很多制作團(tuán)隊里，還非常傳統(tǒng)的用小本記事情，用到的數(shù)字化可能就是微信記錄。事實上稍微有點 IT 思維的人，可以更靈活的使用協(xié)同的工具。

元宇宙中的沙盒框架

張鵬：最近關(guān)于 Metaverse(元宇宙）的討論越來越多，你怎么看它？它會是下一代的娛樂的形態(tài)嗎？

劉文峰：Metaverse 可以理解成一種理念：能夠?qū)⑻摂M的世界進(jìn)行連接。如果在影視 IP 的最終展現(xiàn)形態(tài)的背后，是一個連接的虛擬世界，它會將游戲和影視的邊界真正徹底打破。之前邊界越來越模糊，是指像玩游戲一樣去控制電影，但是他的結(jié)局還是有限的。但是當(dāng)你的游戲就是你的電影本身，當(dāng)你的電影隨時可以切換游戲本身的時候，這個邊界就真的完全打破了。

這個想法上的突破，實際上是我們希望能夠使用共同的引擎來制作不同的內(nèi)容。還可以利用 XR、VR、AR、AI、甚至加上區(qū)塊鏈的技術(shù)，將人的身份在這個世界里面形成。這些技術(shù)合在一起之后，我們覺得目前的發(fā)展方向是把游戲、影視，甚至動漫等等不同題材和形式的內(nèi)容連接在一起，這個是很重要的。

當(dāng)一個 IP 的世界能夠連接在一起之后，用戶消費影視的時候，可以在任何一個時間點暫停進(jìn)入游戲，他就成為里面的某個角色，他就可以開始打怪。好看的劇里的情節(jié)不斷往前發(fā)展，其實是一個個鉤子不斷地鉤住他的情緒。游戲也一樣，游戲也是不斷的通關(guān)打怪，這兩者在人在娛樂心理上是相同的。

張鵬：游戲的世界是一個全面數(shù)字化的世界，連他的生產(chǎn)創(chuàng)造都是數(shù)字化的。接下來其實是要對影視制作者進(jìn)行更徹底的數(shù)字化。最終游戲有可能變成一個可以持續(xù)存在的世界，電影是這個世界的一個副本，打一個副本就是看場電影。

劉文峰：那個副本每隔一段時間可以更新，再下載一個版本，就又有了一個新副本，你也可以有無數(shù)的副本。

AI 不一定真的有意識，但是 AI 可以讓一些機器的語言，機器自動生成的意識的語言，去驅(qū)動 Metaverse 里面的一些故事，這些故事正好會是人想看的，或者是能夠消費的。可以想象，這個世界可以變得很驚人。

張鵬：這會讓它變成了一個超越現(xiàn)實世界的數(shù)字世界嗎？

劉文峰：是超越的，而且還會出現(xiàn)多個。我個人認(rèn)為 IP 創(chuàng)作的發(fā)展，是每一個都需要有一個獨立的 Metaverse，有自己的世界觀，世界觀越完整越能夠自制和發(fā)展，越能夠有更長的生命力。過去看到很多的 IP 的生命周期可能是五年、十年之后就會慢慢被人遺忘。而將來能夠和它的觀眾或用戶之間形成深度互動的，這個 IP 本身也會是一個平臺，這個平臺就能將用戶和機器和這個世界融合在一起，這個想象空間是極大的。我覺得未來的就是 Metaverse。

張鵬：我在想，愛奇藝是在用自己的科技的能力在 Metaverse 中構(gòu)建一個的沙盒框架嗎？這個框架有了之后，想讓更多的人創(chuàng)造可以更多的復(fù)本？同時也不止是想吸引消費的觀眾，而是真正的用戶，并且這個用戶不光是在消費可能還在創(chuàng)作。

劉文峰：對。我們現(xiàn)在看起來像個內(nèi)容創(chuàng)造和消費平臺。現(xiàn)在這個平臺不光是能分發(fā)，還能生長，最終的壁壘是一套生態(tài)，生態(tài)可以不斷地誕生更強大的事物，這個事到最后發(fā)現(xiàn)技術(shù)在里面扮演的作用，不是規(guī)模效應(yīng)，而是技術(shù)創(chuàng)新帶來的迭代。