中文視頻AI邁入“有聲之年”。

作者|景行

編輯|楊舟

不得不感嘆AI大模型的進(jìn)步速度。

12月，可靈AI先是發(fā)布統(tǒng)一多模態(tài)視頻大模型可靈O1，緊接著閃電發(fā)布可靈2.6、數(shù)字人2.0。

可靈2.6的發(fā)布，則讓困擾視頻工作者已久的聲畫(huà)不同步問(wèn)題得到解決，其核心功能就是音畫(huà)同出，簡(jiǎn)單理解，一次生成，能同時(shí)做出視頻和音頻，而且二者實(shí)時(shí)同步。

其中，可選的音頻效果不僅涵蓋人聲對(duì)話、獨(dú)白，還提供環(huán)境音、效果音、樂(lè)器演奏乃至說(shuō)唱等完整的音頻生態(tài)。

在此之前，部分海外視頻模型已經(jīng)在音畫(huà)同出領(lǐng)域做出探索，如Google Veo 3.1和OpenAI Sora 2，二者均能實(shí)現(xiàn)從口型到動(dòng)作、聲音的同步生成，并與畫(huà)面完成匹配。

但這些模型同樣存在弱點(diǎn)，如音頻控制力不足，同角色的不同片段聲音、語(yǔ)氣統(tǒng)一效果一般，對(duì)中文語(yǔ)音的理解不足導(dǎo)致腔調(diào)怪異，用戶調(diào)整困難等等。

在可靈2.6發(fā)布后，「市象」也在第一時(shí)間試用了產(chǎn)品。在一系列測(cè)試后，可以確認(rèn)的是，AI視頻模型，要對(duì)過(guò)去的創(chuàng)作流程徹底重構(gòu)了。

01從啞劇到聲臨其境

AI視頻的音畫(huà)同出，并非最新功能，此前已有多模型能做到。

“Sora 2是視頻生成領(lǐng)域的 GPT-3.5時(shí)刻。”

這一表述來(lái)自今年9月，OpenAI的官方博客。伴隨新一代視頻生成模型Sora2發(fā)布，OpenAI公開(kāi)表示，新模型的性能已經(jīng)超越歷代模型，不僅在物理效果上更加精確，同時(shí)還配備了同步音頻功能。

例如，在生成視頻時(shí)，能完成復(fù)雜的運(yùn)動(dòng)動(dòng)作，或模擬真實(shí)運(yùn)動(dòng)場(chǎng)的物理表現(xiàn)，同時(shí)生成背景音、語(yǔ)音和音效，并將其融入到視頻當(dāng)中。

但面對(duì)Sora2、Veo3.1這樣的海外一線模型時(shí)，不少海外博主，表現(xiàn)出對(duì)可靈2.6的認(rèn)可。

“這比Veo3好多了！相比Veo3，它最大的優(yōu)勢(shì)在于：原生支持1080p，這在畫(huà)質(zhì)上帶來(lái)了巨大的提升。”

這一表述來(lái)自海外視頻博主Simon Meyers，在分享中，他使用可靈2.6制作了一則預(yù)告片，并用各種復(fù)雜的提示詞來(lái)測(cè)試模型功能：

“我嘗試了各種聲音和對(duì)話，沒(méi)有發(fā)現(xiàn)任何明顯的限制——音效、人聲，甚至歌聲都能完美呈現(xiàn)！當(dāng)然，和所有視頻模型一樣，你仍然需要進(jìn)行一些迭代，但這完全可以接受。語(yǔ)音聽(tīng)起來(lái)很逼真，語(yǔ)調(diào)也十分精準(zhǔn)，總的來(lái)說(shuō)，這是一個(gè)巨大的飛躍。”

在這段不到一分鐘時(shí)長(zhǎng)的作品中，觀眾可以直觀感受到可靈2.6對(duì)音畫(huà)生成的理解：

單人獨(dú)白、背景歌曲、視頻氛圍音效、吉他彈奏聲（甚至有遠(yuǎn)景和近景下，兩種吉他音的不同表現(xiàn)）、歌唱聲、打擊樂(lè)器聲、氣球、攪拌器、電鉆、無(wú)人機(jī)、甚至結(jié)尾字幕配合的女聲吟唱，多種復(fù)雜音頻出現(xiàn)在同一作品中，互不干擾，并與畫(huà)面完美融合。

另一視頻博主Curious Refuge選擇用新的方式測(cè)試可靈2.6——用四組畫(huà)面和生成詞，分別交給Veo3.1和可靈2.6，分別是俯拍鏡頭，兩位騎士騎馬穿越森林；推鏡頭，食客在面館吃拉面；特寫(xiě)鏡頭，男子在帆船上獨(dú)白；固定中景鏡頭，男子吃掉餅干，并與寵物狗交流。

結(jié)論是，可靈2.6的表現(xiàn)令人意外。

在各項(xiàng)對(duì)比中，可靈2.6在多個(gè)測(cè)試成績(jī)上要超過(guò)Veo3.1，如場(chǎng)景生成、相機(jī)運(yùn)動(dòng)更符合生成詞等等。盡管在Veo 3.1的輸出結(jié)果中，也有部分表現(xiàn)出色，如音頻更為洪亮，但該博主的結(jié)論是，在這一輪測(cè)試中，可靈2.6略占上風(fēng)。

事實(shí)上，除音畫(huà)協(xié)同外，可靈2.6還重點(diǎn)強(qiáng)化了音頻質(zhì)量和語(yǔ)義理解。前者會(huì)讓各類音效層次更豐富、接近真實(shí)世界的聲音效果；后者則讓AI對(duì)復(fù)雜劇情的理解能力更強(qiáng)，理解作者意圖。

更多音頻元素的融入，則讓AI視頻效果直逼現(xiàn)實(shí)。除了單人講話外，可靈2.6支持多人多白、不同風(fēng)格歌聲、環(huán)境音、物理音效，乃至多種音頻組合的混合音效。

這意味著，創(chuàng)作者只需要通過(guò)文本描述，就能還原一個(gè)物理世界多重環(huán)境音的層次感與空間感，獲得一個(gè)無(wú)需后期修改的完整作品。

02重構(gòu)工作流

過(guò)去的AI視頻模型，創(chuàng)作者的工序大概是這樣幾步：

創(chuàng)作者思考創(chuàng)意，確定文字腳本、畫(huà)面分鏡等方向——由AI生成文、圖等素材——進(jìn)一步通過(guò)素材生成視頻——后期生成配音和音效，并校對(duì)完成。

其中，后期制作是最為耗時(shí)的環(huán)節(jié)之一。對(duì)剪輯從業(yè)者來(lái)說(shuō)，無(wú)論是語(yǔ)音、效果音的制作和篩選，還是視頻的后期對(duì)軸，將音效與畫(huà)面逐幀對(duì)齊，這一工作對(duì)視頻質(zhì)量的影響極大，不僅依賴經(jīng)驗(yàn)，且過(guò)程繁瑣，需要在視頻工具、音頻工具中反復(fù)切換，

這讓可靈2.6的新功能重要性更為突出。在創(chuàng)作時(shí)，用戶只需輸入畫(huà)面、動(dòng)作、聲音的三要素精確描述，就能獲得一段高質(zhì)量的AI視頻。

這意味著，無(wú)論用戶是否有AI視頻創(chuàng)作經(jīng)驗(yàn)，都能在可靈2.6模型中體驗(yàn)無(wú)門(mén)檻的創(chuàng)作流程。

具體方法十分簡(jiǎn)單，在Web端可靈頁(yè)面中選擇視頻生成，文生視頻、圖生視頻均可選擇，在下方勾選“音畫(huà)同出”，并選擇品質(zhì)模式、畫(huà)面比例和產(chǎn)出條數(shù)，輸入生成詞或參考圖即可。

需要注意的是，要生成一條滿意的AI音畫(huà)直出視頻，用戶最好能對(duì)視頻畫(huà)面、動(dòng)作、聲音三要素進(jìn)行精確描述，如畫(huà)面細(xì)節(jié)，人物情緒、語(yǔ)速等。

「市象」選擇文生視頻的方式，首先測(cè)試可靈2.6對(duì)歌曲、樂(lè)器的理解能力，生成詞如下：

光線明亮的演播室，歌手正在一邊彈奏吉他，發(fā)出悠揚(yáng)的吉他音樂(lè)聲，一邊用溫柔的聲音演唱中文歌曲。

可以看到，視頻中歌手不僅通過(guò)自彈自唱方式演唱了一段原創(chuàng)歌曲，且口型、彈奏動(dòng)作畫(huà)面與聲音形成契合。整個(gè)視頻不僅能實(shí)現(xiàn)畫(huà)面流暢、光影自然，在音頻層面則能做到旋律清晰，吉他演奏聲與人聲演唱層次分明，互不干擾。

再如這段生成詞：中景，慢速推鏡頭，雨聲比較大的陰雨天，有短促的閃電，滿臉泥濘的消防員在雨中說(shuō)，很高興，我們成功撲滅了大火。

從視頻效果看，可靈按要求還原了雨天場(chǎng)景，同時(shí)表現(xiàn)出了雨水落在帽子上的物理效果，人物的獨(dú)白聲則與背景的雨聲獨(dú)立開(kāi)來(lái)，形成有層次的混合音效體驗(yàn)。

03當(dāng)AI學(xué)會(huì)說(shuō)話

在與羅永浩的播客對(duì)談中，影視颶風(fēng)創(chuàng)始人TIM曾有這樣一番表述：在AI面前，創(chuàng)作者10年的努力都沒(méi)有價(jià)值。最多兩年，AI就能替換掉一個(gè)非常優(yōu)秀的剪輯師。

從產(chǎn)業(yè)場(chǎng)景來(lái)看，視頻AI正以閃電速度，從自媒體創(chuàng)意輔助者向全能的視頻生產(chǎn)力工具轉(zhuǎn)變。特別是可靈2.6將視頻模型音畫(huà)協(xié)同能力大幅提升后，一些過(guò)去依賴人工完成的創(chuàng)作工作，在AI面前將失去性價(jià)比優(yōu)勢(shì)。

例如在電商場(chǎng)景下，人工解說(shuō)的效率將難以匹敵AI。

未來(lái)的電商市場(chǎng)，一款產(chǎn)品的商品圖片，可以由商家自主拍攝上傳，商品賣(mài)點(diǎn)的口播，則可以由AI解說(shuō)完成，具體到使用場(chǎng)景，AI可以幫助商家輕易搭建任何高成本、電影級(jí)質(zhì)感的視頻背景，并清晰傳遞出產(chǎn)品優(yōu)勢(shì)。如果憑借人力完成，其成本無(wú)疑將是天文數(shù)字。

在廣告場(chǎng)景下，視頻AI則有更大的發(fā)揮空間。

以可靈2.6的演示視頻為例，模型可高質(zhì)量完成鏡頭調(diào)度、分鏡設(shè)計(jì)、音頻設(shè)計(jì)、配樂(lè)設(shè)計(jì)、動(dòng)作設(shè)計(jì)、音畫(huà)結(jié)合等創(chuàng)作者近乎全方位的意圖。

在過(guò)去，一條一分鐘左右的廣告宣傳片制作周期可能要花費(fèi)數(shù)周，策劃、攝影、剪輯、配音、后期等工種則需要全程跟進(jìn)，確保最終產(chǎn)出符合創(chuàng)意規(guī)劃。

如今借助AI模型，創(chuàng)作者只需將創(chuàng)意交給AI來(lái)跑，借助文本生成、圖片生成等方式產(chǎn)出多個(gè)音畫(huà)協(xié)同的視頻作品并加以篩選，一些涉及到虛擬形象、特效等后期工作的效果，則能通過(guò)AI在幾分鐘內(nèi)實(shí)現(xiàn)。

比如文本描述“生成一些精靈，用手舉起目標(biāo)產(chǎn)品”“讓商品跨出國(guó)門(mén)，飛向世界各地”等，這不僅效率大幅提高，更降去了大部分成本。

可以說(shuō)，只要一個(gè)行業(yè)存在視頻內(nèi)容的產(chǎn)出需求，類似的改變就將持續(xù)發(fā)生。如自媒體創(chuàng)作、直播、播音傳媒、音樂(lè)MV、影視制作等等。

一個(gè)肉眼可見(jiàn)的改變是，在短視頻平臺(tái)，部分經(jīng)史人文類博主已經(jīng)率先應(yīng)用AI生成視頻素材，以節(jié)約創(chuàng)作時(shí)間。隨著可靈2.6發(fā)布，中文視頻模型音畫(huà)協(xié)同技術(shù)成熟，留給博主的創(chuàng)作空間還將進(jìn)一步拓展。

對(duì)所有相關(guān)從業(yè)者而言，這場(chǎng)聲音革命都迫使人思考，當(dāng)長(zhǎng)周期重投入的生產(chǎn)模式變成即時(shí)批量生產(chǎn)，當(dāng)AI學(xué)會(huì)自己發(fā)聲，人應(yīng)該掌握的，應(yīng)當(dāng)是把握創(chuàng)意和審美，教AI講好故事。

本文為《市象》原創(chuàng)文章

未經(jīng)授權(quán)不得轉(zhuǎn)載或建立鏡像

轉(zhuǎn)載、交流、合作請(qǐng)?zhí)砑游⑿牛篗ingFei_99