文 | 極客電影,作者 | 子路,編輯 | 佛耶戈
前段時間,米哈游創始人蔡浩宇悄悄整了個大活兒。
他2024年創立的AI公司Anuttacon上線了LPM1.0模型,專攻AI角色表演,用于AI敘事游戲《星之低語》的用戶交互,官網介紹頗見野心:
人類對話是一種表演——不僅是語言,更是節奏、注視、停頓,和無數讓交互鮮活的微表情。
模型沒有開源,官網放出了一些AI生成視頻示例,AI演員的悲傷、猶豫、恐懼、放松等情緒都很到位,一度引起AI影像行業的軒然大波。真人演員,真的要被AI代替了?
![]()
LPM1.0模型AI角色表演示例
可不過短短一個月,蔡浩宇親手叫停了LPM1.0整個開發團隊,認為“這個模型有點蠢”,對于游戲來說,交互表演能力只是雞肋,不如去開發更強的Agent。
![]()
表演能力只是雞肋嗎?影視行業可不這么認為。
耀客官宣簽約AI演員、恒星引力與MiniMax達成戰略合作,正午陽光、檸萌、華策等老牌頭部影視公司開始高薪聘請AI制片、AI架構師、AI運營等職位。面對可能千萬級的降本增效,沒有公司會不心動。
![]()
也許就像《牌子》導演DIDI-OK預測的,解決AI演員長時間的表演能力會成為下個AI時代的拐點。我覺得,這也會徹底改寫當下影視行業的格局。
所以這次,我們特別測評了Seedance 2.0(以下簡稱SD2)、可靈、快樂馬(阿里旗下HappyHorse)三大號稱表演能力較強的頭部AI模型,看究竟哪個模型走在了時代前列,能跟曇花一現的LPM1.0表演力掰掰手腕。
(免責聲明:本期測試清新無廣,為保證公平,我們每個鏡頭使用同樣的參考圖與符合模型特性的提示詞,單個鏡頭抽卡2-4次。如果某個模型就是不給面子、不可控,那也別怪我?)
01 單一情緒測試: 悲傷、憤怒、說謊、緊張……
如果只是純測喜怒哀樂這種外放情緒,AI生成其實不難。但影視級表演不是孤立的,更重要是一段對話、一段關系里的反應鏡頭。
所以我們原創了一支AI短片《最后的證詞》,設計多人關系里的連續劇情,每個角色需要在同一事件中做出不同反應,測試5種類型人物對應劇情里的情緒,包括眼神懷疑等細節表演。
![]()
位置關系參考圖
先看故事背景:
三個月前,一家大型集團發生安全事故,官方結論是“操作失誤”。集團調查顧問沈知微(女主,前調查記者)懷疑這不是意外,與線人唐眠一起展開調查。
19日晚,唐眠帶著一份要交給調查委員會的關鍵證詞走進辦公樓。這份證詞可以證明:事故不是意外,而是有人提前知道風險,卻選擇隱瞞。
隨后,唐眠死亡,隨身攜帶的關鍵證詞失蹤。失聯之前,她向沈知微發送了一封郵件。
這段圓桌戲發生在隔天上午,調查委員會負責人顧明嵐召集與唐眠有關的4個人進入問詢室,當面對峙。每個人各懷鬼胎,像極了一場劇本殺。
再看每個人物在不同AI模型里的表演效果:
1號:顧明嵐,權力型中年女性,出場宣布“唐眠死了”的消息。我需要她表現出對現場所有人的懷疑、強大氣場與壓迫感。
SD2第四條表現最好,角色從落座到左右審視、面容冷峻、側視觀察,眼神足夠有力,能夠表現出上位者的壓迫氣質。
![]()
Seedance 2.0生成
第二條純從表演角度來看也不錯,角色眼神里有猶豫、不忍,左右環顧不是審視,更像是尋求一些精神支點。但這條情緒太柔軟,不符合需求,pass。
![]()
Seedance 2.0生成
可靈表演出了一種急躁的中年高管狀態,主角快速落座、嘆氣,眼神看天、宣布死訊,然后迅速盯視自己最懷疑的對象。
![]()
可靈生成
快樂馬第三條效果比較好,分鏡與SD2類似,也準確表現出了角色的沉穩與壓迫感。
(到此刻我還挺開心,AI模型確實在表演上有眼神戲了,很棒!沒有意識到快樂馬即將如何制裁我)
![]()
快樂馬生成
2號:沈知微,她是和唐眠關系最密切的朋友,得知死訊,她的第一反應是震驚、悲傷、痛苦,但還需要壓抑情緒,強打精神為朋友做好最后的追問。
我把沈知微流淚和擦淚兩個鏡頭剪在一起,大家可以看看這個情緒轉化。
SD2對指令理解比較準確,我們特別嘗試做了個希區柯克變焦、一滴眼淚順勢落下,強化角色遭遇的巨大沖擊與悲傷。
后續擦淚的動作也很準確,手指、眼淚、臉部皮膚不同材質的交互自然不出戲。同時兼顧了手機光照在下半張臉的光線變化,基本是可以直接用的程度。
![]()
Seedance 2.0生成
可靈生成的人物特寫畫質非常好,沒有AI常見刻意崎嶇化的油膩感。但放在這里情緒相對沒那么準確,它對“情緒壓抑”的處理導致角色反應過于冷靜。
擦淚鏡頭就好很多,角色有眼神的游移,用手背揉鼻子、順勢抹掉眼淚的動作比手指直接擦淚更加自然。
![]()
可靈生成
快樂馬!它生動展示了一個不會演戲的資源咖被塞進劇組是什么車禍現場。得知好朋友去世了,角色嘴角的抽搐是什么意思?我的提示詞是:
她剛剛聽到過“唐眠死了”的消息。她不能哭,也不能在房間里崩潰。表演必須非常克制:眼神短暫失焦,瞳孔微微震動,嘴角輕輕繃住,鼻翼有極輕微的呼吸變化,下頜輕微收緊,眼眶有濕意但眼淚不能落下。她強行把情緒壓回去,臉上沒有明顯大動作。
誰讓你在這兒演嘴角抽搐了????
擦淚鏡頭比較刻意咱先不說,問題是手背擦過右臉,這行眼淚完全沒有被抹掉,這就是典型的材質交互沒有被識別。
![]()
快樂馬生成
3號:周硯廷,數據系統負責人,按照門禁記錄,他在前一晚23:02打開過檔案室,被證據指向是最后一個接觸死者唐眠的人。
這是一個情緒爆發型男角色,他意識到自己被偽造的門禁記錄栽贓陷害,情緒從眾人懷疑他的驚訝轉向憤怒爆發。
SD2情緒表現度非常好,它理解了對角色側面到正面的鏡頭切換,側面展現角色牙關緊咬的壓抑怒火;正面隨著鏡頭推進,角色有自然的手部動作配合;言辭逐漸激烈,咽喉、面中、眉頭肌肉跳動都是對的。
但你仔細看正面鏡頭,SD2莫名其妙在畫面右側多生成了一個人……這條能用,但只能拉大畫面裁掉瑕疵
![]()
Seedance 2.0生成
可靈沒有做切鏡,但敢于用近景,角色從抬眼、質問,面部表情隨著說話聲音放大的頓挫感,到最后情緒爆發、面部紋路的走向,都很到位。
只有最后角色眼神往右看錯了,按照我給到的人物位置圖,他右邊根本就沒人,不知道最后在瞪誰。
![]()
可靈生成
快樂馬角色情緒是三家里最激烈的,憤怒原地干拔,法令紋隨著口型起伏,這也代表了一種市面上的表演流派。
![]()
快樂馬生成
但這家伙把我的場景全部換掉了……一下子把角色從會議室扔到審訊室。問題是,我甚至給了首幀作為參考圖,這都識別不出來?
![]()
給快樂馬的首幀參考圖,別家不一定有這待遇
4號:林敘白,項目副總監,他聲稱只短暫見過唐眠一面、沒注意過證詞文件袋,但實際上,他才是拿走文件袋的那個關鍵人物。
這是一個看似溫和儒雅的謊言型角色,對上面憤怒的3號周硯廷形成對照組,面對質問不慌不忙,但一些小動作泄露了他在說謊。
SD2也出現了場景位移的問題,把2號從角色左側扔到主位。表演還算在線,用典型的心理學謊言行為“摸鼻子”,表現角色的回避與謊言。
![]()
Seedance 2.0生成
可靈則是用扶眼鏡的方式表現謊言,它這條表演更細節,角色被2號質問后有一個明顯的眼神回避。
問題還是之前說過的,一旦涉及到多人會議場景就智商下線,干脆把2號分裂成左側和主位兩個人。只能說切分下鏡頭勉強能用,湊合著吧還能離咋地。
![]()
可靈生成
快樂馬這段先強化了角色的溫和淡定,被2號戳破之后則回避視線,同步做了摸鼻子、推眼鏡的心虛動作。
![]()
快樂馬生成
5號:何平,夜班保安,他是關鍵的NPC目擊者,前一晚撞見過唐眠,也看到了一個人影拿著黑色文件袋離開。
這是個普通人角色,他看到了關鍵信息但不敢說,需要表現出緊張、猶豫、驚慌等生活化的被動情緒。
這是全片我最喜歡的一段表演,2號的引導、質問,與5號的怯懦、慌張形成了鮮明對比,幾個AI模型都完成得比較不錯。
這段雙人對話包括4句臺詞,只有SD2完整生成出來了,所以這段我決定放視頻給大家感受一下?? 想要的角色情緒都非常準確。
可靈也還不錯,給角色找到了緊張擺弄鑰匙這個行為抓手,他被質問后心里揣著秘密的緊張感也能準確感知。
![]()
可靈生成
快樂馬細節上沒前兩者那么豐富,給了角色更多直視質問者的鏡頭,顯得他太有底氣,勉強可用但不夠準確。
![]()
快樂馬生成
總體測完,我認為現有的AI模型真人畫風表演能力是超預期的,細微表情、反應鏡頭已經比較成熟,不需要成百上千次抽卡就能實現“以假亂真”。
02 看看成片: 單月狂攬10億的SD2確實能打
看完靜音版單個鏡頭,來聯系上下文一起看看完整成片。
我們沒有添加特別的包裝,只篩選單一模型生成的鏡頭進行合理化剪輯,添加了同樣的緊張氛圍BGM,盡力呈現一段完整故事。
注意,三支短片里的配音都是對應AI模型直接生成的。測AI表演能力,臺詞也是很重要的組成部分。
這幾天有消息稱,SD2單月可為字節旗下火山引擎帶來超過10億元收入,并且仍在爬升期。完整測試全部鏡頭并且看完成片,我確實能感受到SD2為什么能在國內外AI模型市場呈現幾乎壟斷的姿態。
口型基本完全準確;通過提示詞能相對準確理解角色站位關系;能夠呈現角色需要的微表情、情緒;對于專業AI創作者來講,除非特別糾結于某個鏡頭,整體抽卡率大概在30%-50%。
有時候還能給點驚喜,比如林敘白回答質詢這段,涉及到全景、中景、近景、特寫、正反打,角色的面部朝向都是對的。最后甚至給了個從林敘白到沈知微的焦點轉移。
![]()
![]()
Seedance 2.0生成
可靈版正片我能給到一個“人上人”,優劣勢都很突出。
優勢在畫質,同樣是1080P,可靈生成的角色皮膚細節、光影效果都能強出一截。在表演上,表情也是基本可用的,偶爾也會給到體現真實細節的驚喜鏡頭。
并且積分實惠,在LibTV上的15秒1080P視頻,可靈消耗積分是SD2的58%左右。
但劣勢就在口型,聲畫直出的視頻大部分做不到口型一致,角色一長時間說話就容易露餡兒,最好是給到一個后期配音。
跟前兩者相比,快樂馬出這條片子我只能說是“拉完了”。
表演上沒驚喜,在一堆廢片里挑挑揀揀選出來這么一些鏡頭能勉強組裝。角色一致性幾乎做不到,在同一個場景里角色的臉都能換來換去。
場景一致性方面干脆做夢,就算給了首幀圖做參考,也還是非常不穩定,角色像是“夢到哪里坐哪里”,當個搞笑片看看吧。
03 意想不到的BUG AI能不能別耍我了
最后給大家看點好玩的。
這期內容我們前后做了半個月,大部分時間都耗在反復抽卡上,不是自己上手做視頻可能想象不到,AI能生成這么多意想不到的BUG。
簡單的比如生成畫面里的文字亂碼,尤其中文,快樂馬生成涉及到手機桌面、郵件內容等文字部分就沒有一個是正確的。
![]()
復雜點的我分了幾類:
第一類:換臉換換換換到崩潰
(快樂馬)拉開椅子是坐主位的女性,切個鏡頭變成在桌子旁邊坐下的男性,長發嗖一下變短了,再切鏡又變成中年女性……姐妹你到底是誰?
![]()
(可靈)偶爾也會有角色識別錯誤的毛病,演技挺好,但你們能想到男人的臺詞聲音從一個女性角色嘴里說出來這件事有多離譜嗎?
第二類:迷之位移
如果只是角色左右位置識別錯誤、鏡頭翻轉這些小瑕疵,我也不會過多苛責,但(SD2)你個濃眉大眼的,把座位上的角色突然彈射到屏幕前是什么意思?
![]()
(可靈)偶爾也會超出想象,這里需要顧明嵐把平板電腦推到周硯廷面前,好家伙一眨眼她把我的道具三視圖整個推過來嘞!
![]()
當然論整活還得是(快樂馬),至今沒懂它是怎么把角色攔腰斬斷然后浮在桌面上的。
![]()
第三類:神奇的語言系統
有時會生成一段聽不懂的語言,或者突然變成英語對白、臺灣腔,這主要因為可靈暫時不支持聲音參考,可以說是聲畫同出不夠可控,也可以說是為后期專業配音留出空間。
總體來講,雖然過程中遭遇了一些AI模型不可控帶來的“折磨”,但測試結果仍然有震驚到我。
在專業AI導演的提示詞下,或許我們可以暴言:AI演員的表演能力,或許已經超越了市面上50%的真人演員。
當然,如果我們想追求《甜蜜蜜》里張曼玉那一滴笑中帶淚、《漫長的季節》里范偉的“往前看、別回頭”等神級演技,AI做不到。
![]()
![]()
但是“二番以下演員將被AI代替”,可能很快就不再只是一句傳言。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.