網易首頁 > 網易號 > 正文 申請入駐

開源數字人大盤點,有沒有你在用的

0
分享至


開源數字人大盤點,有沒有你在用的

這些項目里,有沒有你已經在用了的?

數字人技術在 2024–2025 年迎來爆發,從“能動嘴”到“能演戲”,從“能對話”到“能直播”,開源生態也在快速成熟。

下面這份清單覆蓋了當前 GitHub 上最具代表性的開源數字人項目,涵蓋驅動模型、視頻生成、音頻合成、虛擬主播系統、端側方案等多個方向。


01. Hallo3(復旦開源)

Hallo3 是復旦團隊推出的新一代開源數字人生成框架,主打高保真、自然流暢的面部驅動效果。項目基于先進的生成式視覺模型,能夠精準捕捉音頻與表情之間的對應關系,實現逼真的口型、眼神與面部細節同步。相比傳統方法,Hallo3 在表情細膩度、動作連貫性和視頻質量上都有明顯提升,非常適合科研人員、開發者以及內容創作者進行二次開發或模型訓練。其代碼結構清晰、可擴展性強,是當前國內學術界最具代表性的數字人開源項目之一。

地址: https://github.com/fudan-generative-vision/hallo3

STAR數:1.4k+

定位: 高質量數字人視頻生成框架
亮點:

  • ? 復旦團隊出品,學術背景強

  • ? 支持高保真面部驅動

  • ? 適合科研、二次開發、模型訓練

適用場景: 數字人研究、視頻生成算法驗證

2. LatentSync(字節跳動開源)

LatentSync 是字節跳動開源的高精度音頻驅動數字人框架,專注解決“嘴型不準、節奏不穩”這一行業痛點。它通過潛空間同步技術,將音頻特征與視頻生成過程深度綁定,使得口型與語音的對應關系更加自然、準確。項目在短視頻、虛擬主播、教育講解等場景中表現出色,尤其適合對口型同步要求極高的應用。LatentSync 的模型推理速度快、效果穩定,開源后受到大量開發者關注,是當前數字人口型驅動領域的標桿級項目。

地址: https://github.com/bytedance/LatentSync

STAR數:5.4k+

定位: 高同步性數字人口型驅動
亮點:

  • ? 字節跳動開源,技術成熟度高

  • ? 主打“音頻驅動 → 高精度口型同步”

  • ? 適合短視頻、虛擬主播、教育內容

適用場景: 需要“嘴型精準同步”的數字人場景

3. EchoMimic V2(阿里開源)

EchoMimic V2 是阿里螞蟻團隊推出的數字人表情與動作模仿框架,相比前代版本在自然度、細節還原和驅動穩定性上全面升級。它支持音頻驅動、視頻模仿等多種模式,能夠生成更貼近真人的表情變化和頭部動作。項目在“擬真人”數字人方向表現突出,適合用于主持、講解、客服等需要高可信度的場景。其模型結構經過深度優化,推理效率更高,適合本地部署或云端服務,是阿里在數字人領域最具代表性的開源成果之一。

地址: https://github.com/antgroup/echomimic_v2

STAR數:4.5k+

定位: 高質量表情與動作模仿
亮點:

  • ? EchoMimic 升級版,效果更自然

  • ? 支持多模態驅動(音頻/視頻)

  • ? 適合做“擬真人”數字人

適用場景: 數字人主持、講解、客服


4. Sonic(騰訊 & 浙大開源)

地址: https://github.com/jixiaozhong/Sonic

STAR數:3.2k+

定位: 實時數字人驅動
亮點:

  • ? 騰訊 + 浙大聯合

  • ? 強調實時性,延遲極低

  • ? 適合直播、互動場景

適用場景: 虛擬主播、實時互動數字人

5. HunyuanVideo(騰訊開源)

HunyuanVideo 是騰訊混元大模型體系中的視頻生成模型,支持文生視頻、圖生視頻、動作生成等多種能力。雖然它不是專門的數字人框架,但在數字人背景生成、動作補全、場景擴展等方面有極高價值。模型能夠生成高分辨率、長時序的視頻內容,畫面穩定性和細節表現都處于行業領先水平。對于希望打造“數字人 + 視頻生成”一體化內容的開發者來說,HunyuanVideo 是一個非常強大的底層工具,適合創作短片、廣告、虛擬場景等內容。

大視頻生成模型的系統框架

地址: https://github.com/Tencent/HunyuanVideo

STAR數:11.7k+

定位: 文生視頻 / 視頻生成大模型
亮點:

  • ? 騰訊混元體系的一部分

  • ? 支持高質量視頻生成

  • ? 可用于數字人背景、動作生成

適用場景: 數字人視頻增強、背景生成、動作生成


6. AIGCPanel

AIGCPanel 是一個簡單易用的一站式AI數字人系統,支持視頻合成、聲音合成、聲音克隆,簡化本地模型管理、一鍵導入和使用AI模型。

地址: https://github.com/modstart-lib/aigcpanel

STAR數:4.5k+

定位: 一站式數字人系統
亮點:

  • ? 集成視頻合成、聲音合成、聲音克隆

  • ? 本地模型管理非常方便

  • ? 一鍵導入模型,適合非技術用戶

適用場景: 企業/個人快速搭建數字人系統


7. AI-Vtuber(虛擬主播系統)

Luna AI 是一款結合了最先進技術的虛擬AI主播。它的核心是一系列高效的人工智能模型和平臺,包括 ChatterBot、GPT、Claude、langchain、chatglm、text-generation-webui、訊飛星火、智譜AI、谷歌Bard、通義星塵、阿里云百煉(通義千問、百川、月之暗面、零一萬物、MiniMax)、千帆大模型(文心一言)、Gemini、Kimi Chat、koboldcpp、FastGPT、Ollama、One-API、AnythingLLM、LLM_TPU、Dify、火山引擎(豆包)。這些模型既可以在本地運行,也可以通過云端服務提供支持。當然,為了讓對話照進現實,還結合了多模態模型,包括 Gemini、glm-4v 的圖像識別能力,獲取電腦畫面進行分析講解。

地址: https://github.com/Ikaros-521/AI-Vtuber

STAR數:4.3k+

定位: 全功能虛擬 AI 主播
亮點:

  • ? 支持 GPT、Claude、通義、文心、Gemini 等幾十種模型

  • ? 支持本地模型(Ollama、text-generation-webui)

  • ? 支持多模態識別(如 Gemini、GLM-4V)

  • ? 能讀取電腦畫面做講解(非常強)

適用場景:

  • ? 24 小時 AI 直播

  • ? 游戲主播

  • ? 教育講解

  • ? 虛擬客服

8. JoyGen

JoyGen 是一個多模態數字人生成框架,支持音頻驅動、視頻驅動等多種方式,主打自然、穩定的數字人生成效果。項目結構清晰,易于二次開發,適合科研團隊和開發者進行自定義訓練或擴展。JoyGen 在表情細節、頭部動作和嘴型同步方面表現均衡,是一個“上手快、效果穩”的數字人方案。對于內容創作者來說,它能快速生成高質量數字人視頻;對于開發者來說,它是一個優秀的研究與工程結合的開源項目。

地址: https://github.com/JOY-MM/JoyGen

STAR數:419

定位: 多模態數字人生成框架
亮點:

  • ? 支持音頻驅動、視頻驅動

  • ? 效果自然,適合內容創作

  • ? 結構清晰,適合二次開發

適用場景: 內容創作、短視頻數字人

9. Duix-Avatar

地址: https://github.com/duixcom/Duix-Avatar

STAR數:12.2k+

定位: 高質量數字人生成
亮點:

  • ? Duix 系列主力項目

  • ? 支持高保真面部驅動

  • ? 效果接近商業級

適用場景: 商業數字人、品牌 IP、虛擬主持


10. Duix Mobile

Duix-Mobile 是 Duix 系列的移動端版本,主打“輕量化 + 端側可運行”。它能夠在手機等移動設備上生成數字人視頻,非常適合 App 內嵌數字人助手、小程序數字人、移動端內容創作等場景。項目對模型進行了深度壓縮與優化,在保證效果的同時顯著降低算力需求。對于希望在移動端落地數字人功能的開發者來說,Duix-Mobile 是目前最成熟的開源方案之一。

地址: https://github.com/duixcom/Duix-Mobile

STAR數:7.8k+

定位: 端側數字人(手機可跑)
亮點:

  • ? 主打“輕量 + 端側可用”

  • ? 適合移動端應用、App 內嵌數字人

  • ? 性能優化優秀

適用場景:

  • ? 手機 App 數字人

  • ? 小程序數字人

  • ? 端側 AI 助手

總結:不同需求怎么選?

需求

推薦項目

高質量數字人視頻

Hallo3、Duix-Avatar、EchoMimic V2

口型同步最強

LatentSync

實時互動/直播

Sonic、AI-Vtuber

文生視頻/動作生成

HunyuanVideo

一站式數字人系統

AIGCPanel

移動端數字人

Duix-Mobile

多模態虛擬主播

AI-Vtuber

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
上海人終于體會到了引進印度人的“快樂”!

上海人終于體會到了引進印度人的“快樂”!

步論天下事
2026-04-25 09:34:47
湖南男子買煙炫富,致使一家三口被滅,2歲兒子在遺體邊躺了兩天

湖南男子買煙炫富,致使一家三口被滅,2歲兒子在遺體邊躺了兩天

莫地方
2026-04-24 00:10:03
一旦武統臺灣,這4個臺灣人必上“斬首”名單,一個都跑不掉!

一旦武統臺灣,這4個臺灣人必上“斬首”名單,一個都跑不掉!

混沌錄
2026-04-23 21:14:04
伊朗最高領袖明確下令,霍爾木茲海峽突傳大消息!伊朗總統、革命衛隊發聲

伊朗最高領袖明確下令,霍爾木茲海峽突傳大消息!伊朗總統、革命衛隊發聲

每日經濟新聞
2026-04-26 14:16:05
天涯神貼之東三省人口持續流出的真正原因

天涯神貼之東三省人口持續流出的真正原因

回旋鏢
2026-04-26 13:42:15
湖南美女“克拉姐姐”去世,年僅25歲,原今年訂婚,棺木不能入家

湖南美女“克拉姐姐”去世,年僅25歲,原今年訂婚,棺木不能入家

裕豐娛間說
2026-04-25 22:47:12
湖火大戰G4里夫斯傷情報告出爐,41歲老詹怕是又要單核帶隊起飛?

湖火大戰G4里夫斯傷情報告出爐,41歲老詹怕是又要單核帶隊起飛?

仰臥撐FTUer
2026-04-26 11:26:03
切爾諾貝利被遺忘的60萬人:拿鏟子對抗核輻射,沒人告訴他們真相

切爾諾貝利被遺忘的60萬人:拿鏟子對抗核輻射,沒人告訴他們真相

網易新聞出品
2026-04-26 08:51:02
250萬賠償不算啥?官方介入,崔麗麗事件“創先河”,釋放3大信號

250萬賠償不算啥?官方介入,崔麗麗事件“創先河”,釋放3大信號

天天熱點見聞
2026-04-25 06:27:01
圓明園地下大反轉,大火燒掉的僅是圓明園的表皮

圓明園地下大反轉,大火燒掉的僅是圓明園的表皮

混沌錄
2026-04-24 21:02:11
白宮槍擊案槍手身份成迷,又有消息稱槍手是加州理工碼農

白宮槍擊案槍手身份成迷,又有消息稱槍手是加州理工碼農

爆角追蹤
2026-04-26 12:53:28
爭議?19歲王鈺棟提前結束謝場+怒摔水瓶!5場0球后他5次情緒失控

爭議?19歲王鈺棟提前結束謝場+怒摔水瓶!5場0球后他5次情緒失控

我愛英超
2026-04-26 14:15:58
這臺大眾很不大眾 解讀一汽-大眾ID. AURA T6

這臺大眾很不大眾 解讀一汽-大眾ID. AURA T6

新出行
2026-04-25 14:01:58
時間有變!趙心童VS丁俊暉,央視更改直播頻道,誰能進世錦賽8強

時間有變!趙心童VS丁俊暉,央視更改直播頻道,誰能進世錦賽8強

體育大學僧
2026-04-26 08:50:39
趙心童兩階段9-7領先丁俊暉 “中國德比”今日17時決勝負

趙心童兩階段9-7領先丁俊暉 “中國德比”今日17時決勝負

齊魯壹點
2026-04-26 07:18:18
穆杰塔巴傷情曝光!比想象更重,他用一招終結美以斬首戰術

穆杰塔巴傷情曝光!比想象更重,他用一招終結美以斬首戰術

聞識
2026-04-26 04:59:24
白宮晚宴槍擊案全網最全細節:特工疑與槍手互開數槍,特朗普在臺上十分淡定

白宮晚宴槍擊案全網最全細節:特工疑與槍手互開數槍,特朗普在臺上十分淡定

爆角追蹤
2026-04-26 10:29:13
震驚!東方甄選員工集體辭職要挾俞敏洪,被網友直言“蠢出天際”

震驚!東方甄選員工集體辭職要挾俞敏洪,被網友直言“蠢出天際”

火山詩話
2026-04-26 07:09:07
“媽,我在隧道救了個人,我可能出不去了……”小伙被困后撥通母親電話留下遺言

“媽,我在隧道救了個人,我可能出不去了……”小伙被困后撥通母親電話留下遺言

都市快報橙柿互動
2026-04-26 00:33:10
白宮晚宴傳出5到8聲槍響!95后槍手帶多件武器,1特工被槍擊,穿防彈衣幸免于難

白宮晚宴傳出5到8聲槍響!95后槍手帶多件武器,1特工被槍擊,穿防彈衣幸免于難

紅星新聞
2026-04-26 11:31:31
2026-04-26 15:08:49
星哥玩云 incentive-icons
星哥玩云
星哥跟你說說工作生活的那些事
345文章數 274關注度
往期回顧 全部

科技要聞

漲價浪潮下,DeepSeek推動AI“價格戰”

頭條要聞

特朗普2年內遭遇4次刺殺威脅 第一個任期也曾險遭襲擊

頭條要聞

特朗普2年內遭遇4次刺殺威脅 第一個任期也曾險遭襲擊

體育要聞

那一刻開始,兩支球隊的命運悄然改變了

娛樂要聞

《八千里路云和月》大結局意難平

財經要聞

DeepSeek V4背后,梁文鋒的轉身

汽車要聞

預售19.38萬元起 哈弗猛龍PLUS七座版亮相

態度原創

旅游
家居
親子
公開課
軍事航空

旅游要聞

下一站|一天體驗越南三大特色

家居要聞

自然肌理 溫潤美學

親子要聞

孩子會旺媽媽的6個特點

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

伊朗總統:不會在壓力、威脅下進行談判

無障礙瀏覽 進入關懷版