來(lái)源：騰訊云

這是龍蝦鵝

這是跑進(jìn)3D游戲里的龍蝦鵝

最近，咱們騰訊的小龍蝦估計(jì)天天都在搬磚干活。今天小編決定給它放個(gè)假，把它送進(jìn)中世紀(jì)的酒館里度個(gè)假。

看著這光影和質(zhì)感，你可能會(huì)以為是找了哪位3D建模大師熬夜肝出來(lái)的。但實(shí)際上，現(xiàn)在只需要敲一句話，就能把一張2D圖片變成能跑、能撞、能漫游的3D游戲資產(chǎn)。

今天，騰訊正式發(fā)布并開源混元3D世界模型2.0（HY-World 2.0）。一句話就能生成3D資產(chǎn)，并直接導(dǎo)入到游戲制作或具身仿真引擎，實(shí)現(xiàn)真正的可玩、可用。

1、申請(qǐng)?bào)w驗(yàn)地址（詳情請(qǐng)戳）

2、開源代碼地址（詳情請(qǐng)戳）

// 支持多種模態(tài)輸入，無(wú)縫兼容游戲引擎

把平面的龍蝦鵝塞進(jìn)3D游戲里，創(chuàng)作門檻低得超乎想象。

你完全不需要懂任何復(fù)雜的3D軟件，只要像平時(shí)說(shuō)話一樣輸入一句文字描述，或者直接上傳一張圖片，模型就能精準(zhǔn)解析復(fù)雜的語(yǔ)義。

實(shí)機(jī)演示：輸入“生成一個(gè)日式RPG風(fēng)格的中世紀(jì)地牢”，即可生成一個(gè)3D空間資產(chǎn)

隨后，它會(huì)一鍵生成混合了3D高斯?jié)姙R（3DGS）與Mesh表征的真實(shí)3D資產(chǎn)。

熟悉AI生成的朋友都知道，此前不少世界模型（比如谷歌Genie 3 和咱們的混元世界模型1.5），本質(zhì)上生成的還只是一段視頻文件。而具備3DGS與Mesh表征的3D資產(chǎn)才能讓用戶有在真實(shí)游戲里的體驗(yàn)。

這些多格式的3D資產(chǎn)還能直接無(wú)縫導(dǎo)入到Unity、UE等主流游戲引擎中進(jìn)行二次編輯，用于快速生成游戲地圖和關(guān)卡原型。

你可以輕松地給龍蝦鵝加個(gè)小背包，或者按需調(diào)整整個(gè)場(chǎng)景的光影。

更爽的是，模型還支持角色模式：你可以操作角色在街道、建筑、場(chǎng)景中自由探索，不限時(shí)間，具有物理碰撞，體驗(yàn)就像在真實(shí)游戲里一樣。

// 生成的不是視頻，而是可用的3D資產(chǎn)

這一次，混元世界模型2.0實(shí)現(xiàn)了SOTA級(jí)的生成效果。與其他世界模型相比，它在場(chǎng)景完整度（比如極難還原的物體側(cè)面和背面）以及對(duì)輸入圖片的遵循程度上表現(xiàn)更優(yōu)。

這不僅是因?yàn)樗?D生成為主軸，統(tǒng)一了空間理解、生成、重建的架構(gòu)，更在于其底層多項(xiàng)核心組件的全面提升：

拼得全，單張普通圖片秒變?nèi)啊鹘y(tǒng)方法極其依賴精確的相機(jī)參數(shù)才能生成全景圖。混元2.0全新升級(jí)了HY-Pano-2.0模型，采用端到端隱式學(xué)習(xí)方案。單憑普通像素圖片，就能自動(dòng)腦補(bǔ)并推算出360度全景空間。

走得穩(wěn)，智能尋路拒絕穿墻、跑飛。為了解決漫游過(guò)程中的痛點(diǎn)，混元團(tuán)隊(duì)結(jié)合了VLM與游戲自動(dòng)尋路算法常用的navmesh表征，自研空間Agent技術(shù)。它能智能規(guī)劃出“環(huán)繞物體”、“最大漫游”等五類運(yùn)鏡軌跡，避免角色穿墻、跑飛。

接得順，畫面延展真實(shí)不穿幫。針對(duì)場(chǎng)景擴(kuò)展容易斷層的問題，混元團(tuán)隊(duì)打造了目前業(yè)界最強(qiáng)的新視角生成（NVS）模型HY-WorldStereo。靠著強(qiáng)大的空間一致性記憶，讓新老場(chǎng)景視覺充分縫合，極速生成且畫質(zhì)不掉。

更沉浸，支持物理碰撞、真交互。所有片段通過(guò)HY-WorldMirror 2.0以及自適應(yīng)Mask gaussian等場(chǎng)景優(yōu)化算法，最終生成3DGS與Mesh混合表征。這也是能開啟角色模式、實(shí)現(xiàn)真實(shí)物體碰撞交互的核心原因。

實(shí)機(jī)演示：輸入“生成一個(gè)溫馨的繪本風(fēng)格小木屋”，游戲角色可以自穿行在生成的3D場(chǎng)景中

// 發(fā)布即開源，人人都能“一句話造世界”

讓復(fù)雜的3D資產(chǎn)生成變得像聊天一樣簡(jiǎn)單。

混元世界模型（HY-World 系列）自發(fā)布以來(lái)持續(xù)進(jìn)化：從首個(gè)開源3D世界模型 HY-World 1.0，到可實(shí)時(shí)在線交互的HY-World 1.5，再到如今一鍵生成3D空間資產(chǎn)的 HY-World 2.0，騰訊混元正在一步步把“AI造世界”從概念變?yōu)楝F(xiàn)實(shí)。

目前，混元世界模型2.0已正式開源。不管是萌趣的“龍蝦鵝”、游戲開發(fā)者的關(guān)卡原型，還是設(shè)計(jì)師的數(shù)字孿生場(chǎng)景，曾經(jīng)需要巨大成本的3D創(chuàng)作，如今都能一句話搞定。

未來(lái)，騰訊云將持續(xù)以混元AI能力，降低3D內(nèi)容創(chuàng)作門檻，讓每個(gè)人都能輕松創(chuàng)造屬于自己的3D世界。