NVIDIA 在 GDC 2024 推出全新數字人技術和 RTX SDK

在今年的游戲開發者大會（GDC 2024）上，NVIDIA 宣布了一系列激動人心的新技術，旨在徹底改變游戲開發領域。通過與領先的 AI 應用程序開發者如 Inworld AI 的合作，NVIDIA 展示了其最新的數字人技術和更新的 RTX SDK。這些創新不僅簡化了高質量游戲世界的創建，還加速了生成式 AI 驅動的游戲角色的部署。

NVIDIA 數字人技術：革新游戲角色

NVIDIA 的數字人技術提供了一個全套或單個微服務的解決方案，用戶可以根據需要整合到他們的產品中。這些技術包括：

1. NVIDIA Avatar Cloud Engine (ACE)：通過 NVIDIA Audio2Face (A2F) 提供逼真的面部動畫，以及由 NVIDIA Riva 提供的自動語音識別 (ASR) 和文本轉語音 (TTS) 功能，極大地增強了數字人的真實感和互動性。

2. NVIDIA NeMo：一個用于開發自定義生成式 AI 的端到端框架。NeMo 提供了精確的數據管理、先進的自定義功能、檢索增強生成和加速性能，使企業就緒型模型的開發更加高效。

3. NVIDIA RTX：包括 RTX 全局照明（RTXGI）和 DLSS 3.5 在內的渲染技術集合，為游戲和應用提供了實時路徑追蹤的能力。

這些技術在由 Inworld AI 與 NVIDIA 合作完成的《秘密協議》演示中得到了展示。玩家可以在游戲中扮演一位經驗豐富的私人偵探，體驗前所未有的 NPC 交互。該演示結合了 OpenAI 的 ChatGPT 3.5、ElevenLabs 的文本轉語音 (TTS)、Riva ASR 和 A2F 微服務，大大提升了 Inworld 的語言、語音和動畫制作流程。Inworld 的 AI 引擎采用多模態方法，將認知、感知和行為系統結合，并利用 Unreal Engine 插件進行快速集成，使得使用 MetaHumans 更加簡單高效。

AI 驅動的照明改進和渲染集成

除了數字人技術，NVIDIA 還推出了 RTX 全局照明（RTXGI）2.0 SDK，通過 AI 實現光線追蹤的間接照明。這一更新進一步豐富了現有的神經渲染技術選項，如 DLSS 超分辨率技術、DLSS 3 幀生成、DLSS 光線重建和 DLAA。

最新的算法——神經輻射緩存（NRC）提供了一種 AI 驅動的解決方案，能夠實時訓練場景的輻射緩存，并使用反應式照明處理全動態場景。這種技術無需預先為幾何圖形和材質烘焙靜態照明，從而在高要求的場景中提供了更出色的性能和更準確的全局照明。

為提供更好的擴展性，NVIDIA 推出了空間哈希輻射緩存 (SHaRC)，它無需使用神經網絡即可提供與 NRC 類似的優勢，并與任何支持 DirectX 或 Vulkan 光線追蹤的 GPU 兼容。這是一種基于空間哈希數據結構構建的輻射緩存，專為路徑追蹤的快速且可擴展的全局照明技術而設計。

NVIDIA 的這些創新為游戲開發者提供了強大的工具，使他們能夠創建更加真實、生動的游戲角色和高質量的游戲世界。通過申請搶先體驗計劃，用戶可以開啟 NVIDIA ACE 的旅程，并獲取正在開發的 AI 模型。有關更多信息，可以訪問 NVIDIA 的 API Catalog，并通過瀏覽器或完全加速堆棧的 API 端點體驗和評估這些微服務。

對于尋求端到端數字人解決方案的游戲開發者，NVIDIA 提供了包括 Convai、Inworld、Data Monsters、Quantiphi 和 UneeQ 在內的中間件合作伙伴的支持。有關更多信息和反饋，用戶可以參閱 Digital Human 論壇。

總的來說，NVIDIA 在 GDC 2024 上的展示不僅展示了其在生成式 AI 和渲染技術領域的領先地位，也為未來的游戲開發設定了新的標準。隨著這些技術的不斷發展和應用，我們可以期待更加沉浸和互動的游戲體驗。

▲ 滑動查看往期內容