副標(biāo)題:在 CES 上發(fā)布的 GeForce RTX 50 系列支持 FP4,可提供強(qiáng)大的 AI 性能,并配備多達(dá)三個視頻編碼器,支持 4:2:2 色彩格式。此外,新的 AI 工具可增強(qiáng)直播體驗(yàn),DLSS 4 可提升 3D 渲染,NVIDIA NIM 微服務(wù)和 Blueprints 則為 PC 上的 AI 強(qiáng)效助力。

近日在 CES 展會上亮相的 GeForce RTX 50 系列臺式電腦和筆記本電腦 GPU 將為新一代的生成式 AI 和代理式 AI 內(nèi)容創(chuàng)作提供助力——為視頻、直播、3D 等領(lǐng)域帶來新的工具和功能。

GeForce RTX 50 系列 GPU 基于 NVIDIA Blackwell 架構(gòu),與上一代相比,運(yùn)行創(chuàng)意生成式 AI 模型的速度可提升至 2 倍,且內(nèi)存占用更少。該系列 GPU 配備第九代 NVIDIA 視頻編碼器用于高級視頻編輯和直播,并搭載 NVIDIA DLSS 4 和高達(dá) 32 GB 的顯存,以應(yīng)對大型 3D 項目。

https://images.nvidia.cn/cn/youtube-replicates/VVWXFHEhWV0.mp4

這些 GPU 伴隨多個軟件更新,包括兩個新的 NVIDIA Broadcast AI 特效、RTX Video 和 RTX Remix 的更新,以及 NVIDIA NIM 微服務(wù)——預(yù)先打包和優(yōu)化的模型,旨在促進(jìn) RTX AI PC 上的 AI 內(nèi)容創(chuàng)作工作流。。

為生成式 AI 時代而生

生成式 AI 可以為創(chuàng)作者帶來驚人的成果,但隨著模型的復(fù)雜性和規(guī)模不斷增長,即使在最新的硬件上,也很難運(yùn)行生成式 AI。

GeForce RTX 50 系列增加了 FP4 支持,以幫助解決這一問題。FP4 是一種更低精度的量化方法,類似于文件壓縮,可以減小模型大小。與大多數(shù)模型默認(rèn)采用的 FP16 方法相比,FP4 的顯存占用不到一半,并且 50 系列 GPU 提供的性能是上一代的 2 倍以上。利用 NVIDIA TensorRT Model Optimizer 提供的高級量化方法,可以在幾乎沒有任何質(zhì)量損失的情況下實(shí)現(xiàn)這一點(diǎn)。

例如,Black Forest Labs 的 FLUX.1 [dev] 模型在 FP16 下需要超過 23 GB 的顯存,這意味著它只能由 GeForce RTX 4090 D 和專業(yè) GPU 提供支持。在 FP4 下,FLUX.1 [dev] 僅需要不到 10 GB 顯存,因此可以在更多 GeForce RTX GPU 上本地運(yùn)行。

在 GeForce RTX 4090 D 上采用 FP16 時,FLUX.1 [dev] 模型可以在 18 秒內(nèi)生成圖像,步數(shù)為 30 步。而在 GeForce RTX 5090 D 上采用 FP4,只需五秒的時間即可生成圖像。

一個基于 FLUX.1 [dev]、面向 3D 引導(dǎo)生成式 AI 的全新 NVIDIA AI Blueprint 將作為一項 NVIDIA NIM 微服務(wù)提供,讓藝術(shù)家能夠更好地控制文本生成圖像。有了這個藍(lán)圖,創(chuàng)作者可以使用由手工創(chuàng)建或 AI 生成的簡單 3D 模型,并將它們放在 Blender 等 3D 渲染器中引導(dǎo) AI 圖像生成。由 FLUX NIM 微服務(wù),ComfyUI 和 ACGGit 開發(fā)的 Blender 插件提供支持的預(yù)打包工作流隨后可以生成與 3D 場景構(gòu)圖相匹配的高質(zhì)量圖像。

該由 3D 引導(dǎo)的生成式 AI 的 NVIDIA Blueprint 預(yù)計將于 2 月通過 GitHub 以一鍵安裝程序的形式提供。

https://images.nvidia.cn/cn/youtube-replicates/6YrEjhSMPBY.mp4

Stability AI 宣布其 Stable Point Aware 3D(簡稱 SPAR3D)模型將于本月在 RTX AI PC 上推出。得益于 RTX 加速,Stability AI 的新模型將有助于革新 3D 設(shè)計,提供對 3D 內(nèi)容的卓越掌控,支持實(shí)時編輯并能夠在不到一秒的時間內(nèi)從單個圖像生成 3D 物體。

讓每個人都能制作專業(yè)級視頻

GeForce RTX 50 系列 GPU 實(shí)現(xiàn)了 NVIDIA 視頻編碼器和解碼器的代際飛躍,支持 4:2:2 專業(yè)級色彩格式、用于 3D 和虛擬現(xiàn)實(shí) (VR) 視頻的多視圖 HEVC (MV-HEVC) 以及全新的 AV1 超高質(zhì)量(UHQ)模式。

大多數(shù)消費(fèi)級相機(jī)局限于 4:2:0 色彩壓縮,這會減少色彩信息量。4:2:0 通常足以用于瀏覽器上的視頻播放,但無法提供專業(yè)視頻創(chuàng)作者對視頻進(jìn)行調(diào)色所需的色彩深度。4:2:2 格式提供雙倍的色彩信息,而原始文件大小僅為原來的1.3 倍,為視頻編輯工作流帶來了理想的平衡。

https://images.nvidia.cn/cn/youtube-replicates/z4A1G0g41Gk.mp4

由于文件大小增加,解碼 4:2:2 視頻可能具有挑戰(zhàn)性。GeForce RTX 50 系列 GPU 包括 4:2:2 硬件解碼支持,每個解碼器可解碼多達(dá) 8 條4K 60 fps視頻源,實(shí)現(xiàn)流暢的多機(jī)位視頻編輯。

GeForce RTX 5090 D GPU 配備三個視頻編碼器和兩個視頻解碼器,GeForce RTX 5080 GPU 包括兩個視頻編碼器和兩個視頻解碼器,5070 Ti GPU 具有兩個視頻編碼器和一個視頻解碼器,GeForce RTX 5070 GPU 則包括一個視頻編碼器和一個視頻解碼器。這些多編碼器和解碼器配置與更快的 GPU 相結(jié)合,使 GeForce RTX 5090 D 的視頻導(dǎo)出速度比 GeForce RTX 4090 D ?快 60%,是 GeForce RTX 3090 的 4 倍。

GeForce RTX 50 系列 GPU 還搭載第九代 NVIDIA 視頻編碼器 NVENC,可將 HEVC 和 AV1 編碼 (BD-BR) 的視頻質(zhì)量提高 5%,還支持全新的 AV1 超高質(zhì)量(UHQ) 模式,在相同質(zhì)量下實(shí)現(xiàn) 5% 的壓縮率提升。這些 GPU 還包含第六代 NVIDIA 視頻解碼器,可將 H.264 視頻的解碼速度翻倍。

從 2 月開始,NVIDIA 將與剪映專業(yè)版、萬興喵影、Adobe Premiere Pro和Blackmagic Design 合作,支持這些技術(shù)。

隨著 VR、AR和混合現(xiàn)實(shí)頭顯設(shè)備的發(fā)展,3D 視頻逐漸開始流行。全新的 RTX 50 系列 GPU 還支持 MV-HEVC 編解碼器,以便在不久的將來解鎖此類格式。

直播增強(qiáng)

直播需要同時兼顧多項任務(wù),主播需要在玩游戲的同時制作視頻節(jié)目并保證娛樂效果。頭部主播可以聘用制作人和助播來分擔(dān)工作量,但大多數(shù)主播需獨(dú)自承擔(dān)諸多工作,且長時間持續(xù)工作?，F(xiàn)在,這一狀況即將改變。

Streamlabs,羅技旗下的一個品牌,也是面向內(nèi)容創(chuàng)作者的直播軟件和工具的領(lǐng)先提供商,正在與 NVIDIA 和 Inworld AI 合作打造 Streamlabs 智能直播助手。

Streamlabs 智能直播助手是一個 AI 智能體,可以扮演助理、制作人和技術(shù)支持的角色。智能助手可以化身 3D 虛擬形象加入直播,回答問題、評論游戲玩法或聊天,或發(fā)起暖場對話。它可以輔助制作直播內(nèi)容,在有意思的游戲時刻切換到最相關(guān)的場景并播放音頻和視頻提示。它甚至可以作為 IT 助手,幫助配置直播并解決問題。

Streamlabs 智能直播助手由 NVIDIA ACE 技術(shù)(用于創(chuàng)建數(shù)字人)和 Inworld AI(用于實(shí)現(xiàn)代理式 AI 體驗(yàn)的 AI 框架)提供支持。該助手將于今年晚些時候推出。

數(shù)百萬用戶已使用 NVIDIA Broadcast 應(yīng)用程序?qū)⑥k公室和宿舍變?yōu)榧彝スぷ魇?通過使用 AI 功能提高音頻和視頻質(zhì)量,而無需昂貴的專用設(shè)備。

兩個新的 AI 賦能的測試版特效將添加到 NVIDIA Broadcast 應(yīng)用程序中。

第一個是 Studio Voice 音棚音效,它可以增強(qiáng)用戶麥克風(fēng)的聲音,使其與高品質(zhì)麥克風(fēng)相媲美。。另一個是 Virtual Key Light 虛擬補(bǔ)光,可以重新照亮用戶的面部,使光線均勻分布,營造出如同兩盞燈充分照亮的效果。

由于這兩個測試版功能使用了性能要求較高的 AI 模型,因此建議用于視頻會議或非游戲直播,并使用 GeForce RTX 5080 GPU 或更高級別的 GPU。NVIDIA 正力求在未來的更新中將這些功能擴(kuò)展到更多 GeForce RTX GPU。

NVIDIA Broadcast 應(yīng)用升級還包括全新的用戶界面,允許用戶同時啟用更多效果,以及對噪音消除、虛擬背景和目光接觸效果的改進(jìn)。

更新后的 NVIDIA Broadcast 應(yīng)用程序?qū)⒂?2 月推出。

https://images.nvidia.cn/cn/youtube-replicates/-PThMLe6UgY.mp4

主播同樣可以受益于 NVENC——在 OBS 的 Twitch 增強(qiáng)直播功能的最新測試版中,HEVC 和 AV1 的 BD-BR 視頻質(zhì)量提升了 5%,并且用于在 Discord 或 YouTube 中直播的 AV1 編碼器也有所改進(jìn)。

RTX Video 是一個 AI 功能,可通過視頻超分辨率(VSR)和 HDR 增強(qiáng) Google Chrome 和 Microsoft Edge 等常用互聯(lián)網(wǎng)瀏覽器,以及本地播放器的視頻播放效果。該功能將獲得更新,可將 GPU 的使用率降低 30%,從而擴(kuò)大能夠以更高質(zhì)量運(yùn)行視頻超分辨率的 GeForce RTX GPU 陣容。

RTX Video 更新將在未來的 NVIDIA App 版本中提供。

前所未有的 3D 渲染性能

GeForce RTX 5090 D GPU 提供 32 GB GPU 顯存,是歷代 GeForce RTX GPU 中顯存最大的型號,比 GeForce RTX 4090 ?D GPU 提升了 33 %。這使得 3D 藝術(shù)家能夠在同時使用多個應(yīng)用程序的同時,構(gòu)建更大、更豐富的世界。此外,全新的 RTX 50 系列第四代 RT Cores 可以將 3D 應(yīng)用程序的運(yùn)行速度提升 40%。

DLSS 4 首次引入多幀生成功能,使用 AI 為每個渲染幀生成最多三幀來提高幀率。這使得動畫師能夠以多達(dá) 4 倍的幀數(shù)流暢地操作場景,或以 60 fps 或更高幀率渲染 3D 內(nèi)容。

https://images.nvidia.cn/cn/youtube-replicates/qQn3bsPNTyI.mp4

D5 渲染器和 Chaos Vantage 這兩款深受建筑師和設(shè)計師歡迎的專業(yè)級 3D 應(yīng)用程序?qū)⒂?2 月增加對 DLSS 4 的支持。

3D 藝術(shù)家們已采用生成式 AI 來提高生成 3D 網(wǎng)格模型、HDRi 地圖甚至動畫的效率,以進(jìn)行場景原型設(shè)計。在 CES 上,Stability AI 宣布了全新的 3D 模型 SPAR3D,它可以在 RTX 加速的支持下在幾秒鐘內(nèi)根據(jù)圖像生成 3D 網(wǎng)格模型。

NVIDIA RTX Remix 是一個 MOD 平臺,允許 MOD 制作者捕捉游戲資產(chǎn),利用生成式 AI 工具自動增強(qiáng)材質(zhì),并加持全景光線追蹤來創(chuàng)建令人驚艷的 RTX 重制版——支持 DLSS 4,提升圖形保真度和幀率,最大限度地提高游戲過程中的真實(shí)感和沉浸感。

RTX Remix 將支持 Neural Radiance Cache,這是一種使用 AI 對實(shí)時游戲數(shù)據(jù)進(jìn)行訓(xùn)練并精確估計每像素間接光照的神經(jīng)著色器。借助 RTX Skin,RTX Remix MOD 有望為角色帶來前所未有的逼真度,因?yàn)楣饩€將通過角色的皮膚反射和傳播,使其與周圍環(huán)境更為融合。借助 RTX Skin,RTX Remix MOD 有望為角色帶來前所未有的逼真度,因?yàn)楣饩€將通過角色的皮膚反射和傳播,使其與所處的世界更為融合。

GeForce RTX 5090 D 和 5080 GPU 將于 1 月 30 日開始發(fā)售,隨后 GeForce RTX 5070 Ti 和 5070 GPU 將于 2 月推出,RTX 50 系列筆記本電腦將于 3 月上市。

所有配備 GeForce RTX GPU 的系統(tǒng),均可體驗(yàn) NVIDIA Studio 平臺帶來的優(yōu)化,包括 130 多個 經(jīng) GPU 加速的內(nèi)容創(chuàng)作應(yīng)用,以及經(jīng)過廣泛測試并每月更新的 NVIDIA Studio 驅(qū)動,該驅(qū)動可為用戶增強(qiáng)熱門創(chuàng)意應(yīng)用程序的性能并最大限度地提高其穩(wěn)定性。

敬請關(guān)注 GeForce RTX 50 系列的更多更新。詳細(xì)了解 GeForce RTX 50 系列如何增強(qiáng)游戲體驗(yàn),并查看 NVIDIA 在 CES 上的所有發(fā)布內(nèi)容。

每月,NVIDIA Studio 平臺為創(chuàng)意應(yīng)用程序更新和優(yōu)化提供支持。

請參閱有關(guān)軟件產(chǎn)品信息的聲明。