DLSS 2.0 - 重新定义AI渲染

DLSS 2.0 - 重新定义AI渲染

过去一年多的时间,我一直在参与DLSS相关的工作。DLSS的全称是Deep Learning Super Sampling,主要作用是通过Tensor Core硬件加速的深度学习对实时渲染的图片实现非常高质量的超分辨率,从而大幅提升游戏渲染的性能。

去年十二月,DLSS 2.0静悄悄的在《飞向月球》以及《德军总部:新血液》中上线,获得网上的玩家以及测评的一致好评。这也给了我们更大的信心继续将这个技术大规模铺开。

就在这周一,NVIDIA终于正式对外发布了DLSS 2.0。DLSS 2.0可以在不损失画质的情况下,通过人工智能 /深度学习,直接把游戏实时渲染的结果实现四倍超采样,也就是说想要得到4K的游戏体验,现在游戏引擎只需要渲染1080p的画面,从而达到两倍甚至更高的帧率提升!

不知道为什么,在国内的网站上搜这个新闻并没有看到什么人在讨论,官方的中文社交平台也没有什么新闻,看来只有我自己来宣传了!

下面是我们的发布视频,我也是过了一把上镜和被采访的瘾。B站有个带字幕版本的:

https://www.bilibili.com/video/BV1q741117Yx?from=search&seid=118741111096826230www.bilibili.com
DLSS 2.0 - 重新定义AI渲染https://www.zhihu.com/video/1226067829071396864

官方新闻:

NVIDIA DLSS 2.0:AI 渲染领域的一大步www.nvidia.cn图标NVIDIA DLSS 2.0: A Big Leap In AI Renderingwww.nvidia.com

本文只对DLSS 2.0的新特性已经发布相关的新闻做个总结,想知道更对技术细节,可以听我在今年GDC和GTC上关于DLSS 2.0的技术讲座,或者看我的下一篇文章:

GTC 2020: DLSS - Image Reconstruction for Real-time Rendering with Deep Learningdeveloper.nvidia.com
文刀秋二:DLSS 2.0 - 基于深度学习的实时渲染图像重建zhuanlan.zhihu.com图标

DLSS 2.0测评集锦

自从DLSS 2.0上线以来,海外的网上的评价无论是玩家还是媒体都非常好,好到不可思议的地步。

数毛社(Digital Foundry)对DLSS2.0的评价是:

DLSS is impressive to the point where I believe you'd be nuts not to use it.

Hardware Unboxed的测评说:

The upscaling power of this new AI driven algorithm is extremely impressive… it's basically a free performance button.

我收集了一些过去两三个月在国内外关于DLSS 2.0的测评和讨论:

老黄黑科技终练成!推倒重做的新版DLSS效果展示 - STEAM/PC综合讨论区 - A9VG电玩部落论坛

《光明记忆》(抢先体验版)现已更新RTX光线追踪+DLSS技术

Wolfenstein Youngblood gets ray tracing and VRS - is this an early preview of next-gen console features?

Nvidia DLSS in 2020: Stunning Results

Wolfenstein Youngblood - Ray Tracing/VRS/DLSS in id Tech 6 - A Next-Gen Features Showcase?

DLSS Revisited: Can Nvidia Finally Provide a Performance Boost for RTX GPUs?

我自己也收集过一些Reddit以及youtube上的网友评论:

过去一整年的研究工作终于在上周静悄悄的…

最后更新一下数毛社对针对DLSS2.0的最新测评:

【DF数毛社】控制 vs DLSS2.0:540p能与1080p比较图像质量?2060运行全光线追踪?_哔哩哔哩 (゜-゜)つロ 干杯~-bilibiliwww.bilibili.com图标

DLSS 2.0的新特性

1. 4倍超采样下的超高画质

DLSS 2.0可以将540p的渲染图像直接放大到1080p,或者720p到1440p,1080p到4K。并且放大的画面在质量以及细节程度完全不输原生分辨率渲染,网上的许多测评也都反映了这一点。

下面放几组例子,第一个是一个几何非常密集的森林场景,开启实时光线追踪后540p原生分辨率渲染大概有89fps,但是因为分辨率太低,画面非常模糊。

540p原生分辨率渲染,89fps

如果1080p渲染,画面则清晰了很多,但是帧率也降低到48fps

1080p原生分辨率渲染,48fps

使用DLSS2.0, 用540p分辨率渲染的画面作为输入,通过深度学习超采样至1080p,帧率提升到86fps,并且画质和原生十分接近。

DLSS 2.0,540p渲染输入超采样至1080p,86fps

但如果放大看的话,可以发现DLSS2.0的结果和原生1080p还是有一些差别,那么为了验证正确性,下面这个对比的左下角是每个像素用32个样本渲染的ground truth。很明显DLSS 2.0用在540p下渲染的结果,比1080p的原生渲染更接近ground truth!

200%对比

再放一些DLSS 2.0再实际游戏场景中的对比,几乎可以看到对于一些细小物体例如栅栏等,DLSS2.0的效果在渲染分辨率更低,性能更好的情况下,几乎超越了原生分辨率渲染的画质。


2. 通用的深度学习模型

第一代DLSS需要我们为每一个集成DLSS的游戏单独收集训练数据,并且为每个游戏训练专有的神经网络。DLSS 2.0我们改进了算法模型和训练数据,使得整个模型的通用性极大增强。现在我们只需要训练一个通用的神经网络,所有的场景,引擎,不同风格的渲染,以及游戏,都可以用这同一个神经网络实现高质量的超采样。


3. 更快的推理(Inference)速度

DLSS2.0的神经网络推理速度是上一代DLSS的2倍,再加上现在我们支持4倍大小的超采样,意味着渲染本身的性能也会进一步提升。最终的结果是开启DLSS 2.0后渲染的性能会暴涨。下面贴一组DLSS 2.0在《控制》中的性能对比:

看到在RTX 2060上,DLSS2.0把性能从8fps直接提升到36.8fps,我作为一个研发人员下巴也都掉到地上了,真的不得不说算是亲身感受到了一把人工智能的"魔力"。

写在最后

在图形领域,性能和画质绝对是成反比的,要想要更好的画质,一定要牺牲性能。而DLSS 2.0就是这种鱼和熊掌都给你的革命性技术。有了它,原生分辨率渲染将会变成过去式。

NVIDIA是个神奇的公司。在以4K + 60Hz频率运行的渲染管线中每一帧运行一个神经网络这种想法乍一听是很疯狂,并且很有挑战性的。更不用说要用这种疯狂的想法真的实现出有商业价值的技术,其中要解决的“看似不可能”的技术问题真的数不胜数。用户好评的背后真的充满了我们研发过程中的泪水和血汗。然而我们似乎就是做到了。能对这种革命性的新技术做出贡献我个人也感觉非常幸运。

好了,今天就先写一篇商业吹捧文,给我这陈年长草的专栏清理一下灰尘。

这一周我会在GDC以及GTC上给关于DLSS 2.0的技术讲座,等等讲座的视频上传到网上后,我再更新一篇技术向的DLSS2.0的文章。

编辑于 04-06

文章被以下专栏收录

    图形学爱好者的专栏。涉及内容包括用于电影特效的离线渲染技术,用于游戏的实时渲染技术,图形学相关的软件系统如游戏引擎、渲染器的开发以及优化,物理模拟,GPU开发技术等。