英伟达推DLSS SDK 310.3.0 提供正式版Transformer模型
英伟达在Github发布了最新的DLSS SDK 310.3.0,宣布Transformer模型已经完成了测试,正式向开发者提供。
英伟达在CES 2025上宣布了其DLSS超分辨率技术的最新一代升级,其中Transformer模型是DLSS4全面升级的一部分,该升级还包括对DLSS光线重建、超分辨率和DLAA的改进。该公司表示,这标志着业界首次实时实现基于Transformer的模型。英伟达表示,之前的DLSS版本依赖于CNN(卷积神经网络),该网络通过聚焦当前帧和之前帧的局部区域来生成像素。然而,该公司已经达到了CNN的极限。仅仅发布新的升级配置文件已远远不够。
英伟达日前已经在Github发布了最新的DLSS SDK 310.3.0,宣布Transformer模型已经完成了测试,正式向开发者提供。NVIDIA表示,Transformer模型对场景的理解更加深入。它能够提供更稳定的像素(减少闪烁和类似的伪影)、更少的重影、更出色的运动细节以及更平滑的边缘。此外,它还能提升光线重建(Ray Reconstruction)的图像质量,尤其是在光线条件较为复杂的场景中。
新的Transformer模型比CNN更先进。它使用的变量数量是之前DLSS升级模型的两倍,并且不再关注局部内容。相反,视觉Transformer会处理整个帧并评估每个像素的重要性,甚至跨多个帧进行评估。经过近六个月的测试,NVIDIA已完成Beta测试,为未来的升级和图像质量模型奠定了基础。基于CNN的DLSS已使用超过六年,而基于Transformer的方法很可能也将持续使用,并随着时间的推移不断发展。