Adobe 研究人员展示了 VideoGigaGAN AI 在保持高细节水平的同时升级低质量视频的进展

Adobe 研究人员展示了他们的 VideoGigaGAN AI 在升级低质量视频方面的当前进展。一旦完全开发，人工智能就可以生成高质量的视频，而无需进行昂贵的重拍。Adobe 通过减少伪影和闪烁，同时保留处理过的视频中的精细细节，改进了之前的作品。

图像放大和超分辨率技术多年来一直用于提高低质量图片的质量和分辨率。一些索尼 Cybershot 摄像机使用其 By Pixel 超分辨率技术，通过使用参考图像数据数据库来放大低分辨率图像，但受到离散像素信息的限制，只能将图像放大到原始尺寸的两到三倍。最近，在数十亿张图像上训练的生成对抗网络 （GAN） 可以将图像放大 8 倍甚至更多。

由于引入了混叠和卡顿，将这种技术应用于视频具有挑战性。平滑图像细节可以消除这些问题，但质量较差。VideoGigaGAN 使用多种技术来解决这些限制，包括对象运动跟踪、图像模糊以及细节学习和重新绘制。尽管如此，人工智能并不能很好地升级小文本或长视频剪辑，因此需要更多的研究。与此同时，读者可以使用一流的数码单反相机（例如亚马逊的数码单反相机）拍摄高质量的视频，以避免不必要的升级。

技术细节

为了随着时间的推移保持帧之间的流畅视频流，在主 GAN 之前添加了一个流引导传播 AI 模块。它在原始输入中“学习”对象随时间的移动，以便在放大的视频中应用相同的平滑运动。此外，GAN 中的上采样层包含时间注意力层，有助于保持帧转换平滑。

为了解决混叠问题，帧被推入GAN中间的抗锯齿块，不幸的是，由于细节模糊，图像质量会降低。这样可以生成具有平滑运动、无混叠但图像细节柔和的放大视频。VideoGigaGAN通过引入高频穿梭来解决这个问题，该穿梭从初始GAN下采样层中提取精细细节，并在以后将其应用于上采样层。多层图像处理的结果是超分辨率视频，其中包含高细节级别，没有锯齿或闪烁。

VideoGigaGAN - 通用系统图。（来源：Adobe Research）

（左 - VideoGigaGan，右 - 现实）VideoGigaGAN的升级并不完美，因为可以看到相机接线和天线的差异。（来源：Adobe Research）

VideoGigaGAN提升质量的示例。（来源：Adobe Research）

VideoGigaGAN提升质量的示例。（来源：Adobe Research）

来源：IT时代网

IT时代网(关注微信公众号ITtime2000，定时推送，互动有福利惊喜)所有原创文章版权所有，未经授权，转载必究。
创客100创投基金成立于2015年，直通硅谷，专注于TMT领域早期项目投资。LP均来自政府、互联网IT、传媒知名企业和个人。创客100创投基金对IT、通信、互联网、IP等有着自己独特眼光和丰富的资源。决策快、投资快是创客100基金最显著的特点。

相关文章

Adobe 研究人员展示了 VideoGigaGAN AI 在保持高细节水平的同时升级低质量视频的进展