NVIDIA正利用深度学习来恢复部分丢失或模糊的照片!



原创 AI中国 2018-04-26 18:46:57

NVIDIA正利用深度学习来恢复部分丢失或模糊的照片!

人们通常认为修图是P图的同义词,但是Nvidia并不在此列。它拥有高级技术所需的硬件设备,并通过深度学习技术,使“修图”成为在图像部分缺失的情况下进行有效的填充而获得原图的效果。

虽然Photoshop的内容感知填充功能可能会出现在CS5中,但Nvidia的研究目的并没有止步于采样周围地区和边缘检测这些成果。而是建立了一个神经网络,使用55000随机生成(包含圆和条纹)的图像,并另外生成了25,000幅图像来测试其性能。

NVIDIA正利用深度学习来恢复部分丢失或模糊的照片!

通过六种不同类型的缺失图像的随机生成,以提高图像重建工作的准确性。将Tesla V 100 GPU与PyTorch深度学习框架相结合,达到加速神经网络成熟化的过程。

相较于NVIDIA的新方法,旧有的图像修复手段明显处于不利地位。因为与计算丢失像素值的算法相比,输入的算法具有很强的依赖性,这种依赖会导致图像模糊。为了解决这个问题,NVIDIA研究人员使用了部分卷积层,反复检查输出像素与接收区域的匹配程度。

NVIDIA正利用深度学习来恢复部分丢失或模糊的照片!

NVIDIA解决方案的另一个关键性优势是需要填充的部分可以是任何形状。传统的图像修复一直受限于对非矩形数据集的处理。“据我们所知,我们所创建的深度学习的图像修复模型,是第一个可以修复不规则图形,并有极佳效果的模型。”一位NVIDIA研究人员说。

NVIDIA正利用深度学习来恢复部分丢失或模糊的照片!

研究小组称,他们将继续研究如何将部分卷积技术运用于超分辨率应用。因为随着大众逐渐负担得起的4K和更高分辨率应用所需的费用,提高低分辨率内容的能力将变得更加重要。


0