暗光图画处理

这篇论文最大的奉献之一就是供给了一个实在国际的低光照图画和对应reference的数据集,但这些图画不是传统的类型,属于raw sensor data,低光照图画是短曝光下得到的,对应的ref为长曝光,SID数据集总共包括5094对。图画由两部相机Sony 7S II 和Fujifilm X-T2拍摄得到,其对应的传感器分别为Bayer和X-Trans,得到的图画分辨率为42402832和60004000。

路文件要

本文提出了一个端到端的网络结构,直接处理低光照的raw data,包括色彩变化、去马赛克、减少噪声和图画增强,网络结构如下:

暗光图像处理

(a)为传统的图画处理流程,如白平衡、去马赛克、去噪、锐化、颜色空间转化、gamma变化等,这些一般针对特定的相机,泛化性能比较差,并且不能很好地处理极度低的SNR。

(b)是本文中提出的结构,关于Bayer arrays把输入pack成4通道,对应的分辨率变为本来的一半;关于X-Trans arrays,输入为6/*6的block, pack成9通道(这里不太懂这个预处理有什么特殊意图)。之后减去black level再乘上期望的扩大因子,得到的图画作为网络的输入,默许运用U-Net结构,网络的输出为12通道、原图一半空间分辨率的如下,再经过sub-pixel层复原到全分辨率大小,且输出为RGB空间。 网络运用L1loss,每个相机独自练习一个网络。因为低曝光图画往往带有噪声,所以作者还对比了一些去噪办法。部分试验成果如下:

暗光图像处理

暗光图像处理

总结

虽然本文的结构在SID数据集上有用抑制了噪声且得到了正确的色彩变换,但仍是存在一些问题,如:SID数据集比较有限,不包括人像或许动态方针,不能处理HDR色彩映射;试验成果存在一些伪影;提出的框架中扩大因子需要在外部选择好输入;对每一种相机的传感器要独自练习一个网络,泛化才能比较差;处理图画的速度不够快,不能实现实时图画增强,这些都需要在后续的研讨中继续加以改进。

论文下载

论文项目地址:github.com/cchen156/Se…

论文地址:openaccess.thecvf.com/content_cvp…

我的个人博客主页,欢迎访问

我的CSDN主页,欢迎访问

我的GitHub主页,欢迎访问