ニューラルネットワークベースの画像復元方法では、トレーニングに低解像度の画像パッチを使用する傾向があります。高解像度の画像パッチはより多くのグローバル情報を提供できますが、最新の方法では、GPUの膨大なメモリ使用量と不安定なトレーニングプロセスのためにそれらを利用できません。しかし、多くの研究は、画像のデモザイキングやエンハンスなどの画像復元タスクにグローバルな情報が不可欠であることを示しています。この作業では、高解像度画像パッチでグローバル情報を完全に学習するために、HighEr-Resolution Network(HERN)を提案します。これを実現するため、HERNは2つの並列パスを使用して、それぞれ2つの異なる解像度で画像の特徴を学習します。グローバル対応の機能とマルチスケール機能を組み合わせることにより、HERNは実行可能なGPUメモリ使用量でグローバル情報を学習できます。さらに、不安定性の問題を解決し、モデルの収束を加速するためのプログレッシブトレーニング法を導入します。画像のデモザイキングとエンハンスメントのタスクで、HERNはAIM2019 RAW to RGBマッピングの課題で最先端のパフォーマンスを達成します。実装のソースコードはhttps://github.com/MKFMIKU/RAW2RGBNetで入手できます。
Neural-networks based image restoration methods tend to use low-resolution image patches for training. Although higher-resolution image patches can provide more global information, state-of-the-art methods cannot utilize them due to their huge GPU memory usage, as well as the instable training process. However, plenty of studies have shown that global information is crucial for image restoration tasks like image demosaicing and enhancing. In this work, we propose a HighEr-Resolution Network (HERN) to fully learning global information in high-resolution image patches. To achieve this, the HERN employs two parallel paths to learn image features in two different resolutions, respectively. By combining global-aware features and multi-scale features, our HERN is able to learn global information with feasible GPU memory usage. Besides, we introduce a progressive training method to solve the instability issue and accelerate model convergence. On the task of image demosaicing and enhancing, our HERN achieves state-of-the-art performance on the AIM2019 RAW to RGB mapping challenge. The source code of our implementation is available at https://github.com/MKFMIKU/RAW2RGBNet.