この技術レポートは、GT-RAIN チャレンジ (CVPR 2023 UG^2+ Track 3) に提出された、当社の Restormer-Plus アプローチを紹介します。チャレンジの詳細については、http://cvpr2023.ug2challenge.org/track3.html をご覧ください。当社の Restormer-Plus は、ピーク信号対雑音比 (PSNR) の点で、提出された他のすべてのソリューションを上回りました。これは主に、単一画像ディレイン モジュール、メディアン フィルタリング モジュール、加重平均モジュール、後処理モジュールの 4 つのモジュールで構成されます。私たちは単一画像雨除去モジュールを Restormer-X と名付けました。これは Restormer 上に構築され、各雨画像に対して実行されます。中央値フィルタリング モジュールは、各シーンに関連付けられた 300 枚の雨の画像の中央値演算子として使用されます。 Restormer-X のみを使用する場合、加重平均モジュールはメディアン フィルタリングの結果を Restormer-X のフィルタリング結果と組み合わせて、過学習を軽減します。最後に、後処理モジュールを使用して明るさの復元を改善します。これらのモジュールを組み合わせることで、Restormer-Plus は GT-RAIN チャレンジに対する 1 つの最先端のソリューションになります。私たちのコードは https://github.com/ZJLAB-AMMI/Restormer-Plus で入手できます。
This technical report presents our Restormer-Plus approach, which was submitted to the GT-RAIN Challenge (CVPR 2023 UG^2+ Track 3). Details regarding the challenge are available at http://cvpr2023.ug2challenge.org/track3.html. Our Restormer-Plus outperformed all other submitted solutions in terms of peak signal-to-noise ratio (PSNR). It consists mainly of four modules: the single image de-raining module, the median filtering module, the weighted averaging module, and the post-processing module. We named the single-image de-raining module Restormer-X, which is built on Restormer and performed on each rainy image. The median filtering module is employed as a median operator for the 300 rainy images associated with each scene. The weighted averaging module combines the median filtering results with that of Restormer-X to alleviate overfitting if we only use Restormer-X. Finally, the post-processing module is used to improve the brightness restoration. Together, these modules render Restormer-Plus to be one state-of-the-art solution to the GT-RAIN Challenge. Our code is available at https://github.com/ZJLAB-AMMI/Restormer-Plus.