この技術レポートでは、CVPR 2023 UG^2+ チャレンジのトラック 2.1 で、大気の乱気流を介したテキスト認識のために当社チーム VIELab-HUST が開発したソリューションを紹介します。私たちのソリューションには、歪んだフレームから高品質の画像を復元する効率的な多段階フレームワークが含まれています。具体的には、まず鮮明度に基づくフレーム選択アルゴリズムを利用して、歪んだフレームの最も鮮明なセットを選択します。次に、選択されたフレーム内の各フレームが、オプティカル フロー ベースの画像レジストレーションを通じて幾何学的歪みを抑制するように位置合わせされます。次に、DT-CWT を使用した領域ベースの画像融合手法を利用して、乱気流によって引き起こされるブレを軽減します。最後に、学習ベースのアーティファクト除去手法を適用して、融合画像内のアーティファクトを除去し、高品質の出力を生成します。私たちのフレームワークは、最終テスト段階で提供された熱風テキスト データセットと乱気流テキスト データセットの両方を処理でき、テキスト認識精度で 1 位を達成しました。私たちのコードは https://github.com/xsqhust/Turbulence_Removal で入手できます。
In this technical report, we present the solution developed by our team VIELab-HUST for text recognition through atmospheric turbulence in Track 2.1 of the CVPR 2023 UG^2+ challenge. Our solution involves an efficient multi-stage framework that restores a high-quality image from distorted frames. Specifically, a frame selection algorithm based on sharpness is first utilized to select the sharpest set of distorted frames. Next, each frame in the selected frames is aligned to suppress geometric distortion through optical-flow-based image registration. Then, a region-based image fusion method with DT-CWT is utilized to mitigate the blur caused by the turbulence. Finally, a learning-based deartifacts method is applied to remove the artifacts in the fused image, generating a high-quality outuput. Our framework can handle both hot-air text dataset and turbulence text dataset provided in the final testing phase and achieved 1st place in text recognition accuracy. Our code will be available at https://github.com/xsqhust/Turbulence_Removal.