大気の乱気流によって歪んだ画像を復元することは、歪の空間的に変化する性質、画像形成プロセスの非線形性、およびトレーニングとテストのデータの不足のために、長年の問題です。既存の方法は、歪みモデルに関する強力な統計的仮定を持っていることが多く、一般化されていないため、多くの場合、実際のシナリオではパフォーマンスが制限されます。この課題を克服するために、このペーパーでは、効率的で現実世界の乱流に一般化できる、エンドツーエンドの物理駆動型アプローチを紹介します。データ合成の面では、広義の定常性を介して確率場を近似することにより、SOTA乱流シミュレータで処理できる画像解像度を大幅に向上させます。新しいデータ合成プロセスにより、トレーニング用の大規模なマルチレベルの乱流とグラウンドトゥルースのペアを生成できます。ネットワーク設計の面では、乱流緩和トランス(TMT)を提案します。これは、時間チャネル共同注意(TCJA)と呼ばれる新しい効率的な自己注意メカニズムを備えた2ステージU-Net型マルチフレーム復元ネットワークです。また、新しいシミュレーターによって可能になる新しいトレーニングスキームを導入し、メモリ消費を削減するために新しいトランスユニットを設計します。さまざまな実際の乱流シナリオを含む、静的シーンと動的シーンの両方での実験結果は有望です。
Restoring images distorted by atmospheric turbulence is a long-standing problem due to the spatially varying nature of the distortion, nonlinearity of the image formation process, and scarcity of training and testing data. Existing methods often have strong statistical assumptions on the distortion model which in many cases will lead to a limited performance in real-world scenarios as they do not generalize. To overcome the challenge, this paper presents an end-to-end physics-driven approach that is efficient and can generalize to real-world turbulence. On the data synthesis front, we significantly increase the image resolution that can be handled by the SOTA turbulence simulator by approximating the random field via wide-sense stationarity. The new data synthesis process enables the generation of large-scale multi-level turbulence and ground truth pairs for training. On the network design front, we propose the turbulence mitigation transformer (TMT), a two stage U-Net shaped multi-frame restoration network which has a noval efficient self-attention mechanism named temporal channel joint attention (TCJA). We also introduce a new training scheme that is enabled by the new simulator, and we design new transformer units to reduce the memory consumption. Experimental results on both static and dynamic scenes are promising, including various real turbulence scenarios.