arXiv reaDer
NeRT: 一般的な教師なし乱流緩和のための暗黙的なニューラル表現
NeRT: Implicit Neural Representations for General Unsupervised Turbulence Mitigation
大気と水の乱流の緩和問題は、コンピュータ ビジョンと光学のコミュニティにおいて、長年にわたり困難な逆問題として浮上してきました。ただし、現在の方法はトレーニング データセットの品質に大きく依存しているか、静的シーン、動的シーン、テキストの再構成などのさまざまなシナリオを一般化できません。教師なし大気および水の乱流緩和 (NeRT) のための一般的な暗黙的ニューラル表現を提案します。 NeRT は、暗黙的なニューラル表現と物理的に正しい傾いてからブラーする乱流モデルを活用して、歪んだ入力画像が数十枚だけ与えられた場合でも、歪みのないきれいな画像を再構築します。さらに、大気および水の乱流データセットのさまざまな定性的および定量的評価を通じて、NeRT が最先端技術を上回るパフォーマンスを示すことを示します。さらに、実世界の環境から制御不能な乱気流を除去する NeRT の能力を実証します。最後に、連続的にキャプチャされたビデオ シーケンスに NeRT を組み込み、48 倍の高速化を実証します。
The atmospheric and water turbulence mitigation problems have emerged as challenging inverse problems in computer vision and optics communities over the years. However, current methods either rely heavily on the quality of the training dataset or fail to generalize over various scenarios, such as static scenes, dynamic scenes, and text reconstructions. We propose a general implicit neural representation for unsupervised atmospheric and water turbulence mitigation (NeRT). NeRT leverages the implicit neural representations and the physically correct tilt-then-blur turbulence model to reconstruct the clean, undistorted image, given only dozens of distorted input images. Moreover, we show that NeRT outperforms the state-of-the-art through various qualitative and quantitative evaluations of atmospheric and water turbulence datasets. Furthermore, we demonstrate the ability of NeRT to eliminate uncontrolled turbulence from real-world environments. Lastly, we incorporate NeRT into continuously captured video sequences and demonstrate 48 × speedup.
updated: Mon Apr 01 2024 18:10:28 GMT+0000 (UTC)
published: Tue Aug 01 2023 15:49:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト