arXiv reaDer
単一のモーションブラー画像からのオプティカルフロー推定
Optical Flow Estimation from a Single Motion-blurred Image
ほとんどのコンピュータビジョンアプリケーションでは、モーションブラーは望ましくないアーティファクトと見なされます。ただし、画像のモーションブラーは、基本的なコンピュータビジョンの問題に実際的な関心を持っている可能性があることが示されています。この作業では、エンドツーエンドの方法で単一のモーションブラー画像からオプティカルフローを推定するための新しいフレームワークを提案します。トランスネットワークを使用してネットワークを設計し、モーションブラー入力のエンコードされた特徴からグローバルおよびローカルで変化するモーションを学習し、明示的なフレーム監視なしで左右のフレーム特徴をデコードします。次に、フロー推定ネットワークを使用して、デコードされたフィーチャからオプティカルフローを粗い方法から細かい方法で推定します。合成および実際のモーションブラーデータセットでの多数の実験を通じて、モデルを定性的および定量的に評価します。また、関連するアプローチに関連してモデルの詳細な分析を提供し、アプローチの有効性と好感度を強調します。さらに、ぼけ除去と移動オブジェクトのセグメンテーションタスクに関する私たちの方法によって推定されたフローの適用可能性を紹介します。
In most of computer vision applications, motion blur is regarded as an undesirable artifact. However, it has been shown that motion blur in an image may have practical interests in fundamental computer vision problems. In this work, we propose a novel framework to estimate optical flow from a single motion-blurred image in an end-to-end manner. We design our network with transformer networks to learn globally and locally varying motions from encoded features of a motion-blurred input, and decode left and right frame features without explicit frame supervision. A flow estimator network is then used to estimate optical flow from the decoded features in a coarse-to-fine manner. We qualitatively and quantitatively evaluate our model through a large set of experiments on synthetic and real motion-blur datasets. We also provide in-depth analysis of our model in connection with related approaches to highlight the effectiveness and favorability of our approach. Furthermore, we showcase the applicability of the flow estimated by our method on deblurring and moving object segmentation tasks.
updated: Wed Mar 10 2021 08:17:56 GMT+0000 (UTC)
published: Thu Mar 04 2021 12:45:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト