arXiv reaDer
クロスモーダル注意を伴うモーションブレ除去のためのイベントベースの融合
Event-Based Fusion for Motion Deblurring with Cross-modal Attention
従来のフレームベースのカメラは、長時間露光のために必然的にモーションブラーに悩まされます。一種のバイオインスパイアードカメラとして、イベントカメラは高い時間分解能で非同期的に強度変化を記録し、露光時間内に有効な画像劣化情報を提供します。この論文では、イベントベースの画像ブレ除去問題を再考し、それをエンドツーエンドの2段階画像復元ネットワークに展開します。イベントと画像の機能を効果的に融合するために、ネットワークの複数のレベルに適用されるイベント画像のクロスモーダルアテンションモジュールを設計します。これにより、イベントブランチの関連機能に焦点を当て、ノイズを除去できます。また、特に画像のぼけ除去のための新しい対称累積イベント表現と、情報の損失を回避するのに役立つネットワークの2つのステージ間のイベントマスクゲート接続を紹介します。データセットレベルでは、イベントベースのモーションブレ除去を促進し、挑戦的な実世界の画像の評価を容易にするために、照明制御光学実験室でイベントカメラでキャプチャされたReal Event Blur(REBlur)データセットを紹介します。私たちのイベントフュージョンネットワーク(EFNet)は、GoProデータセットにパブリック実装(最大2.47dB)を備えた、以前の最高のパフォーマンスの画像ベースの方法とすべてのイベントベースの方法の両方を超えて、動きのぼけを除去する新しい最先端技術を設定します。極端にぼやけた状態でも、REBlurデータセットで。コードとREBlurデータセットは公開されます。
Traditional frame-based cameras inevitably suffer from motion blur due to long exposure times. As a kind of bio-inspired camera, the event camera records the intensity changes in an asynchronous way with high temporal resolution, providing valid image degradation information within the exposure time. In this paper, we rethink the eventbased image deblurring problem and unfold it into an end-to-end two-stage image restoration network. To effectively fuse event and image features, we design an event-image cross-modal attention module applied at multiple levels of our network, which allows to focus on relevant features from the event branch and filter out noise. We also introduce a novel symmetric cumulative event representation specifically for image deblurring as well as an event mask gated connection between the two stages of our network which helps avoid information loss. At the dataset level, to foster event-based motion deblurring and to facilitate evaluation on challenging real-world images, we introduce the Real Event Blur (REBlur) dataset, captured with an event camera in an illumination controlled optical laboratory. Our Event Fusion Network (EFNet) sets the new state of the art in motion deblurring, surpassing both the prior best-performing image-based method and all event-based methods with public implementations on the GoPro dataset (by up to 2.47dB) and on our REBlur dataset, even in extreme blurry conditions. The code and our REBlur dataset will be made publicly available.
updated: Wed Jan 11 2023 22:03:58 GMT+0000 (UTC)
published: Tue Nov 30 2021 23:18:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト