arXiv reaDer
深度認識による適応型ライト フィールドブレ除去ネットワークの表示
View Adaptive Light Field Deblurring Networks with Depth Perception
ライト フィールド (LF) ブレ除去タスクは、カメラのブレやオブジェクトの動きなどのさまざまな理由によってブレ画像が発生するため、困難な問題です。この問題を解決する方法として、単一画像ブレ除去法が考えられます。ただし、各ビューを独立して処理し、LF 構造を有効に活用および維持できないため、通常、復元効果は理想的ではありません。また、LF ブラーはビューと深度の影響を受けるため、より複雑です。したがって、LF ブラー特性に基づいて、新しい LF ブレ除去ネットワークを慎重に設計しました。一方で、ぼかしの程度はビューごとに大きく異なるため、ぼやけた LF をぼかすために、ビューごとに排他的な畳み込みカーネルを計算する新しいビュー適応空間畳み込みを設計します。一方、ぼかしの程度はオブジェクトの深度によっても変化するため、深度知覚ビュー アテンションは、さまざまなビューからの情報を選択的に統合することによって、さまざまな深度領域のぼかしを除去するように設計されています。さらに、角度位置の埋め込みを導入して LF 構造をより適切に維持し、モデルがビュー情報を正しく復元できるようにします。合成画像と実際の画像に関する定量的および定性的な実験結果は、この方法のブレ除去効果が他の最先端の方法よりも優れていることを示しています。
The Light Field (LF) deblurring task is a challenging problem as the blur images are caused by different reasons like the camera shake and the object motion. The single image deblurring method is a possible way to solve this problem. However, since it deals with each view independently and cannot effectively utilize and maintain the LF structure, the restoration effect is usually not ideal. Besides, the LF blur is more complex because the degree is affected by the views and depth. Therefore, we carefully designed a novel LF deblurring network based on the LF blur characteristics. On one hand, since the blur degree varies a lot in different views, we design a novel view adaptive spatial convolution to deblur blurred LFs, which calculates the exclusive convolution kernel for each view. On the other hand, because the blur degree also varies with the depth of the object, a depth perception view attention is designed to deblur different depth areas by selectively integrating information from different views. Besides, we introduce an angular position embedding to maintain the LF structure better, which ensures the model correctly restores the view information. Quantitative and qualitative experimental results on synthetic and real images show that the deblurring effect of our method is better than other state-of-the-art methods.
updated: Mon Mar 13 2023 05:08:25 GMT+0000 (UTC)
published: Mon Mar 13 2023 05:08:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト