arXiv reaDer
暗闇でのステレオ画像強化のための分離されたクロススケール クロスビュー インタラクション
Decoupled Cross-Scale Cross-View Interaction for Stereo Image Enhancement in The Dark
ローライト ステレオ イメージ エンハンスメント (LLSIE) は、暗い状態でキャプチャされた視覚的に不快なステレオ イメージの品質を向上させるための比較的新しいタスクです。ただし、現在の方法では、ディテールの回復と照明の調整のパフォーマンスが劣っています。その理由は次のとおりです。1) 単一スケールのビュー間の相互作用が不十分なため、クロスビューの手がかりを十分に活用できません。 2) 長距離依存性の欠如は、照明の劣化によって引き起こされる空間的な長距離効果に対処することができないことにつながります。このような制限を軽減するために、Decoupled Cross-scale Cross-view Interaction Network (DCI-Net) と呼ばれる LLSIE モデルを提案します。具体的には、十分なデュアル ビュー情報相互作用を目的とした分離相互作用モジュール (DIM) を提示します。 DIM は、デュアル ビューの情報交換を分離して、マルチスケールのクロス ビュー相関を発見し、クロススケールの情報フローをさらに調査します。さらに、ビュー内特徴抽出のための空間チャネル情報マイニング ブロック (SIMB) を提示し、利点は 2 つあります。 1 つは、空間的な長距離関係を構築するための長距離依存関係の捕捉であり、もう 1 つは、チャネル次元での情報の流れを強化する拡張チャネル情報洗練です。 Flickr1024、KITTI 2012、KITTI 2015、Middlebury のデータセットに関する広範な実験では、他の関連する方法と比較して、私たちの方法がより優れた照明調整と詳細回復を実現し、SOTA パフォーマンスを達成することが示されています。私たちのコード、データセット、モデルは公開されます。
Low-light stereo image enhancement (LLSIE) is a relatively new task to enhance the quality of visually unpleasant stereo images captured in dark condition. However, current methods achieve inferior performance on detail recovery and illumination adjustment. We find it is because: 1) the insufficient single-scale inter-view interaction makes the cross-view cues unable to be fully exploited; 2) lacking long-range dependency leads to the inability to deal with the spatial long-range effects caused by illumination degradation. To alleviate such limitations, we propose a LLSIE model termed Decoupled Cross-scale Cross-view Interaction Network (DCI-Net). Specifically, we present a decoupled interaction module (DIM) that aims for sufficient dual-view information interaction. DIM decouples the dual-view information exchange into discovering multi-scale cross-view correlations and further exploring cross-scale information flow. Besides, we present a spatial-channel information mining block (SIMB) for intra-view feature extraction, and the benefits are twofold. One is the long-range dependency capture to build spatial long-range relationship, and the other is expanded channel information refinement that enhances information flow in channel dimension. Extensive experiments on Flickr1024, KITTI 2012, KITTI 2015 and Middlebury datasets show that our method obtains better illumination adjustment and detail recovery, and achieves SOTA performance compared to other related methods. Our codes, datasets and models will be publicly available.
updated: Sat Nov 12 2022 06:47:07 GMT+0000 (UTC)
published: Wed Nov 02 2022 04:01:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト