arXiv reaDer
効率的なマルチモーダル深度補完モデルの学習
Learning an Efficient Multimodal Depth Completion Model
モバイル デバイスでのスパース ToF センサーの幅広いアプリケーションにより、RGB 画像ガイドによるスパース深度補完が最近大きな注目を集めていますが、まだいくつかの問題に直面しています。まず、マルチモーダル情報の融合には、さまざまなモダリティを処理するためにより多くのネットワーク モジュールが必要です。しかし、スパース ToF 測定のアプリケーション シナリオでは、通常、軽量構造と低計算コストが要求されます。第 2 に、まばらでノイズの多い深度データを高密度のピクセル単位の RGB データと融合すると、アーティファクトが発生する可能性があります。この論文では、2ブランチのグローバルおよびローカル深度予測モジュールとファンネル畳み込み空間伝播ネットワークで構成される、軽量で効率的な深度補完ネットワークが提案されています。 2 分岐構造により、クロスモーダルな機能が抽出され、軽量のバックボーンと融合されます。改良された空間伝搬モジュールは、完成した深度マップを徐々に改良することができます。さらに、深さ完成問題に対して修正された勾配損失が提示されます。実験結果は、提案された方法が軽量アーキテクチャを備えたいくつかの最先端の方法よりも優れていることを示しています。提案された方法は、MIPI2022 RGB + TOF 深度補完チャレンジでも優勝しました。
With the wide application of sparse ToF sensors in mobile devices, RGB image-guided sparse depth completion has attracted extensive attention recently, but still faces some problems. First, the fusion of multimodal information requires more network modules to process different modalities. But the application scenarios of sparse ToF measurements usually demand lightweight structure and low computational cost. Second, fusing sparse and noisy depth data with dense pixel-wise RGB data may introduce artifacts. In this paper, a light but efficient depth completion network is proposed, which consists of a two-branch global and local depth prediction module and a funnel convolutional spatial propagation network. The two-branch structure extracts and fuses cross-modal features with lightweight backbones. The improved spatial propagation module can refine the completed depth map gradually. Furthermore, corrected gradient loss is presented for the depth completion problem. Experimental results demonstrate the proposed method can outperform some state-of-the-art methods with a lightweight architecture. The proposed method also wins the championship in the MIPI2022 RGB+TOF depth completion challenge.
updated: Tue Aug 23 2022 07:03:14 GMT+0000 (UTC)
published: Tue Aug 23 2022 07:03:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト