arXiv reaDer
CalibNet: RGB-D 顕著なインスタンス セグメンテーションのためのデュアルブランチ クロスモーダル キャリブレーション
CalibNet: Dual-branch Cross-modal Calibration for RGB-D Salient Instance Segmentation
私たちは、CalibNet と呼ばれるデュアルブランチ クロスモーダル特徴量キャリブレーション アーキテクチャを使用した、RGB-D 顕著インスタンス セグメンテーションのための新しいアプローチを提案します。私たちの方法では、カーネル ブランチとマスク ブランチの深度および RGB 特徴を同時に調整して、インスタンス対応のカーネルとマスク特徴を生成します。 CalibNet は、ダイナミック インタラクティブ カーネル (DIK) とウェイト共有フュージョン (WSF) という 3 つの単純なモジュールで構成されており、これらが連携して効果的なインスタンス対応カーネルを生成し、クロスモーダル機能を統合します。深度特徴の品質を向上させるために、DIK および WSF の前に深度類似性評価 (DSA) モジュールを組み込みます。さらに、精巧なインスタンス レベルの注釈が付けられた 1,940 枚の画像を含む、新しい DSIS データセットにも貢献します。 3 つの困難なベンチマークに関する広範な実験により、CalibNet が有望な結果、つまり COME15K-N テスト セットで 320*480 入力サイズで 58.0% AP という結果をもたらし、これは代替フレームワークを大幅に上回ることが示されました。コードとデータセットは https://github.com/PJLallen/CalibNet から入手できます。
We propose a novel approach for RGB-D salient instance segmentation using a dual-branch cross-modal feature calibration architecture called CalibNet. Our method simultaneously calibrates depth and RGB features in the kernel and mask branches to generate instance-aware kernels and mask features. CalibNet consists of three simple modules, a dynamic interactive kernel (DIK) and a weight-sharing fusion (WSF), which work together to generate effective instance-aware kernels and integrate cross-modal features. To improve the quality of depth features, we incorporate a depth similarity assessment (DSA) module prior to DIK and WSF. In addition, we further contribute a new DSIS dataset, which contains 1,940 images with elaborate instance-level annotations. Extensive experiments on three challenging benchmarks show that CalibNet yields a promising result, i.e., 58.0% AP with 320*480 input size on the COME15K-N test set, which significantly surpasses the alternative frameworks. Our code and dataset are available at: https://github.com/PJLallen/CalibNet.
updated: Sun Jul 16 2023 16:49:59 GMT+0000 (UTC)
published: Sun Jul 16 2023 16:49:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト