この作業では、自然言語表現によって記述されたオブジェクトのセグメンテーションマスクを予測することを目的とした画像セグメンテーション(RIS)を参照するタスクに対処します。ほとんどの既存の方法は、視覚的特徴と言語的特徴の間に一方向または方向の関係を確立して2つのモダリティを関連付けることに焦点を当てていますが、マルチスケールコンテキストは無視されるか、モデル化が不十分です。マルチスケールコンテキストは、マルチモーダルフュージョンプロセス中に大規模な変動があるオブジェクトをローカライズおよびセグメント化するために重要です。この問題を解決するために、シンプルでありながら効果的なカスケードマルチモーダルフュージョン(CMF)モジュールを提案します。このモジュールは、複数のアトラス畳み込み層を並列にスタックし、カスケードブランチを導入して視覚的機能と言語的機能を融合します。カスケードされたブランチは、マルチスケールのコンテキスト情報を段階的に統合し、マルチモーダル融合プロセス中に2つのモダリティの調整を容易にすることができます。 4つのベンチマークデータセットでの実験結果は、私たちの方法がほとんどの最先端の方法よりも優れていることを示しています。コードはhttps://github.com/jianhua2022/CMF-Refsegで入手できます。
In this work, we address the task of referring image segmentation (RIS), which aims at predicting a segmentation mask for the object described by a natural language expression. Most existing methods focus on establishing unidirectional or directional relationships between visual and linguistic features to associate two modalities together, while the multi-scale context is ignored or insufficiently modeled. Multi-scale context is crucial to localize and segment those objects that have large scale variations during the multi-modal fusion process. To solve this problem, we propose a simple yet effective Cascaded Multi-modal Fusion (CMF) module, which stacks multiple atrous convolutional layers in parallel and further introduces a cascaded branch to fuse visual and linguistic features. The cascaded branch can progressively integrate multi-scale contextual information and facilitate the alignment of two modalities during the multi-modal fusion process. Experimental results on four benchmark datasets demonstrate that our method outperforms most state-of-the-art methods. Code is available at https://github.com/jianhua2022/CMF-Refseg.