参照画像セグメンテーションは、自然言語文によって記述された視覚オブジェクトのすべてのピクセルをローカライズすることを目的としています。以前の研究では、参照されたオブジェクトを強調表示するために、文の埋め込みとピクセルレベルの埋め込みを直接調整することを学びましたが、同じオブジェクト内のピクセルの意味の一貫性を無視し、不完全なマスクと予測のローカリゼーション エラーにつながりました。この問題に取り組むために、単純でありながら効果的なマルチレベルの視覚的セマンティック アラインメント メソッドである CoupAlign を提案します。これは、文マスク アラインメントと単語ピクセル アラインメントを組み合わせて、オブジェクト マスク制約を適用し、より正確なローカリゼーションとセグメンテーションを実現します。具体的には、Word-Pixel Alignment (WPA) モジュールは、ビジョン エンコーダーと言語エンコーダーの中間層で言語とピクセル レベルの機能を早期に融合します。単語とピクセルの位置合わせされた埋め込みに基づいて、一連のマスク提案が生成され、可能なオブジェクトの仮説が立てられます。次に、Sentence-Mask Alignment (SMA) モジュールで、マスクは文の埋め込みによって重み付けされ、参照されたオブジェクトをローカライズし、最後に投影してターゲットのピクセルを集約します。 2 つの位置合わせモジュールの学習をさらに強化するために、前景ピクセルと背景ピクセルを対比する補助損失が設計されています。 CoupAlign は、ピクセルとマスクを言語機能に階層的に配置することで、視覚レベルとセマンティック レベルの両方でピクセルの一貫性を捉え、より正確な予測を生成します。一般的なデータセット (例: RefCOCO および G-Ref) での広範な実験は、我々の方法が最先端の方法よりも一貫した改善を達成することを示しています。特に、CoupAlign は、同じクラスの複数のオブジェクトからターゲットを区別する際に優れた能力を発揮します。
Referring image segmentation aims at localizing all pixels of the visual objects described by a natural language sentence. Previous works learn to straightforwardly align the sentence embedding and pixel-level embedding for highlighting the referred objects, but ignore the semantic consistency of pixels within the same object, leading to incomplete masks and localization errors in predictions. To tackle this problem, we propose CoupAlign, a simple yet effective multi-level visual-semantic alignment method, to couple sentence-mask alignment with word-pixel alignment to enforce object mask constraint for achieving more accurate localization and segmentation. Specifically, the Word-Pixel Alignment (WPA) module performs early fusion of linguistic and pixel-level features in intermediate layers of the vision and language encoders. Based on the word-pixel aligned embedding, a set of mask proposals are generated to hypothesize possible objects. Then in the Sentence-Mask Alignment (SMA) module, the masks are weighted by the sentence embedding to localize the referred object, and finally projected back to aggregate the pixels for the target. To further enhance the learning of the two alignment modules, an auxiliary loss is designed to contrast the foreground and background pixels. By hierarchically aligning pixels and masks with linguistic features, our CoupAlign captures the pixel coherence at both visual and semantic levels, thus generating more accurate predictions. Extensive experiments on popular datasets (e.g., RefCOCO and G-Ref) show that our method achieves consistent improvements over state-of-the-art methods, e.g., about 2% oIoU increase on the validation and testing set of RefCOCO. Especially, CoupAlign has remarkable ability in distinguishing the target from multiple objects of the same class.