ほとんどの自動マット方法は、顕著な前景を背景から分離しようとします。ただし、現在の既存のマットデータセットの量と主観的なバイアスが不十分なため、特定の画像内のオブジェクトからオブジェクトとオブジェクトから環境の間のセマンティックな関連付けを完全に調査することは困難です。この論文では、マット注釈の主観的バイアスを軽減し、視覚からテキストへのタスクから抽出されたより良いグローバルな顕著性のために十分な状況知覚情報をキャプチャする状況知覚ガイド付き画像マット(SPG-IM)メソッドを提案します。 SPG-IMは、オブジェクト間とオブジェクトから環境への顕著性をより適切に関連付け、画像マットとその高価な注釈の主観的な性質を補正することができます。また、セマンティック機能ストリームを効果的に変換および統合して視覚的表現をガイドできるテキストセマンティック変換(TST)モジュールを紹介します。さらに、アダプティブフォーカルトランスフォーメーション(AFT)リファインメントネットワークは、マルチスケール受容野とフォーカルポイントを適応的に切り替えて、グローバルとローカルの両方の詳細を強化するために提案されています。広範な実験は、画像マットに関する視覚からテキストへのタスクからの状況認識ガイダンスの有効性を示しており、私たちのモデルは最先端の方法よりも優れています。また、モデル内のさまざまなコンポーネントの重要性を分析します。コードはまもなくリリースされます。
Most automatic matting methods try to separate the salient foreground from the background. However, the insufficient quantity and subjective bias of the current existing matting datasets make it difficult to fully explore the semantic association between object-to-object and object-to-environment in a given image. In this paper, we propose a Situational Perception Guided Image Matting (SPG-IM) method that mitigates subjective bias of matting annotations and captures sufficient situational perception information for better global saliency distilled from the visual-to-textual task. SPG-IM can better associate inter-objects and object-to-environment saliency, and compensate the subjective nature of image matting and its expensive annotation. We also introduce a textual Semantic Transformation (TST) module that can effectively transform and integrate the semantic feature stream to guide the visual representations. In addition, an Adaptive Focal Transformation (AFT) Refinement Network is proposed to adaptively switch multi-scale receptive fields and focal points to enhance both global and local details. Extensive experiments demonstrate the effectiveness of situational perception guidance from the visual-to-textual tasks on image matting, and our model outperforms the state-of-the-art methods. We also analyze the significance of different components in our model. The code will be released soon.