画像マッティングは、髪の毛、煙、クモの巣など、自然画像の精巧な不確実性領域のアルファ値を予測することを目的としています。ただし、既存の方法は、予測する不確実な領域が大きく、畳み込みネットワークの受容フィールドが小さいため、非常に透明な前景オブジェクトに直面した場合のパフォーマンスが低下します。この問題に対処するために、トランスフォーマーベースのネットワーク (TransMating) を提案して、長距離の特徴を持つ透明オブジェクトをモデル化し、パフォーマンス評価のために透明オブジェクトの高解像度マッティング データセット (Transparent-460) を収集します。具体的には、trimap のセマンティック情報を柔軟かつ効果的に利用するために、tri-token と名付けられた 3 つの学習可能なトークンとして trimap を再設計します。 Transformer と畳み込みマッティング モデルの両方が、提案されたトライトークン デザインの恩恵を受ける可能性があります。従来の trimap 連結戦略を tri-token に置き換えることで、既存のマッティング手法は SAD で約 10%、MSE で 20% の改善を達成できます。新しいトライトークン デザインを搭載した、当社が提案する TransMatting は、いくつかの一般的なマッティング ベンチマークと新しく収集された Transparent-460 で、現在の最先端の方法よりも優れています。
Image matting aims to predict alpha values of elaborate uncertainty areas of natural images, like hairs, smoke, and spider web. However, existing methods perform poorly when faced with highly transparent foreground objects due to the large area of uncertainty to predict and the small receptive field of convolutional networks. To address this issue, we propose a Transformer-based network (TransMatting) to model transparent objects with long-range features and collect a high-resolution matting dataset of transparent objects (Transparent-460) for performance evaluation. Specifically, to utilize semantic information in the trimap flexibly and effectively, we also redesign the trimap as three learnable tokens, named tri-token. Both Transformer and convolution matting models could benefit from our proposed tri-token design. By replacing the traditional trimap concatenation strategy with our tri-token, existing matting methods could achieve about 10% improvement in SAD and 20% in MSE. Equipped with the new tri-token design, our proposed TransMatting outperforms current state-of-the-art methods on several popular matting benchmarks and our newly collected Transparent-460.