トランスフォーマーネットワークは、長いシーケンス内の長距離依存関係のモデリングに特に優れています。本論文では、顕著な物体検出(SOD)のためのトランスネットワークの適用に関する研究を行っている。完全教師ありRGB画像ベースのSOD、RGB-D画像ペアベースのSOD、および弱教師ありSODには、トランスフォーマーバックボーンが正確な構造モデリングを提供できるという観察に基づいて、統合フレームワーク内で高密度トランスボーンバックボーンを採用します。これにより、学習が強力になります。構造情報が少ない弱いラベルから。さらに、ビジョントランスフォーマーアーキテクチャは直接的な空間監視を提供せず、代わりに位置を機能としてエンコードすることがわかりました。したがって、統合フレームワーク内のトランスフォーマーレイヤーを介してより強力な空間監視を提供するための2つの戦略、つまり深い監視と難易度を意識した学習の貢献を調査します。深い監視により、勾配をより高いレベルの機能に戻すことができるため、同じセマンティックオブジェクト内で均一にアクティブ化できることがわかります。一方、難易度を意識した学習は、効果的なハードネガティブマイニングのためにハードピクセルを識別することができます。また、SOD用に微調整する前後の従来のバックボーンとトランスフォーマーバックボーンの機能を視覚化し、トランスフォーマーバックボーンがそれぞれ下位レベルと上位レベルの機能内でより正確なオブジェクト構造情報とより明確なセマンティック情報をエンコードすることを確認します。また、モデルをカモフラージュされたオブジェクト検出(COD)に適用し、上記の3つのSODタスクと同様の観測を実現します。さまざまなSODおよびCODタスクに関する広範な実験結果は、トランスフォーマーネットワークがSODおよびCODを変換できることを示しており、関連する各タスクの新しいベンチマークにつながります。ソースコードと実験結果は、プロジェクトページhttps://github.com/fupiao1998/TrasformerSODから入手できます。
The transformer networks are particularly good at modeling long-range dependencies within a long sequence. In this paper, we conduct research on applying the transformer networks for salient object detection (SOD). We adopt the dense transformer backbone for fully supervised RGB image based SOD, RGB-D image pair based SOD, and weakly supervised SOD within a unified framework based on the observation that the transformer backbone can provide accurate structure modeling, which makes it powerful in learning from weak labels with less structure information. Further, we find that the vision transformer architectures do not offer direct spatial supervision, instead encoding position as a feature. Therefore, we investigate the contributions of two strategies to provide stronger spatial supervision through the transformer layers within our unified framework, namely deep supervision and difficulty-aware learning. We find that deep supervision can get gradients back into the higher level features, thus leads to uniform activation within the same semantic object. Difficulty-aware learning on the other hand is capable of identifying the hard pixels for effective hard negative mining. We also visualize features of conventional backbone and transformer backbone before and after fine-tuning them for SOD, and find that transformer backbone encodes more accurate object structure information and more distinct semantic information within the lower and higher level features respectively. We also apply our model to camouflaged object detection (COD) and achieve similar observations as the above three SOD tasks. Extensive experimental results on various SOD and COD tasks illustrate that transformer networks can transform SOD and COD, leading to new benchmarks for each related task. The source code and experimental results are available via our project page: https://github.com/fupiao1998/TrasformerSOD.