この論文では、Box-Attentionと呼ばれる単純な注意メカニズムを提案します。関心のあるボックスからサンプリングされたグリッドフィーチャ間の空間的相互作用を可能にし、いくつかのビジョンタスクのトランスフォーマーの学習機能を向上させます。具体的には、Box Transformerの略であるBoxeRを紹介します。これは、入力特徴マップ上の参照ウィンドウからボックスの変換を予測することにより、一連のボックスに対応します。 BoxeRは、グリッド構造を考慮して、これらのボックスの注意の重みを計算します。特に、BoxeR-2Dは、アテンションモジュール内のボックス情報について自然に推論するため、エンドツーエンドのインスタンス検出およびセグメンテーションタスクに適しています。 BoxeR-3Dは、ボックスアテンションモジュールで回転に対する不変性を学習することにより、3Dエンドツーエンドオブジェクト検出のために鳥瞰図平面から識別情報を生成することができます。私たちの実験は、提案されたBoxeR-2DがCOCO検出でより良い結果を達成し、COCOインスタンスセグメンテーションで十分に確立され高度に最適化されたマスクR-CNNと同等のパフォーマンスに達することを示しています。 BoxeR-3Dは、クラス固有の最適化なしで、WaymoOpenの車両カテゴリで魅力的なパフォーマンスをすでに獲得しています。コードがリリースされます。
In this paper, we propose a simple attention mechanism, we call Box-Attention. It enables spatial interaction between grid features, as sampled from boxes of interest, and improves the learning capability of transformers for several vision tasks. Specifically, we present BoxeR, short for Box Transformer, which attends to a set of boxes by predicting their transformation from a reference window on an input feature map. The BoxeR computes attention weights on these boxes by considering its grid structure. Notably, BoxeR-2D naturally reasons about box information within its attention module, making it suitable for end-to-end instance detection and segmentation tasks. By learning invariance to rotation in the box-attention module, BoxeR-3D is capable of generating discriminative information from a bird-eye-view plane for 3D end-to-end object detection. Our experiments demonstrate that the proposed BoxeR-2D achieves better results on COCO detection, and reaches comparable performance with well-established and highly-optimized Mask R-CNN on COCO instance segmentation. BoxeR-3D already obtains a compelling performance for the vehicle category of Waymo Open, without any class-specific optimization. The code will be released.