任意指向のオブジェクト検出(AOOD)は、任意の方向と雑然とした配置で野生のオブジェクトを検出するための困難なタスクです。既存のアプローチは、主にアンカーベースのボックスまたは密なポイントに基づいており、複雑な手作業で設計された処理ステップと、アンカーの生成、変換、非最大抑制推論などの誘導バイアスに依存しています。最近、新しい変圧器ベースのアプローチは、オブジェクト検出を、手動で設計されたコンポーネントと誘導バイアスの必要性を効果的に排除する直接セット予測問題と見なしています。この論文では、3つの専用コンポーネントで構成されるAO2-DETRと呼ばれる任意指向のオブジェクト検出トランスフォーマフレームワークを提案します。より正確には、指向性プロポーザル生成メカニズムが提案されて、指向性プロポーザルを明示的に生成します。回転不変の領域の特徴を抽出し、領域の特徴とオブジェクトの間の不整合を排除するために、適応指向の提案改良モジュールが導入されています。また、回転を意識したセットマッチング損失を使用して、重複予測なしで直接セット予測を行うための1対1のマッチングプロセスを保証します。私たちの方法は、パイプライン全体を大幅に簡素化し、新しいAOODパラダイムを提示します。いくつかの挑戦的なデータセットでの包括的な実験は、私たちの方法がAOODタスクで優れたパフォーマンスを達成することを示しています。
Arbitrary-oriented object detection (AOOD) is a challenging task to detect objects in the wild with arbitrary orientations and cluttered arrangements. Existing approaches are mainly based on anchor-based boxes or dense points, which rely on complicated hand-designed processing steps and inductive bias, such as anchor generation, transformation, and non-maximum suppression reasoning. Recently, the emerging transformer-based approaches view object detection as a direct set prediction problem that effectively removes the need for hand-designed components and inductive biases. In this paper, we propose an Arbitrary-Oriented Object DEtection TRansformer framework, termed AO2-DETR, which comprises three dedicated components. More precisely, an oriented proposal generation mechanism is proposed to explicitly generate oriented proposals, which provides better positional priors for pooling features to modulate the cross-attention in the transformer decoder. An adaptive oriented proposal refinement module is introduced to extract rotation-invariant region features and eliminate the misalignment between region features and objects. And a rotation-aware set matching loss is used to ensure the one-to-one matching process for direct set prediction without duplicate predictions. Our method considerably simplifies the overall pipeline and presents a new AOOD paradigm. Comprehensive experiments on several challenging datasets show that our method achieves superior performance on the AOOD task.