モバイル単眼 3D オブジェクト検出 (Mono3D) (車両、ドローン、ロボットなど) は、重要でありながら困難なタスクです。既存の変圧器ベースのオフライン Mono3D モデルはグリッドベースのビジョン トークンを採用していますが、利用可能な計算能力が限られているため、粗いトークンを使用する場合には最適ではありません。このホワイト ペーパーでは、MonoATT と呼ばれるオンライン Mono3D フレームワークを提案します。これは、モバイル Mono3D を容易にするために、さまざまな形状とサイズの異種トークンを備えた新しいビジョン トランスフォーマーを活用します。 MonoATT の核となる考え方は、トランスフォーマーを利用して Mono3D を強化する前に、より細かいトークンをより重要な領域に適応的に割り当てることです。この目的のために、まず事前知識を使用して、画像の最も重要な領域を選択するためのスコアリング ネットワークを設計し、次に、複数の段階で選択された領域の周りのトークンを徐々にマージするアテンション メカニズムを備えたトークン クラスタリングおよびマージ ネットワークを提案します。最後に、基になる検出コアとして SOTA Mono3D 検出器を採用する前に、異種トークンからピクセルレベルの特徴マップが再構築されます。実際の KITTI データセットでの実験結果は、MonoATT が近くのオブジェクトと遠くのオブジェクトの両方の Mono3D 精度を効果的に向上させ、低レイテンシを保証できることを示しています。 MonoATT は、最先端の方法と比較して最高のパフォーマンスを発揮し、KITTI 3D ベンチマークで第 1 位にランクされています。
Mobile monocular 3D object detection (Mono3D) (e.g., on a vehicle, a drone, or a robot) is an important yet challenging task. Existing transformer-based offline Mono3D models adopt grid-based vision tokens, which is suboptimal when using coarse tokens due to the limited available computational power. In this paper, we propose an online Mono3D framework, called MonoATT, which leverages a novel vision transformer with heterogeneous tokens of varying shapes and sizes to facilitate mobile Mono3D. The core idea of MonoATT is to adaptively assign finer tokens to areas of more significance before utilizing a transformer to enhance Mono3D. To this end, we first use prior knowledge to design a scoring network for selecting the most important areas of the image, and then propose a token clustering and merging network with an attention mechanism to gradually merge tokens around the selected areas in multiple stages. Finally, a pixel-level feature map is reconstructed from heterogeneous tokens before employing a SOTA Mono3D detector as the underlying detection core. Experiment results on the real-world KITTI dataset demonstrate that MonoATT can effectively improve the Mono3D accuracy for both near and far objects and guarantee low latency. MonoATT yields the best performance compared with the state-of-the-art methods by a large margin and is ranked number one on the KITTI 3D benchmark.