我々は、ノイズの多いボックスからオブジェクトボックスへのノイズ除去拡散プロセスとしてオブジェクト検出を定式化する新しいフレームワークである DiffusionDet を提案します。トレーニング段階では、オブジェクト ボックスがグラウンド トゥルース ボックスからランダムな分布に拡散し、モデルはこのノイズ プロセスを逆転することを学習します。推論では、モデルはランダムに生成されたボックスのセットを漸進的な方法で出力結果に絞り込みます。私たちの仕事には、動的ボックス数と反復評価を可能にする柔軟性という魅力的な特性があります。標準ベンチマークに関する広範な実験により、DifffusionDet が以前の十分に確立された検出器と比較して良好なパフォーマンスを達成していることが示されています。たとえば、COCO から CrowdHuman へのゼロショット転送設定の下で、より多くのボックスと反復ステップを使用して評価すると、DiffusionDet は 5.3 AP と 4.8 AP のゲインを達成します。私たちのコードは https://github.com/ShoufaChen/DiffusionDet で入手できます。
We propose DiffusionDet, a new framework that formulates object detection as a denoising diffusion process from noisy boxes to object boxes. During the training stage, object boxes diffuse from ground-truth boxes to random distribution, and the model learns to reverse this noising process. In inference, the model refines a set of randomly generated boxes to the output results in a progressive way. Our work possesses an appealing property of flexibility, which enables the dynamic number of boxes and iterative evaluation. The extensive experiments on the standard benchmarks show that DiffusionDet achieves favorable performance compared to previous well-established detectors. For example, DiffusionDet achieves 5.3 AP and 4.8 AP gains when evaluated with more boxes and iteration steps, under a zero-shot transfer setting from COCO to CrowdHuman. Our code is available at https://github.com/ShoufaChen/DiffusionDet.