arXiv reaDer
視聴覚通信からの自己監視オブジェクト検出
Self-supervised object detection from audio-visual correspondence
私たちは、監督なしでオブジェクト検出器を学習する問題に取り組んでいます。弱教師ありオブジェクト検出とは異なり、画像レベルのクラスラベルは想定していません。代わりに、オーディオコンポーネントを使用してオブジェクト検出器を「教える」ことにより、オーディオビジュアルデータから監視信号を抽出します。この問題は音源の位置特定に関連していますが、検出器はオブジェクトをタイプ別に分類し、オブジェクトの各インスタンスを列挙し、オブジェクトが無音の場合でもそうする必要があるため、かなり困難です。最初に、オブジェクトの分類とローカライズを共同で学習する対照的な目的を持つ自己監視フレームワークを設計することで、この問題に取り組みます。次に、監視を使用せずに、これらの自己監視ラベルとボックスを使用して、画像ベースのオブジェクト検出器をトレーニングします。これにより、オブジェクト検出と音源定位のタスクに関して、以前の教師なしおよび弱教師あり検出器よりも優れたパフォーマンスを発揮します。また、この検出器を疑似クラスごとに1つのラベルでグラウンドトゥルースクラスに位置合わせできること、および飛行機や猫などの機器を超える一般的なオブジェクトを検出する方法をメソッドが学習できることも示します。
We tackle the problem of learning object detectors without supervision. Differently from weakly-supervised object detection, we do not assume image-level class labels. Instead, we extract a supervisory signal from audio-visual data, using the audio component to "teach" the object detector. While this problem is related to sound source localisation, it is considerably harder because the detector must classify the objects by type, enumerate each instance of the object, and do so even when the object is silent. We tackle this problem by first designing a self-supervised framework with a contrastive objective that jointly learns to classify and localise objects. Then, without using any supervision, we simply use these self-supervised labels and boxes to train an image-based object detector. With this, we outperform previous unsupervised and weakly-supervised detectors for the task of object detection and sound source localization. We also show that we can align this detector to ground-truth classes with as little as one label per pseudo-class, and show how our method can learn to detect generic objects that go beyond instruments, such as airplanes and cats.
updated: Sat Jul 09 2022 18:20:19 GMT+0000 (UTC)
published: Tue Apr 13 2021 17:59:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト