合成データ(3D CADレンダリング画像など)をレンダリングして、視覚タスクの深いモデルを学習するための注釈を生成することが近年注目を集めています。ただし、合成画像で学習したモデルを単純に適用すると、ドメインシフトのために実際の画像で高い一般化エラーが発生する場合があります。この問題に対処するために、クロスドメイン認識の最近の進歩は、教師なしドメイン適応を半教師付き学習として直接シミュレートする平均教師を特徴としていました。したがって、ドメインギャップは、教師と学生のスキームにおける一貫性のある正則化によって自然に埋められます。この作業では、クロスドメイン検出に適用できるように、この平均教師のパラダイムを進めます。具体的には、Mean Teacher with Object Relations(MTOR)を紹介します。これは、オブジェクトの関係を教師と生徒のモジュール間の一貫性コストの尺度に統合することで、Mean TeacherをFaster R-CNNのバックボーンで新たに再構築します。技術的には、MTORはまず、教師と生徒のそれぞれの領域ペア間の類似性をキャプチャするリレーショナルグラフを学習します。アーキテクチャ全体は、3つの一貫性の正則化で最適化されます。1)教師と生徒の間で地域レベルの予測を調整するための地域レベルの一貫性、2)教師と生徒の間でグラフ構造を一致させるためのグラフ間一貫性、3)イントラ学生のグラフ内の同じクラスの領域間の類似性を高めるためのグラフの一貫性。 Cityscapes、Foggy Cityscapes、SIM10k間の転送で広範な実験が行われ、最先端のアプローチと比較した場合に優れた結果が報告されています。さらに注目すべきことに、Syn2Real検出データセットでのmAPの22.8%という単一モデルの新しいレコードを取得しています。
Rendering synthetic data (e.g., 3D CAD-rendered images) to generate annotations for learning deep models in vision tasks has attracted increasing attention in recent years. However, simply applying the models learnt on synthetic images may lead to high generalization error on real images due to domain shift. To address this issue, recent progress in cross-domain recognition has featured the Mean Teacher, which directly simulates unsupervised domain adaptation as semi-supervised learning. The domain gap is thus naturally bridged with consistency regularization in a teacher-student scheme. In this work, we advance this Mean Teacher paradigm to be applicable for cross-domain detection. Specifically, we present Mean Teacher with Object Relations (MTOR) that novelly remolds Mean Teacher under the backbone of Faster R-CNN by integrating the object relations into the measure of consistency cost between teacher and student modules. Technically, MTOR firstly learns relational graphs that capture similarities between pairs of regions for teacher and student respectively. The whole architecture is then optimized with three consistency regularizations: 1) region-level consistency to align the region-level predictions between teacher and student, 2) inter-graph consistency for matching the graph structures between teacher and student, and 3) intra-graph consistency to enhance the similarity between regions of same class within the graph of student. Extensive experiments are conducted on the transfers across Cityscapes, Foggy Cityscapes, and SIM10k, and superior results are reported when comparing to state-of-the-art approaches. More remarkably, we obtain a new record of single model: 22.8% of mAP on Syn2Real detection dataset.