少数のトレーニングオブジェクト画像しか利用できないオブジェクトインスタンス検出器のトレーニングは、困難な作業です。 1つの解決策は、トレーニング画像からオブジェクト領域を切り取り、他の背景画像に貼り付けることによってトレーニングデータセットを生成するカットアンドペースト方法です。カットアンドペースト法で生成されたデータセットでトレーニングされた検出器は、ソースドメイン(生成されたトレーニングデータセット)とターゲットドメイン(実際のテストデータセット)の間の不一致に起因する従来のドメインシフトの問題に悩まされます。最先端のドメイン適応方法はこのギャップを減らすことができますが、前景と背景のドメインギャップの違いを考慮していないため、制限されています。この研究では、従来のドメインギャップを前景と背景の2つのサブドメインギャップに分割できることを示します。次に、元のカットアンドペーストアプローチには、従来のドメインシフトの問題とは異なり、フォアグラウンドとバックグラウンドの2つの別個のソースドメインがあるため、新しいドメインギャップの問題である不均衡なドメインギャップが発生することを示します。次に、GAN(生成的敵対的ネットワーク)で生成されたシード画像で前景を多様化し、画像処理技術を使用して背景を単純化することにより、不均衡なドメインギャップのバランスをとる高度なカットアンドペースト方法を紹介します。実験結果は、私たちの方法が、ドメインギャップのバランスを取り、少数のシード画像のみを使用して、雑然とした屋内環境でのオブジェクトインスタンス検出の精度を向上させるのに効果的であることを示しています。さらに、ドメインギャップのバランスをとることで、最先端のドメイン適応方法の検出精度を向上できることを示します。
Training an object instance detector where only a few training object images are available is a challenging task. One solution is a cut-and-paste method that generates a training dataset by cutting object areas out of training images and pasting them onto other background images. A detector trained on a dataset generated with a cut-and-paste method suffers from the conventional domain shift problem, which stems from a discrepancy between the source domain (generated training dataset) and the target domain (real test dataset). Though state-of-the-art domain adaptation methods are able to reduce this gap, it is limited because they do not consider the difference of domain gaps of foreground and background. In this study, we present that the conventional domain gap can be divided into two sub-domain gaps for foreground and background. Then, we show that the original cut-and-paste approach suffers from a new domain gap problem, an unbalanced domain gaps, because it has two separate source domains for foreground and background, unlike the conventional domain shift problem. Then, we introduce an advanced cut-and-paste method to balance the unbalanced domain gaps by diversifying the foreground with GAN (generative adversarial network)-generated seed images and simplifying the background using image processing techniques. Experimental results show that our method is effective for balancing domain gaps and improving the accuracy of object instance detection in a cluttered indoor environment using only a few seed images. Furthermore, we show that balancing domain gaps can improve the detection accuracy of state-of-the-art domain adaptation methods.