合成データは、ラベル付きの実世界データが不足している環境において、安価で豊富なトレーニング データを提供します。ただし、合成データでトレーニングされたモデルは、実世界のデータで評価するとパフォーマンスが大幅に低下します。この論文では、すぐに使用できる合成から実へ (syn-to-real) 汎化パフォーマンスを向上させるためのシンプルで効果的な拡張戦略である比例振幅スペクトル トレーニング拡張 (PASTA) を提案します。 PASTA は、フーリエ領域の合成画像の振幅スペクトルを摂動させて、拡張ビューを生成します。具体的には、PASTA を使用して、高周波成分が低周波成分よりも相対的に多く摂動される構造化摂動戦略を提案します。合計 5 回の Syn-to-Real シフトにわたる、セマンティック セグメンテーション (GTAV-to-Real)、オブジェクト検出 (Sim10K-to-Real)、およびオブジェクト認識 (VisDA-C Syn-to-Real) のタスクの場合、 PASTA は、より複雑な最先端の一般化手法を補完しつつ、それよりも優れたパフォーマンスを発揮することがわかりました。
Synthetic data offers the promise of cheap and bountiful training data for settings where labeled real-world data is scarce. However, models trained on synthetic data significantly underperform when evaluated on real-world data. In this paper, we propose Proportional Amplitude Spectrum Training Augmentation (PASTA), a simple and effective augmentation strategy to improve out-of-the-box synthetic-to-real (syn-to-real) generalization performance. PASTA perturbs the amplitude spectra of synthetic images in the Fourier domain to generate augmented views. Specifically, with PASTA we propose a structured perturbation strategy where high-frequency components are perturbed relatively more than the low-frequency ones. For the tasks of semantic segmentation (GTAV-to-Real), object detection (Sim10K-to-Real), and object recognition (VisDA-C Syn-to-Real), across a total of 5 syn-to-real shifts, we find that PASTA outperforms more complex state-of-the-art generalization methods while being complementary to the same.