この論文では、グローバル ホモジニアス変換、ローカル ホモジニアス トランスフォーメーション、およびそれらの組み合わせを含む、一般的なマルチモーダル データ学習方法を提案します。一方では、ReID モデルのトレーニング中に、RGB 画像内の長方形の領域をランダムに選択し、その色を対応する同種の画像内の同じ長方形の領域に置き換えます。これにより、異なる均一な領域を持つトレーニング画像が生成されます。一方で、画像を均質な画像に変換します。これらの 2 つの方法は、モデルが Special ReID タスクの異なるモダリティ間の関係を直接学習するのに役立ちます。シングルモーダル ReID タスクでは、効果的なデータ拡張として使用できます。実験結果は、私たちの方法が単一モーダル ReID タスクで最大 3.3% のパフォーマンス向上を達成し、スケッチ再識別で 8% 以上のパフォーマンス向上を達成することを示しています。さらに、私たちの実験では、この方法が敵対的防御のための敵対的トレーニングにも非常に役立つことも示されています。これは、モデルが敵対的な例からより迅速かつ適切に学習するのに役立ちます。
This paper proposes a general multi-modal data learning method, which includes Global Homogeneous Transformation, Local Homogeneous Transformation and their combination. During ReID model training, on the one hand, it randomly selected a rectangular area in the RGB image and replace its color with the same rectangular area in corresponding homogeneous image, thus it generate a training image with different homogeneous areas; On the other hand, it convert an image into a homogeneous image. These two methods help the model to directly learn the relationship between different modalities in the Special ReID task. In single-modal ReID tasks, it can be used as an effective data augmentation. The experimental results show that our method achieves a performance improvement of up to 3.3% in single modal ReID task, and performance improvement in the Sketch Re-identification more than 8%. In addition, our experiments also show that this method is also very useful in adversarial training for adversarial defense. It can help the model learn faster and better from adversarial examples.