arXiv reaDer
中間ドメインを使用したクロスドメインの個人の再識別のためのソースからターゲットへのギャップの橋渡し
Bridging the Source-to-target Gap for Cross-domain Person Re-Identification with Intermediate Domains
教師なしドメイン適応(UDA)再IDなどのクロスドメイン個人再識別(re-ID)は、ID識別知識をソースドメインからターゲットドメインに転送することを目的としています。既存の方法では、通常、ソースドメインとターゲットドメインが互いに分離されていると見なされます。つまり、両方のドメイン間で中間ステータスがモデル化されることはありません。特にドメインギャップが大きい場合、2つの分離されたドメイン間で知識を直接転送することは非常に難しい場合があります。新しい観点から、これら2つのドメインは完全に分離されているわけではなく、中間ドメインを介して接続できると想定しています。ソースドメインとターゲットドメインを相互に直接整列させるのではなく、スムーズな知識の伝達のために、ソースドメインとターゲットドメインをそれらの中間ドメインに対して整列させることを提案します。これらの中間ドメインを検出して利用するために、中間ドメインモジュール(IDM)とミラー生成モジュール(MGM)を提案します。 IDMには2つの機能があります。1)ソースドメインとターゲットドメインからの隠れ層機能を混合して複数の中間ドメインを生成し、2)ソース/ターゲットドメイン機能と中間ドメイン機能の間のドメインギャップを動的に削減します。 IDMは良好なドメインアラインメントを実現しますが、副作用が発生します。つまり、取り違え操作によってIDが新しいIDに混在し、元のIDが失われる可能性があります。これを補うために、MGMは、元のIDを変更せずに機能をIDMで生成された中間ドメインにマッピングすることによって導入されます。これにより、ドメインのバリエーションを最小限に抑えて、ソース/ターゲットドメインと中間ドメイン間の連携を促進し、IDMをIDM ++に強化することができます。 UDAとドメイン一般化(DG)の両方のシナリオでメソッドを広範囲に評価し、IDM ++がクロスドメインre-IDの一貫したパフォーマンスの向上をもたらし、新しい最先端を実現することを確認します。
Cross-domain person re-identification (re-ID), such as unsupervised domain adaptive (UDA) re-ID, aims to transfer the identity-discriminative knowledge from the source to the target domain. Existing methods commonly consider the source and target domains are isolated from each other, i.e., no intermediate status is modeled between both domains. Directly transferring the knowledge between two isolated domains can be very difficult, especially when the domain gap is large. From a novel perspective, we assume these two domains are not completely isolated, but can be connected through intermediate domains. Instead of directly aligning the source and target domains against each other, we propose to align the source and target domains against their intermediate domains for a smooth knowledge transfer. To discover and utilize these intermediate domains, we propose an Intermediate Domain Module (IDM) and a Mirrors Generation Module (MGM). IDM has two functions: 1) it generates multiple intermediate domains by mixing the hidden-layer features from source and target domains and 2) it dynamically reduces the domain gap between the source / target domain features and the intermediate domain features. While IDM achieves good domain alignment, it introduces a side effect, i.e., the mix-up operation may mix the identities into a new identity and lose the original identities. To compensate this, MGM is introduced by mapping the features into the IDM-generated intermediate domains without changing their original identity. It allows to focus on minimizing domain variations to promote the alignment between the source / target domain and intermediate domains, which reinforces IDM into IDM++. We extensively evaluate our method under both the UDA and domain generalization (DG) scenarios and observe that IDM++ yields consistent performance improvement for cross-domain re-ID, achieving new state of the art.
updated: Thu Mar 03 2022 12:44:56 GMT+0000 (UTC)
published: Thu Mar 03 2022 12:44:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト