手のセグメンテーションは、一人称のビジョンにおける重要なタスクです。一人称の画像は、さまざまな環境間で外観に強いバイアスを示すため、事前にトレーニングされたセグメンテーションモデルを新しいドメインに適合させる必要があります。ここでは、手の領域と背景の外観のギャップに個別に焦点を当てます。 (i)前景を意識した画像の様式化と(ii)手のセグメンテーションのドメイン適応のためのコンセンサス疑似ラベリングを提案します。ターゲット画像をスタイルとして使用して、前景と背景のソース画像を個別にスタイル設定します。様式化が対処していないドメインシフトを解決するために、ソースでトレーニングされたモデルと様式化されたソース画像の間でコンセンサスをとることにより、注意深い疑似ラベル付けを適用します。実際の画像とシミュレーション画像からの手のセグメンテーションのドメイン適応に関する方法を検証しました。私たちの方法は、両方の設定で最先端のパフォーマンスを達成しました。また、マルチターゲットドメインの適応とドメインの一般化の設定に挑戦することで有望な結果を示しました。コードはhttps://github.com/ut-vision/FgSty-CPLで入手できます。
Hand segmentation is a crucial task in first-person vision. Since first-person images exhibit strong bias in appearance among different environments, adapting a pre-trained segmentation model to a new domain is required in hand segmentation. Here, we focus on appearance gaps for hand regions and backgrounds separately. We propose (i) foreground-aware image stylization and (ii) consensus pseudo-labeling for domain adaptation of hand segmentation. We stylize source images independently for the foreground and background using target images as style. To resolve the domain shift that the stylization has not addressed, we apply careful pseudo-labeling by taking a consensus between the models trained on the source and stylized source images. We validated our method on domain adaptation of hand segmentation from real and simulation images. Our method achieved state-of-the-art performance in both settings. We also demonstrated promising results in challenging multi-target domain adaptation and domain generalization settings. Code is available at https://github.com/ut-vision/FgSty-CPL.