arXiv reaDer
VoloGAN:合成深度データに対する敵対的ドメイン適応
VoloGAN: Adversarial Domain Adaptation for Synthetic Depth Data
人間の高品質3Dモデルの合成RGB-D画像を消費者深度センサーで生成できるRGB-D画像に変換する、敵対的なドメイン適応ネットワークであるVoloGANを紹介します。このシステムは、同じハイエンド3Dモデルデータベースに対して、実際のキャプチャ条件を複製するシングルビュー3D再構成アルゴリズムの大量のトレーニングデータを生成するのに特に役立ち、さまざまなセンサータイプのスタイルを模倣できます。ネットワークは、SIV-GANに触発されたジェネレーターとディスクリミネーターにU-Netアーキテクチャーを備えたCycleGANフレームワークを使用します。ジェネレーターとディスクリミネーターをトレーニングするために、さまざまなオプティマイザーと学習率スケジュールを使用します。さらに、画像チャネルを個別に考慮し、他のメトリックの中でも、構造の類似性を評価する損失関数を構築します。 CycleGANを使用して、合成3Dデータの敵対的ドメイン適応を適用し、トレーニングサンプルが少ないボリュメトリックビデオジェネレータモデルをトレーニングできることを示します。
We present VoloGAN, an adversarial domain adaptation network that translates synthetic RGB-D images of a high-quality 3D model of a person, into RGB-D images that could be generated with a consumer depth sensor. This system is especially useful to generate high amount training data for single-view 3D reconstruction algorithms replicating the real-world capture conditions, being able to imitate the style of different sensor types, for the same high-end 3D model database. The network uses a CycleGAN framework with a U-Net architecture for the generator and a discriminator inspired by SIV-GAN. We use different optimizers and learning rate schedules to train the generator and the discriminator. We further construct a loss function that considers image channels individually and, among other metrics, evaluates the structural similarity. We demonstrate that CycleGANs can be used to apply adversarial domain adaptation of synthetic 3D data to train a volumetric video generator model having only few training samples.
updated: Tue Jul 19 2022 11:30:41 GMT+0000 (UTC)
published: Tue Jul 19 2022 11:30:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト