人物内の外観とビデオシナリオは大幅に異なるため、人物のビデオ生成のための服のスタイルの転送は困難な作業です。この問題に取り組むために、最新のAdaINベースのアーキテクチャが提案され、生成のために衣服とシナリオの特徴を抽出します。ただし、これらのアプローチは、きめ細かい詳細が不足しているという欠点があり、元の人を歪める傾向があります。生成性能をさらに向上させるために、もつれを解いたマルチブランチエンコーダと共有デコーダを備えた新しいフレームワークを提案します。さらに、強力なビデオ時空間一貫性を追求するために、内部フレーム弁別器は、入力がフレーム間差であるように繊細に設計されています。その上、提案されたフレームワークはシナリオ適応の特性を持っています。 TEDXPeopleベンチマークでの広範な実験は、画質とビデオの一貫性の点で、最先端のアプローチよりも私たちの方法が優れていることを示しています。
Clothes style transfer for person video generation is a challenging task, due to drastic variations of intra-person appearance and video scenarios. To tackle this problem, most recent AdaIN-based architectures are proposed to extract clothes and scenario features for generation. However, these approaches suffer from being short of fine-grained details and are prone to distort the origin person. To further improve the generation performance, we propose a novel framework with disentangled multi-branch encoders and a shared decoder. Moreover, to pursue the strong video spatio-temporal consistency, an inner-frame discriminator is delicately designed with input being cross-frame difference. Besides, the proposed framework possesses the property of scenario adaptation. Extensive experiments on the TEDXPeople benchmark demonstrate the superiority of our method over state-of-the-art approaches in terms of image quality and video coherence.