人のポーズと顔画像の合成という 2 つの困難なタスクに対して、Generative Adversarial Network (BiGraphGAN) を推論する新しい 2 部グラフを提示します。提案されたグラフ ジェネレーターは、ポーズとポーズの関係とポーズとイメージの関係をそれぞれモデル化することを目的とした 2 つの新しいブロックで構成されます。具体的には、提案された 2 部グラフ推論 (BGR) ブロックは、2 部グラフ内のソース ポーズとターゲット ポーズの間の長期的な相互関係を推論することを目的としています。これにより、ポーズの変形によって引き起こされるいくつかの課題が軽減されます。さらに、インタラクティブな方法で人の形状と外観の両方の特徴表現能力を効果的に更新および強化するための新しい相互作用および集約 (IA) ブロックを提案します。各パーツのポーズの変化をより正確に捉えるために、2 部グラフを使用してグローバル構造変換を推論するタスクを、異なるセマンティック ボディの異なるローカル変換を学習するタスクに分解する、新しいパーツ認識 2 部グラフ推論 (PBGR) ブロックを提案します。 /顔パーツ. 3 つの公開データセットを使用した 2 つの挑戦的な生成タスクに関する実験は、客観的な定量的スコアと主観的な視覚的現実性の観点から、提案された方法の有効性を示しています。ソース コードとトレーニング済みモデルは、https://github.com/Ha0Tang/BiGraphGAN で入手できます。
We present a novel bipartite graph reasoning Generative Adversarial Network (BiGraphGAN) for two challenging tasks: person pose and facial image synthesis. The proposed graph generator consists of two novel blocks that aim to model the pose-to-pose and pose-to-image relations, respectively. Specifically, the proposed bipartite graph reasoning (BGR) block aims to reason the long-range cross relations between the source and target pose in a bipartite graph, which mitigates some of the challenges caused by pose deformation. Moreover, we propose a new interaction-and-aggregation (IA) block to effectively update and enhance the feature representation capability of both a person's shape and appearance in an interactive way. To further capture the change in pose of each part more precisely, we propose a novel part-aware bipartite graph reasoning (PBGR) block to decompose the task of reasoning the global structure transformation with a bipartite graph into learning different local transformations for different semantic body/face parts. Experiments on two challenging generation tasks with three public datasets demonstrate the effectiveness of the proposed methods in terms of objective quantitative scores and subjective visual realness. The source code and trained models are available at https://github.com/Ha0Tang/BiGraphGAN.