arXiv reaDer
グラフ制約付きハウス生成のためのグラフ変換 GAN
Graph Transformer GANs for Graph-Constrained House Generation
挑戦的なグラフ制約付きハウス生成タスクのために、エンドツーエンドの方法で効果的なグラフノード関係を学習するための新しいグラフトランスフォーマー生成敵対ネットワーク(GTGAN)を提示します。提案されたグラフ Transformer ベースのジェネレーターには、Transformer でグラフの畳み込みと自己注意を組み合わせて、接続されたグラフ ノードと接続されていないグラフ ノード間のローカルとグローバルの相互作用の両方をモデル化する新しいグラフ Transformer エンコーダーが含まれています。具体的には、提案された接続ノード アテンション (CNA) と非接続ノード アテンション (NNA) は、それぞれ入力グラフ内の接続ノードと非接続ノード間のグローバルな関係を捉えることを目的としています。提案されたグラフ モデリング ブロック (GMB) は、家のレイアウト トポロジに基づくローカル頂点の相互作用を活用することを目的としています。さらに、さまざまな家のコンポーネントの高レベルのセマンティックおよび識別ノード機能を保持するために、新しいノード分類ベースのディスクリミネーターを提案します。最後に、グラウンド トゥルースと予測されたグラフの間の相対的な空間的関係を維持することを目的とした、新しいグラフ ベースのサイクル整合性損失を提案します。 2 つの公開データセットを使用した 2 つの挑戦的なグラフ制約付きの家生成タスク (家のレイアウトと屋根の生成) に関する実験は、客観的な定量的スコアと主観的な視覚的リアリズムの観点から GTGAN の有効性を示しています。新しい最先端の結果は、両方のタスクで大きな差をつけて確立されています。
We present a novel graph Transformer generative adversarial network (GTGAN) to learn effective graph node relations in an end-to-end fashion for the challenging graph-constrained house generation task. The proposed graph-Transformer-based generator includes a novel graph Transformer encoder that combines graph convolutions and self-attentions in a Transformer to model both local and global interactions across connected and non-connected graph nodes. Specifically, the proposed connected node attention (CNA) and non-connected node attention (NNA) aim to capture the global relations across connected nodes and non-connected nodes in the input graph, respectively. The proposed graph modeling block (GMB) aims to exploit local vertex interactions based on a house layout topology. Moreover, we propose a new node classification-based discriminator to preserve the high-level semantic and discriminative node features for different house components. Finally, we propose a novel graph-based cycle-consistency loss that aims at maintaining the relative spatial relationships between ground truth and predicted graphs. Experiments on two challenging graph-constrained house generation tasks (i.e., house layout and roof generation) with two public datasets demonstrate the effectiveness of GTGAN in terms of objective quantitative scores and subjective visual realism. New state-of-the-art results are established by large margins on both tasks.
updated: Tue Mar 14 2023 20:35:45 GMT+0000 (UTC)
published: Tue Mar 14 2023 20:35:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト