arXiv reaDer
Masked Diffusion Transformer は強力な画像合成装置です
Masked Diffusion Transformer is a Strong Image Synthesizer
画像合成の成功にもかかわらず、拡散確率モデル (DPM) は、画像内のオブジェクト部分間の関係を学習するコンテキスト推論能力を欠いていることが多く、学習プロセスが遅くなることがわかりました。この問題を解決するために、マスク潜在モデリング スキームを導入するマスク拡散変換器 (MDT) を提案し、画像内のオブジェクト セマンティック パーツ間のコンテキスト関係学習の DPM の能力を明示的に強化します。トレーニング中、MDT は潜在空間を操作して特定のトークンをマスクします。次に、非対称マスキング拡散トランスフォーマーは、拡散生成プロセスを維持しながら、マスクされていないトークンからマスクされたトークンを予測するように設計されています。私たちの MDT は、不完全なコンテキスト入力から画像の完全な情報を再構築できるため、画像トークン間の関連関係を学習できます。実験結果は、MDT が優れた画像合成パフォーマンス (ImageNet データセットの新しい SoTA FID スコアなど) を達成し、以前の SoTA DiT よりも学習速度が約 3 倍速いことを示しています。ソース コードは https://github.com/sail-sg/MDT で公開されています。
Despite its success in image synthesis, we observe that diffusion probabilistic models (DPMs) often lack contextual reasoning ability to learn the relations among object parts in an image, leading to a slow learning process. To solve this issue, we propose a Masked Diffusion Transformer (MDT) that introduces a mask latent modeling scheme to explicitly enhance the DPMs' ability of contextual relation learning among object semantic parts in an image. During training, MDT operates on the latent space to mask certain tokens. Then, an asymmetric masking diffusion transformer is designed to predict masked tokens from unmasked ones while maintaining the diffusion generation process. Our MDT can reconstruct the full information of an image from its incomplete contextual input, thus enabling it to learn the associated relations among image tokens. Experimental results show that MDT achieves superior image synthesis performance, e.g. a new SoTA FID score on the ImageNet dataset, and has about 3x faster learning speed than the previous SoTA DiT. The source code is released at https://github.com/sail-sg/MDT.
updated: Sat Mar 25 2023 07:47:21 GMT+0000 (UTC)
published: Sat Mar 25 2023 07:47:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト