arXiv reaDer
オブジェクト中心のスロット拡散
Object-Centric Slot Diffusion
オブジェクト中心学習におけるトランスフォーマーベースの画像生成モデルの最近の成功は、複雑なシーンを処理するための強力な画像ジェネレーターの重要性を浮き彫りにしています。ただし、画像生成における拡散モデルの高い表現力にもかかわらず、オブジェクト中心学習への拡散モデルの統合は、この分野ではほとんど研究されていないままです。この論文では、拡散モデルをオブジェクト中心学習に統合する実現可能性と可能性を探り、このアプローチの長所と短所を調査します。潜在スロット拡散 (LSD) は、二重の目的を果たす新しいモデルです。これは、従来のスロット デコーダーをオブジェクト スロットに条件付けされた潜在拡散モデルに置き換える最初のオブジェクト中心学習モデルであり、また、最初の教師なし合成条件付きモデルでもあります。テキストのような教師付き注釈を必要とせずに動作する拡散モデル。この分野での FFHQ データセットの最初の適用を含む、さまざまなオブジェクト中心のタスクに関する実験を通じて、特により複雑なシーンにおいて、LSD が最先端のトランスフォーマーベースのデコーダーよりも大幅に優れたパフォーマンスを発揮し、優れた教師なし構成を示すことを実証しました。世代の品質。プロジェクトページは https://latentslotdiffusion.github.iohere から入手できます。
The recent success of transformer-based image generative models in object-centric learning highlights the importance of powerful image generators for handling complex scenes. However, despite the high expressiveness of diffusion models in image generation, their integration into object-centric learning remains largely unexplored in this domain. In this paper, we explore the feasibility and potential of integrating diffusion models into object-centric learning and investigate the pros and cons of this approach. We introduce Latent Slot Diffusion (LSD), a novel model that serves dual purposes: it is the first object-centric learning model to replace conventional slot decoders with a latent diffusion model conditioned on object slots, and it is also the first unsupervised compositional conditional diffusion model that operates without the need for supervised annotations like text. Through experiments on various object-centric tasks, including the first application of the FFHQ dataset in this field, we demonstrate that LSD significantly outperforms state-of-the-art transformer-based decoders, particularly in more complex scenes, and exhibits superior unsupervised compositional generation quality. Project page is available at https://latentslotdiffusion.github.iohere
updated: Sat Jul 08 2023 01:48:24 GMT+0000 (UTC)
published: Mon Mar 20 2023 02:40:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト