最近のテキストから画像へのモデルによって高品質の画像を生成する驚くべき機能にもかかわらず、現在のアプローチでは、さまざまな属性や関係を持つオブジェクトを複雑で一貫したシーンに効果的に合成するのに苦労することがよくあります。私たちは、オープンワールドの合成テキストから画像への生成のための包括的なベンチマークである T2I-CompBench を提案します。これは、3 つのカテゴリ (属性バインディング、オブジェクト関係、および複雑な合成) と 6 つのサブカテゴリ (カラー バインディング、形状バインディング、テクスチャ バインディング、空間関係、非空間関係、および複雑な構成)。さらに、構成的なテキストから画像への生成を評価するために特別に設計されたいくつかの評価指標を提案します。事前トレーニングされたテキストから画像へのモデルの構成的なテキストから画像への生成能力を強化するために、報酬駆動型サンプル選択 (GORS) を使用した新しいアプローチである Generative mOdel 微調整を導入します。 T2I-CompBench で以前の手法のベンチマークを行い、提案された評価指標と GORS アプローチの有効性を検証するために、広範な実験と評価が行われています。プロジェクトページは https://karine-h.github.io/T2I-CompBench/ から入手できます。
Despite the stunning ability to generate high-quality images by recent text-to-image models, current approaches often struggle to effectively compose objects with different attributes and relationships into a complex and coherent scene. We propose T2I-CompBench, a comprehensive benchmark for open-world compositional text-to-image generation, consisting of 6,000 compositional text prompts from 3 categories (attribute binding, object relationships, and complex compositions) and 6 sub-categories (color binding, shape binding, texture binding, spatial relationships, non-spatial relationships, and complex compositions). We further propose several evaluation metrics specifically designed to evaluate compositional text-to-image generation. We introduce a new approach, Generative mOdel fine-tuning with Reward-driven Sample selection (GORS), to boost the compositional text-to-image generation abilities of pretrained text-to-image models. Extensive experiments and evaluations are conducted to benchmark previous methods on T2I-CompBench, and to validate the effectiveness of our proposed evaluation metrics and GORS approach. Project page is available at https://karine-h.github.io/T2I-CompBench/.