シーングラフの生成は、特定の認識パターンがないため、高度なタスクです(たとえば、「見る」と「近く」は視覚に関して目立った違いはありませんが、「近く」は異なる形態のエンティティ間で発生する可能性があります)。したがって、一部のシーングラフ生成方法は、気まぐれな視覚的特徴と些細なデータセット注釈によって引き起こされる最も頻繁な関係予測に閉じ込められます。したがって、最近の研究では、より有益なシーングラフの予測のバランスをとるための「偏りのない」アプローチが強調されています。ただし、多数のオブジェクト間の関係に対する人間の迅速かつ正確な判断は、純粋なビジョンではなく、「バイアス」(つまり、経験と言語知識)に起因する必要があります。 「認知バイアス」メカニズムに触発されたモデル機能を強化するために、人間が視覚ベースの表現のガイダンスとしてラベル言語機能を組み込む方法をシミュレートする新しい3パラダイムフレームワークを提案し、隠れた関係パターンをより適切にマイニングし、ノイズの多い視覚伝播を軽減します。私たちのフレームワークは、どのシーングラフモデルにもモデルに依存しません。包括的な実験により、フレームワークが最小のパラメーター増分でいくつかのメトリックでベースラインモジュールを上回り、VisualGenomeデータセットで新しいSOTAパフォーマンスを達成することが証明されています。
Scene graph generation is a sophisticated task because there is no specific recognition pattern (e.g., "looking at" and "near" have no conspicuous difference concerning vision, whereas "near" could occur between entities with different morphology). Thus some scene graph generation methods are trapped into most frequent relation predictions caused by capricious visual features and trivial dataset annotations. Therefore, recent works emphasized the "unbiased" approaches to balance predictions for a more informative scene graph. However, human's quick and accurate judgments over relations between numerous objects should be attributed to "bias" (i.e., experience and linguistic knowledge) rather than pure vision. To enhance the model capability, inspired by the "cognitive bias" mechanism, we propose a novel 3-paradigms framework that simulates how humans incorporate the label linguistic features as guidance of vision-based representations to better mine hidden relation patterns and alleviate noisy visual propagation. Our framework is model-agnostic to any scene graph model. Comprehensive experiments prove our framework outperforms baseline modules in several metrics with minimum parameters increment and achieves new SOTA performance on Visual Genome dataset.