arXiv reaDer
一般化された不偏シーン グラフの生成
Generalized Unbiased Scene Graph Generation
既存の不偏シーングラフ生成 (USGG) 手法は、高頻度クラスがまれなクラスの予測を支配するという述語レベルの不均衡に対処することだけに焦点を当てており、概念レベルの不均衡は見落とされています。実際には、述語自体のバランスが取れていても、コンテキストのロングテール分布 (つまり、主語と目的語の組み合わせ) により、述語内に依然として重大な概念の不均衡が存在します。主語と目的語のペアは本質的に組み合わせが複雑であるため、この概念レベルの不均衡は、述語レベルの不均衡に比べて、より広範で困難な問題を引き起こします。そこで、述語レベルと概念レベルの不均衡の両方を考慮した、一般化不偏シーングラフ生成 (G-USGG) という新しい研究課題を導入します。最後に、私たちはマルチコンセプト学習 (MCL) フレームワークを提案します。これにより、珍しい/珍しい/一般的な概念にわたってバランスのとれた学習プロセスが保証されます。 MCL はまず、異なる量の概念に関して述語間の概念レベルの不均衡を定量化し、同じクラス内の複数の概念プロトタイプとして表します。次に、コンセプト正則化 (CR) 手法を適用することで、コンセプトのプロトタイプを効果的に学習します。さらに、さまざまな概念にわたってバランスの取れた学習を実現するために、バランス プロトタイプ メモリ (BPM) を導入します。これにより、SGG モデルが概念プロトタイプのバランスの取れた表現を生成するようにガイドされます。広範な実験により、VG-SGG データセットと OI-SGG データセットの両方でベンチマーク モデルのパフォーマンスを向上させるモデルに依存しない戦略の顕著な有効性が実証され、2 つの重要な側面で新たな最先端の成果が得られました。関係認識と概念レベルの構成生成可能性。
Existing Unbiased Scene Graph Generation (USGG) methods only focus on addressing the predicate-level imbalance that high-frequency classes dominate predictions of rare ones, while overlooking the concept-level imbalance. Actually, even if predicates themselves are balanced, there is still a significant concept-imbalance within them due to the long-tailed distribution of contexts (i.e., subject-object combinations). This concept-level imbalance poses a more pervasive and challenging issue compared to the predicate-level imbalance since subject-object pairs are inherently complex in combinations. Hence, we introduce a novel research problem: Generalized Unbiased Scene Graph Generation (G-USGG), which takes into account both predicate-level and concept-level imbalance. To the end, we propose the Multi-Concept Learning (MCL) framework, which ensures a balanced learning process across rare/ uncommon/ common concepts. MCL first quantifies the concept-level imbalance across predicates in terms of different amounts of concepts, representing as multiple concept-prototypes within the same class. It then effectively learns concept-prototypes by applying the Concept Regularization (CR) technique. Furthermore, to achieve balanced learning over different concepts, we introduce the Balanced Prototypical Memory (BPM), which guides SGG models to generate balanced representations for concept-prototypes. Extensive experiments demonstrate the remarkable efficacy of our model-agnostic strategy in enhancing the performance of benchmark models on both VG-SGG and OI-SGG datasets, leading to new state-of-the-art achievements in two key aspects: predicate-level unbiased relation recognition and concept-level compositional generability.
updated: Tue Jul 16 2024 04:53:47 GMT+0000 (UTC)
published: Wed Aug 09 2023 08:51:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト