シーン グラフ生成 (SGG) タスクは、主語とオブジェクトのペアに基づいて述語を識別するように設計されています。ただし、既存のデータセットには一般に 2 つの不均衡ケースが含まれています。1 つは予測された述語からのクラスの不均衡で、もう 1 つは指定された述語からのコンテキストの不均衡です。これは SGG にとって大きな課題となります。既存の手法の多くは、主語と目的語のペアの不均衡を無視して、予測述語の不均衡に焦点を当てており、満足のいく結果を得ることができませんでした。 2 つの不均衡ケースに対処するために、既存の SGG 手法にプラグアンドプレイ方式で適用できる、新しい環境不変カリキュラム関係学習 (EICR) 手法を提案します。具体的には、主体とオブジェクトのペアの不均衡を解消するために、まず主体とオブジェクトのペアごとに異なる配布環境を構築し、環境変化に対して不変なモデルを学習します。次に、異なる環境のバランスをとり、述語の不均衡を取り除くクラスバランスの取れたカリキュラム学習戦略を構築します。 VG および GQA データセットに対して行われた包括的な実験により、EICR フレームワークがさまざまな SGG モデルの一般的な戦略として採用され、大幅な改善が達成できることが実証されました。
The scene graph generation (SGG) task is designed to identify the predicates based on the subject-object pairs.However,existing datasets generally include two imbalance cases: one is the class imbalance from the predicted predicates and another is the context imbalance from the given subject-object pairs, which presents significant challenges for SGG. Most existing methods focus on the imbalance of the predicted predicate while ignoring the imbalance of the subject-object pairs, which could not achieve satisfactory results. To address the two imbalance cases, we propose a novel Environment Invariant Curriculum Relation learning (EICR) method, which can be applied in a plug-and-play fashion to existing SGG methods. Concretely, to remove the imbalance of the subject-object pairs, we first construct different distribution environments for the subject-object pairs and learn a model invariant to the environment changes. Then, we construct a class-balanced curriculum learning strategy to balance the different environments to remove the predicate imbalance. Comprehensive experiments conducted on VG and GQA datasets demonstrate that our EICR framework can be taken as a general strategy for various SGG models, and achieve significant improvements.