シーン グラフは、視覚的な理解と推論を促進する画像の意味的な抽象化です。ただし、実際のシナリオで偏ったデータに直面した場合、シーン グラフ生成 (SGG) のパフォーマンスは満足のいくものではありません。従来のバイアス除去研究は、偏りのあるクラス間の相関関係を無視して、データ分布のバランスをとるか、偏りのないモデルや表現を学習するという観点から主に研究されてきました。この作業では、新しい認知の観点からこの問題を分析します。バイアスされた予測から階層的な認知構造を自動的に構築し、その階層をナビゲートして関係を見つけ、尾の関係が粗いものから細かいものへのモードでより多くの注目を集めるようにします。この目的のために、バイアスのない SGG の新しいバイアス解除認知ツリー (CogTree) 損失を提案します。最初に認知構造 CogTree を構築して、バイアスされた SGG モデルの予測に基づいて関係を整理します。 CogTree は、最初は著しく異なる関係を区別し、次に、混乱しやすい関係のごく一部に焦点を当てます。次に、この認知構造のバイアス緩和損失を提案します。これは、正しい関係の粗いものから細かいものへの区別をサポートします。損失はモデルに依存せず、いくつかの最先端モデルのパフォーマンスを一貫して向上させています。コードは https://github.com/CYVincent/Scene-Graph-Transformer-CogTree で入手できます。
Scene graphs are semantic abstraction of images that encourage visual understanding and reasoning. However, the performance of Scene Graph Generation (SGG) is unsatisfactory when faced with biased data in real-world scenarios. Conventional debiasing research mainly studies from the view of balancing data distribution or learning unbiased models and representations, ignoring the correlations among the biased classes. In this work, we analyze this problem from a novel cognition perspective: automatically building a hierarchical cognitive structure from the biased predictions and navigating that hierarchy to locate the relationships, making the tail relationships receive more attention in a coarse-to-fine mode. To this end, we propose a novel debiasing Cognition Tree (CogTree) loss for unbiased SGG. We first build a cognitive structure CogTree to organize the relationships based on the prediction of a biased SGG model. The CogTree distinguishes remarkably different relationships at first and then focuses on a small portion of easily confused ones. Then, we propose a debiasing loss specially for this cognitive structure, which supports coarse-to-fine distinction for the correct relationships. The loss is model-agnostic and consistently boosting the performance of several state-of-the-art models. The code is available at: https://github.com/CYVincent/Scene-Graph-Transformer-CogTree.