この論文では、視覚シーン内のオブジェクト間の関係を推測するための新しいアプローチについて説明します。これは、オブジェクトと関係のカテゴリをばらばらなスーパーカテゴリに分割するために課すことができる有益な階層構造を明示的に活用します。具体的には、提案されたスキームは、ベイズ予測ヘッドを実装して、スーパーカテゴリまたは2つのオブジェクト間の関係のタイプを、そのスーパーカテゴリ内の詳細な関係とともに共同で予測します。この設計により、クラスの不均衡の問題の影響が軽減されます。 Visual Genome および OpenImage V6 データセットに関する実験結果を提示し、この因数分解されたアプローチにより、特に述語分類およびゼロ ショット タスクにおいて、比較的単純なモデルが競争力のあるパフォーマンスを達成できることを示します。
This paper describes a novel approach to deducing relationships between objects in a visual scene. It explicitly exploits an informative hierarchical structure that can be imposed to divide the object and relationship categories into disjoint super-categories. Specifically, our proposed scheme implements a Bayes prediction head to jointly predict the super-category or type of relationship between the two objects, along with the detailed relationship within that super-category. This design reduces the impact of class imbalance problems. We present experimental results on the Visual Genome and OpenImage V6 datasets showing that this factorized approach allows a relatively simple model to achieve competitive performance, especially on predicate classification and zero-shot tasks.