視覚的関係認識(VRR)は、基本的なシーン理解タスクです。 VRRが提供する構造は、画像のキャプションや視覚的な質問応答などのダウンストリームタスクでAIの解釈可能性を向上させるために不可欠です。最近のいくつかの研究では、VRRのロングテールの問題は、構成の複雑さと構造のために、オブジェクト認識の問題よりもさらに重要であることが示されています。この制限を克服するために、RelTransformerと呼ばれる新しいトランスフォーマーベースのフレームワークを提案します。これは、複数の画像レベルからの豊富なセマンティック機能を使用して関係予測を実行します。より豊富なテキスト機能により、より正確で識別力のある関係を生成できると想定しています。これは、十分なトレーニングデータが不足している場合に役立ちます。モデルの重要な機能は、3つの異なるレベルの機能(ローカルコンテキスト、シーン、およびデータセットレベル)を集約して、視覚的な関係を構成的に予測する機能です。ビジュアルゲノムと2つの「ロングテール」VRRデータセット、GQA-LTとVG8k-LTでモデルを評価します。広範な実験により、RelTransformerがすべてのデータセットの最先端のベースラインを改善できることが実証されています。さらに、私たちのモデルは、テール関係予測の最良のベースラインに基づいて、GQA-LTの精度を27.4%大幅に向上させます。私たちのコードはhttps://github.com/Vision-CAIR/RelTransformerで入手できます。
Visual relationship recognition (VRR) is a fundamental scene understanding task. The structure that VRR provides is essential to improve the AI interpretability in downstream tasks such as image captioning and visual question answering. Several recent studies showed that the long-tail problem in VRR is even more critical than that in object recognition due to the compositional complexity and structure. To overcome this limitation, we propose a novel transformer-based framework, dubbed as RelTransformer, which performs relationship prediction using rich semantic features from multiple image levels. We assume that more abundantcon textual features can generate more accurate and discriminative relationships, which can be useful when sufficient training data are lacking. The key feature of our model is its ability to aggregate three different-level features (local context, scene, and dataset-level) to compositionally predict the visual relationship. We evaluate our model on the visual genome and two "long-tail" VRR datasets, GQA-LT and VG8k-LT. Extensive experiments demonstrate that our RelTransformer could improve over the state-of-the-art baselines on all the datasets. In addition, our model significantly improves the accuracy of GQA-LT by 27.4% upon the best baselines on tail-relationship prediction. Our code is available in https://github.com/Vision-CAIR/RelTransformer.