arXiv reaDer
事前バイアスを使用したレジスタンストレーニング:バイアスのないシーングラフ生成に向けて
Resistance Training using Prior Bias: toward Unbiased Scene Graph Generation
シーングラフ生成(SGG)は、オブジェクトとペアワイズ関係を使用してシーンの構造化された表現を構築することを目的としています。これは、ダウンストリームタスクに役立ちます。ただし、現在のSGGメソッドは、トレーニングデータのロングテール分布のため、通常、最適ではないシーングラフの生成に悩まされています。この問題に対処するために、シーングラフの生成に事前バイアス(RTPB)を使用したレジスタンストレーニングを提案します。具体的には、RTPBは分散ベースの事前バイアスを使用して、トレーニング中の頻度の低い関係でのモデルの検出能力を向上させ、テールカテゴリでのモデルの一般化可能性を向上させます。さらに、オブジェクトと関係のコンテキスト情報をさらに調査するために、Dual Transformer(DTrans)と呼ばれるコンテキストエンコーディングバックボーンネットワークを設計します。非常に人気のあるベンチマークVG150で広範な実験を行い、偏りのないシーングラフ生成のための方法の有効性を示します。具体的には、現在のSGGメソッドに適用した場合、RTPBは平均リコールの下で10%以上の改善を達成します。さらに、RTPBを使用したDTransは、ほぼすべての最先端の方法を大幅に上回っています。
Scene Graph Generation (SGG) aims to build a structured representation of a scene using objects and pairwise relationships, which benefits downstream tasks. However, current SGG methods usually suffer from sub-optimal scene graph generation because of the long-tailed distribution of training data. To address this problem, we propose Resistance Training using Prior Bias (RTPB) for the scene graph generation. Specifically, RTPB uses a distributed-based prior bias to improve models' detecting ability on less frequent relationships during training, thus improving the model generalizability on tail categories. In addition, to further explore the contextual information of objects and relationships, we design a contextual encoding backbone network, termed as Dual Transformer (DTrans). We perform extensive experiments on a very popular benchmark, VG150, to demonstrate the effectiveness of our method for the unbiased scene graph generation. In specific, our RTPB achieves an improvement of over 10% under the mean recall when applied to current SGG methods. Furthermore, DTrans with RTPB outperforms nearly all state-of-the-art methods with a large margin.
updated: Tue Jan 18 2022 07:48:55 GMT+0000 (UTC)
published: Tue Jan 18 2022 07:48:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト