arXiv reaDer
データ転送によるきめ細かいシーングラフの生成
Fine-Grained Scene Graph Generation with Data Transfer
シーングラフ生成(SGG)は、画像内のトリプレット(主語、述語、目的語)を抽出することを目的としています。最近の作品はSGGで着実に進歩しており、高レベルのビジョンと言語理解のための便利なツールを提供しています。ただし、ロングテール分布やセマンティックのあいまいさなどのデータ分布の問題により、現在のSGGモデルの予測は、いくつかの頻繁ではあるが情報量の少ない述語(on、atなど)に崩壊する傾向があり、ダウンストリームタスクでのこれらのモデルの実際の適用が制限されます。 。上記の問題に対処するために、新しい内部および外部データ転送(IETrans)メソッドを提案します。これは、プレイアンドプラグ方式で適用でき、1,807個の述語クラスを持つ大規模なSGGに拡張できます。 IETransは、すべての述語に対してより十分で一貫性のある注釈を提供する拡張データセットを自動的に作成することにより、データ分散の問題を軽減しようとします。転送されたデータセットでトレーニングすることにより、Neural Motifモデルは、競争力のあるマイクロパフォーマンスを維持しながら、マクロパフォーマンスを2倍にします。このペーパーのデータとコードは、https://github.com/waxnkw/IETrans-SGG.pytorchで公開されています。
Scene graph generation (SGG) aims to extract (subject, predicate, object) triplets in images. Recent works have made a steady progress on SGG, and provide useful tools for high-level vision and language understanding. However, due to the data distribution problems including long-tail distribution and semantic ambiguity, the predictions of current SGG models tend to collapse to several frequent but uninformative predicates (e.g., on, at), which limits practical application of these models in downstream tasks. To deal with the problems above, we propose a novel Internal and External Data Transfer (IETrans) method, which can be applied in a play-and-plug fashion and expanded to large SGG with 1,807 predicate classes. Our IETrans tries to relieve the data distribution problem by automatically creating an enhanced dataset that provides more sufficient and coherent annotations for all predicates. By training on the transferred dataset, a Neural Motif model doubles the macro performance while maintaining competitive micro performance. The data and code for this paper are publicly available at https://github.com/waxnkw/IETrans-SGG.pytorch
updated: Tue Mar 22 2022 12:26:56 GMT+0000 (UTC)
published: Tue Mar 22 2022 12:26:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト