arXiv reaDer
データ転送によるきめ細かいシーングラフの生成
Fine-Grained Scene Graph Generation with Data Transfer
シーングラフ生成(SGG)は、画像内のトリプレット(主語、述語、目的語)を抽出するように設計されています。最近の作品はSGGで着実に進歩しており、高レベルのビジョンと言語理解のための便利なツールを提供しています。ただし、ロングテール分布やセマンティックのあいまいさなどのデータ分布の問題により、現在のSGGモデルの予測は、いくつかの頻繁ではあるが情報量の少ない述語(on、atなど)に崩壊する傾向があり、ダウンストリームタスクでのこれらのモデルの実際の適用が制限されます。 。上記の問題に対処するために、プラグアンドプレイ方式で適用でき、1,807個の述語クラスを持つ大規模なSGGに拡張できる、新しい内部および外部データ転送(IETrans)メソッドを提案します。 IETransは、すべての述語に対してより十分で一貫性のある注釈を提供する拡張データセットを自動的に作成することにより、データ分散の問題を軽減しようとします。強化されたデータセットでトレーニングすることにより、Neural Motifモデルは、競争力のあるマイクロパフォーマンスを維持しながら、マクロパフォーマンスを2倍にします。コードとデータはhttps://github.com/waxnkw/IETrans-SGG.pytorchで公開されています。
Scene graph generation (SGG) is designed to extract (subject, predicate, object) triplets in images. Recent works have made a steady progress on SGG, and provide useful tools for high-level vision and language understanding. However, due to the data distribution problems including long-tail distribution and semantic ambiguity, the predictions of current SGG models tend to collapse to several frequent but uninformative predicates (e.g., on, at), which limits practical application of these models in downstream tasks. To deal with the problems above, we propose a novel Internal and External Data Transfer (IETrans) method, which can be applied in a plug-and-play fashion and expanded to large SGG with 1,807 predicate classes. Our IETrans tries to relieve the data distribution problem by automatically creating an enhanced dataset that provides more sufficient and coherent annotations for all predicates. By training on the enhanced dataset, a Neural Motif model doubles the macro performance while maintaining competitive micro performance. The code and data are publicly available at https://github.com/waxnkw/IETrans-SGG.pytorch.
updated: Wed Jul 20 2022 08:25:56 GMT+0000 (UTC)
published: Tue Mar 22 2022 12:26:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト