arXiv reaDer
BGT-Net:シーングラフ生成のための双方向GRUトランスフォーマーネットワーク
BGT-Net: Bidirectional GRU Transformer Network for Scene Graph Generation
シーングラフは、それぞれオブジェクトとオブジェクトとオブジェクトの関係で構成されるノードとエッジです。シーングラフ生成(SGG)は、オブジェクトとそれらの関係を識別することを目的としています。画像のシーングラフ生成のために双方向GRU(BiGRU)トランスフォーマーネットワーク(BGT-Net)を提案します。このモデルは、BiGRUレイヤーを使用してオブジェクト情報を強化するために、新しいオブジェクト間通信を実装します。したがって、画像内のすべてのオブジェクトの情報は、他のオブジェクトで利用でき、オブジェクト予測ステップの後半で活用できます。このオブジェクト情報は、トランスフォーマーエンコーダーで使用され、オブジェクトクラスを予測したり、別のトランスフォーマーエンコーダーを使用してオブジェクト固有のエッジ情報を作成したりします。ロングテール関係分布によって引き起こされるデータセットバイアスを処理するには、log-softmax関数でソフト化し、バイアス適応項を追加して、すべての関係予測のバイアスを個別に調整することが効果的なアプローチであることが示されました。オープンソースのデータセット、つまりVisual Genome、Open-Images、およびVisual Relationship Detectionデータセットを使用して、実験とアブレーションに関する詳細な調査を実施し、提案されたモデルが最新技術よりも有効であることを示しました。
Scene graphs are nodes and edges consisting of objects and object-object relationships, respectively. Scene graph generation (SGG) aims to identify the objects and their relationships. We propose a bidirectional GRU (BiGRU) transformer network (BGT-Net) for the scene graph generation for images. This model implements novel object-object communication to enhance the object information using a BiGRU layer. Thus, the information of all objects in the image is available for the other objects, which can be leveraged later in the object prediction step. This object information is used in a transformer encoder to predict the object class as well as to create object-specific edge information via the use of another transformer encoder. To handle the dataset bias induced by the long-tailed relationship distribution, softening with a log-softmax function and adding a bias adaptation term to regulate the bias for every relation prediction individually showed to be an effective approach. We conducted an elaborate study on experiments and ablations using open-source datasets, i.e., Visual Genome, Open-Images, and Visual Relationship Detection datasets, demonstrating the effectiveness of the proposed model over state of the art.
updated: Sat Sep 11 2021 19:14:40 GMT+0000 (UTC)
published: Sat Sep 11 2021 19:14:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト