arXiv reaDer
シーン グラフ生成のための自己管理型リレーション アライメント
Self-Supervised Relation Alignment for Scene Graph Generation
シーン グラフ生成の目標は、入力画像からグラフを予測することです。ここで、ノードは、識別およびローカライズされたオブジェクトに対応し、エッジは、対応する相互作用述語に対応します。既存のメソッドは、完全に監視された方法でトレーニングされ、メッセージ パッシング メカニズム、損失関数、および/またはバイアス緩和に焦点を当てています。この作業では、シーン グラフの生成パフォーマンスを向上させるために設計された、シンプルでありながら効果的な自己教師ありリレーショナル アラインメント正則化を紹介します。提案されたアライメントは一般的であり、既存のシーン グラフ生成フレームワークと組み合わせることができ、元のモデルの目的と一緒にトレーニングされます。調整は蒸留によって達成されます。ここでは、監視されたカウンターパートとパラメーターをミラーリングして共有する補助関係予測ブランチが設計されます。補助ブランチでは、メッセージ パッシングと述語予測の前に、リレーショナル入力機能が部分的にマスクされます。マスクされた関係の予測は、メッセージの受け渡し後に、監視された対応する関係と一致します。 2 つのシーン グラフ生成アーキテクチャである SGTR とニューラル モチーフと組み合わせて、この自己監視型リレーショナル アライメントの有効性を説明し、両方のケースでパフォーマンスが大幅に向上することを示します。
The goal of scene graph generation is to predict a graph from an input image, where nodes correspond to identified and localized objects and edges to their corresponding interaction predicates. Existing methods are trained in a fully supervised manner and focus on message passing mechanisms, loss functions, and/or bias mitigation. In this work we introduce a simple-yet-effective self-supervised relational alignment regularization designed to improve the scene graph generation performance. The proposed alignment is general and can be combined with any existing scene graph generation framework, where it is trained alongside the original model's objective. The alignment is achieved through distillation, where an auxiliary relation prediction branch, that mirrors and shares parameters with the supervised counterpart, is designed. In the auxiliary branch, relational input features are partially masked prior to message passing and predicate prediction. The predictions for masked relations are then aligned with the supervised counterparts after the message passing. We illustrate the effectiveness of this self-supervised relational alignment in conjunction with two scene graph generation architectures, SGTR and Neural Motifs, and show that in both cases we achieve significantly improved performance.
updated: Thu Feb 02 2023 20:34:13 GMT+0000 (UTC)
published: Thu Feb 02 2023 20:34:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト