オープン ワールドできめ細かいシーン グラフを生成するための視覚的に促される言語モデル
Visually-Prompted Language Model for Fine-Grained Scene Graph Generation in an Open World
Scene Graph Generation (SGG) は抽出を目的としています視覚理解のための画像の関係。最近の作業は SGG で着実に進歩を遂げていますが、テール述語は、頻繁な述語と比較して少量の注釈付きデータが原因で、トレーニングにコストがかかり、区別が難しいというロングテール分布の問題を抱えています。既存の再調整戦略は、以前のルールを介してそれを処理しようとしますが、さまざまなモデルやデータセットに拡張できない事前定義された条件に制限されます。このペーパーでは、クロスモーダル述語ブースティング (CaCao) フレームワークを提案します。このフレームワークでは、視覚的に促される言語モデルを学習して、リソースの少ない方法で多様なきめの細かい述語を生成します。提案されたCaCaoは、プラグアンドプレイ方式で適用でき、既存のSGGを自動的に強化して、ロングテールの問題に取り組むことができます。それに基づいて、オープンワールドの述語シーン グラフ生成 (Epic) のための新しい Entangled クロスモーダル プロンプト アプローチをさらに紹介します。このアプローチでは、モデルは目に見えない述語にゼロ ショット方式で一般化できます。 3 つのベンチマーク データセットでの包括的な実験は、CaCao がモデルにとらわれない方法で複数のシーン グラフ生成モデルのパフォーマンスを一貫して向上させることを示しています。さらに、私たちのエピックは、オープンワールドの述語予測で競争力のあるパフォーマンスを達成しています。
Scene Graph Generation (SGG) aims to extract relationships in images for vision understanding. Although recent works have made steady progress on SGG, they still suffer long-tail distribution issues that tail-predicates are more costly to train and hard to distinguish due to a small amount of annotated data compared to frequent predicates. Existing re-balancing strategies try to haddle it via prior rules but are still confined to pre-defined conditions, which are not scalable for various models and datasets. In this paper, we propose a Cross-modal prediCate boosting (CaCao) framework, where a visually-prompted language model is learned to generate diverse fine-grained predicates in a low-resource way. The proposed CaCao can be applied in a plug-and-play fashion and automatically strengthen existing SGG to tackle the long-tailed problem. Based on that, we further introduce a novel Entangled cross-modal prompt approach for open-world predicate scene graph generation (Epic), where models can generalize to unseen predicates in a zero-shot manner. Comprehensive experiments on three benchmark datasets show that CaCao consistently boosts the performance of multiple scene graph generation models in a model-agnostic way. Moreover, our Epic achieves competitive performance on open-world predicate prediction.
updated: Thu Mar 23 2023 13:06:38 GMT+0000 (UTC)
published: Thu Mar 23 2023 13:06:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト