arXiv reaDer
メタ合成参照表現セグメンテーション
Meta Compositional Referring Expression Segmentation
参照式セグメンテーションは、画像から言語表現によって記述されたオブジェクトをセグメント化することを目的としています。このタスクの最近の進歩にもかかわらず、このタスクに取り組んでいる既存のモデルは、個々の概念のセマンティクスと視覚的表現を完全にキャプチャできない可能性があり、特に学習した概念の新しい構成を処理する場合に、一般化機能が制限されます。この作業では、メタ学習のレンズを通して、メタ構成参照表現セグメンテーション (MCRES) フレームワークを提案して、モデル構成の一般化パフォーマンスを向上させます。具体的には、さまざまなレベルの新しい構成を処理するために、フレームワークは最初にトレーニング データを使用して、仮想トレーニング セットと複数の仮想テスト セットを構築します。各仮想テスト セットのデータ サンプルには、仮想トレーニング セットに関する新しい構成のレベルが含まれます。次に、新しいメタ最適化スキームに従ってモデルを最適化し、仮想トレーニング セットでのトレーニング後に仮想テスト セットで良好なテスト パフォーマンスを取得することで、フレームワークはモデルを効果的に駆動して個々の概念のセマンティクスと視覚的表現をより適切に捉えることができます。新しい構成を処理する場合でも、堅牢な一般化パフォーマンスが得られます。 3 つのベンチマーク データセットでの広範な実験により、フレームワークの有効性が実証されました。
Referring expression segmentation aims to segment an object described by a language expression from an image. Despite the recent progress on this task, existing models tackling this task may not be able to fully capture semantics and visual representations of individual concepts, which limits their generalization capability, especially when handling novel compositions of learned concepts. In this work, through the lens of meta learning, we propose a Meta Compositional Referring Expression Segmentation (MCRES) framework to enhance model compositional generalization performance. Specifically, to handle various levels of novel compositions, our framework first uses training data to construct a virtual training set and multiple virtual testing sets, where data samples in each virtual testing set contain a level of novel compositions w.r.t. the virtual training set. Then, following a novel meta optimization scheme to optimize the model to obtain good testing performance on the virtual testing sets after training on the virtual training set, our framework can effectively drive the model to better capture semantics and visual representations of individual concepts, and thus obtain robust generalization performance even when handling novel compositions. Extensive experiments on three benchmark datasets demonstrate the effectiveness of our framework.
updated: Mon Apr 10 2023 06:55:25 GMT+0000 (UTC)
published: Mon Apr 10 2023 06:55:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト