この論文では、ゼロショット学習(ZSL)フレームワーク内で構成属性-オブジェクトの概念を認識する問題を研究します。クロスアテンションメカニズムとエピソードベースのトレーニング戦略のメリットを組み合わせて、新しい構成概念を認識するエピソードベースのクロスアテンション(EpiCA)ネットワークを提案します。まず、EpiCAは、概念と視覚の情報を相互に関連付けるための相互注意に基づいており、ゲート付きプーリングレイヤーを利用して、画像と概念の両方のコンテキスト化された表現を構築します。更新された表現は、概念認識のためのより詳細なマルチモーダル関連性計算に使用されます。次に、2フェーズのエピソードトレーニング戦略、特にトランスダクティブフェーズを採用して、ラベルのないテスト例を利用し、低リソースの学習問題を軽減します。 2つの広く使用されているゼロショット構成学習(ZSCL)ベンチマークでの実験により、従来のZSCL設定と一般化されたZSCL設定の両方での最近のアプローチと比較してモデルの有効性が実証されました。
In this paper, we study the problem of recognizing compositional attribute-object concepts within the zero-shot learning (ZSL) framework. We propose an episode-based cross-attention (EpiCA) network which combines merits of cross-attention mechanism and episode-based training strategy to recognize novel compositional concepts. Firstly, EpiCA bases on cross-attention to correlate concept-visual information and utilizes the gated pooling layer to build contextualized representations for both images and concepts. The updated representations are used for a more in-depth multi-modal relevance calculation for concept recognition. Secondly, a two-phase episode training strategy, especially the transductive phase, is adopted to utilize unlabeled test examples to alleviate the low-resource learning problem. Experiments on two widely-used zero-shot compositional learning (ZSCL) benchmarks have demonstrated the effectiveness of the model compared with recent approaches on both conventional and generalized ZSCL settings.