合成ゼロショット学習 (CZSL) は、目に見える状態やオブジェクトから目に見えない合成を認識することを目的としています。手動でラベル付けされたセマンティック情報とその実際の視覚的特徴との間の不一致により、さまざまなオブジェクト クラスと状態クラスの分布に視覚的偏差の重大な不均衡が生じますが、これは既存の方法では無視されます。これらの問題を改善するために、CZSL タスクを不均衡なマルチラベル分類タスクと見なし、CZSL の STate オブジェクト コンポーネント (MUST) での MUtual バランシングと呼ばれる新しい方法を提案します。これは、モデルの誘導バイアスのバランスを提供します。特に、構成クラスの分類を 2 つの連続するプロセスに分割して、2 つのコンポーネントのもつれを分析し、2 つのコンポーネント間の視覚的なずれの程度を反映する追加の知識を事前に取得します。得られた知識を使用してモデルのトレーニング プロセスを変更し、視覚的な逸脱が著しいクラスに対してより明確なクラス境界を生成します。広範な実験により、基本的な CZSL フレームワークと組み合わせた場合、MIT-States、UT-Zappos、および C-GQA の最先端技術を大幅に上回り、さまざまな CZSL フレームワークを改善できることが実証されています。コードは https://anonymous.4open.science/r/MUST_CGE/ で入手できます。
Compositional Zero-Shot Learning (CZSL) aims to recognize unseen compositions from seen states and objects. The disparity between the manually labeled semantic information and its actual visual features causes a significant imbalance of visual deviation in the distribution of various object classes and state classes, which is ignored by existing methods. To ameliorate these issues, we consider the CZSL task as an unbalanced multi-label classification task and propose a novel method called MUtual balancing in STate-object components (MUST) for CZSL, which provides a balancing inductive bias for the model. In particular, we split the classification of the composition classes into two consecutive processes to analyze the entanglement of the two components to get additional knowledge in advance, which reflects the degree of visual deviation between the two components. We use the knowledge gained to modify the model's training process in order to generate more distinct class borders for classes with significant visual deviations. Extensive experiments demonstrate that our approach significantly outperforms the state-of-the-art on MIT-States, UT-Zappos, and C-GQA when combined with the basic CZSL frameworks, and it can improve various CZSL frameworks. Our codes are available on https://anonymous.4open.science/r/MUST_CGE/.