データ拡張は、数ショットの分類タスクのパフォーマンスを向上させるための強力な手法です。サプリメントとしてより多くのサンプルを生成し、このタスクを解決のための一般的な教師あり学習の問題に変換できます。ただし、ほとんどの主流のデータ拡張ベースのアプローチでは、単一のモダリティ情報のみが考慮されるため、生成される機能の多様性と品質が低くなります。この論文では、前述の問題に対処するためのDizygotic Conditional Variableal AutoEncoder(DCVAE)という名前の新しいマルチモーダルデータ拡張アプローチを紹介します。 DCVAEは、2つの条件付き変分オートエンコーダー(CVAE)を、シードは同じであるがモダリティ条件が異なる2つの条件付き変分オートエンコーダーを、二卵性共生方式でペアリングすることによって特徴合成を実行します。続いて、2つのCVAEの生成された特徴が適応的に組み合わされて最終的な特徴が生成され、これらの条件が表現だけでなく機能においても元の条件と一致することを保証しながら、ペアの条件に戻すことができます。 DCVAEは基本的に、さまざまなモダリティの事前情報の補完を活用することにより、さまざまなマルチモーダルシナリオでのデータ拡張の新しいアイデアを提供します。広範な実験結果は、私たちの仕事がminiImageNet、CIFAR-FS、およびCUBデータセットで最先端のパフォーマンスを達成し、部分的なモダリティがない場合でもうまく機能することを示しています。
Data augmentation is a powerful technique for improving the performance of the few-shot classification task. It generates more samples as supplements, and then this task can be transformed into a common supervised learning issue for solution. However, most mainstream data augmentation based approaches only consider the single modality information, which leads to the low diversity and quality of generated features. In this paper, we present a novel multi-modal data augmentation approach named Dizygotic Conditional Variational AutoEncoder (DCVAE) for addressing the aforementioned issue. DCVAE conducts feature synthesis via pairing two Conditional Variational AutoEncoders (CVAEs) with the same seed but different modality conditions in a dizygotic symbiosis manner. Subsequently, the generated features of two CVAEs are adaptively combined to yield the final feature, which can be converted back into its paired conditions while ensuring these conditions are consistent with the original conditions not only in representation but also in function. DCVAE essentially provides a new idea of data augmentation in various multi-modal scenarios by exploiting the complement of different modality prior information. Extensive experimental results demonstrate our work achieves state-of-the-art performances on miniImageNet, CIFAR-FS and CUB datasets, and is able to work well in the partial modality absence case.