arXiv reaDer
前景オブジェクト変換を使用したきめ細かい少数のショット学習
Fine-Grained Few Shot Learning with Foreground Object Transformation
従来のきめの細かい画像分類では、一般に、クラス間の分散は小さいがクラス内の分散が大きい問題に対処するために、ラベル付きのサンプルが豊富に必要です。ただし、多くのシナリオでは、一部の新しいサブカテゴリのサンプルが限られている可能性があり、きめ細かい数ショット学習(FG-FSL)設定につながります。この困難な課題に対処するために、前景オブジェクト抽出器と姿勢変換ジェネレーターで構成される前景オブジェクト変換(FOT)という新しい方法を提案します。前者は、画像の背景を削除することを目的としています。これは、クラス内の分散を増幅し、クラス間の分散を減らすため、きめ細かい画像分類の難しさを増す傾向があります。後者は、前景オブジェクトの姿勢を変換して、新しいサブカテゴリの追加サンプルを生成します。データ拡張方法として、FOTは既存の数ショット学習アルゴリズムに便利に適用でき、FG-FSLタスクでのパフォーマンスを大幅に向上させます。特に、FOTと組み合わせると、単純な微調整ベースライン手法は、誘導設定と変換設定の両方で最先端の手法と競合する可能性があります。さらに、FOTは、最新の優れた方法のパフォーマンスをさらに向上させ、それらを新しい最先端の方法に引き上げることができます。さらに、一般的なFSLタスクに対するFOTの有効性も示します。
Traditional fine-grained image classification generally requires abundant labeled samples to deal with the low inter-class variance but high intra-class variance problem. However, in many scenarios we may have limited samples for some novel sub-categories, leading to the fine-grained few shot learning (FG-FSL) setting. To address this challenging task, we propose a novel method named foreground object transformation (FOT), which is composed of a foreground object extractor and a posture transformation generator. The former aims to remove image background, which tends to increase the difficulty of fine-grained image classification as it amplifies the intra-class variance while reduces inter-class variance. The latter transforms the posture of the foreground object to generate additional samples for the novel sub-category. As a data augmentation method, FOT can be conveniently applied to any existing few shot learning algorithm and greatly improve its performance on FG-FSL tasks. In particular, in combination with FOT, simple fine-tuning baseline methods can be competitive with the state-of-the-art methods both in inductive setting and transductive setting. Moreover, FOT can further boost the performances of latest excellent methods and bring them up to the new state-of-the-art. In addition, we also show the effectiveness of FOT on general FSL tasks.
updated: Mon Sep 13 2021 05:58:20 GMT+0000 (UTC)
published: Mon Sep 13 2021 05:58:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト