arXiv reaDer
タスクを意識したアクティブラーニングのための Visual Transformer
Visual Transformer for Task-aware Active Learning
アクティブ ラーニング (AL) のプールベースのサンプリングは、深層学習モデルを扱うときに有益なデータに注釈を付けるための重要なフレームワークを表します。このペーパーでは、プールベースのアクティブ ラーニングの新しいパイプラインを紹介します。以前のほとんどの作品とは異なり、私たちの方法は、トレーニング中にアクセス可能なラベルのない例を利用して、ラベルの付いた例との相互関係を推定します。このペーパーのもう 1 つの貢献は、AL パイプラインのサンプラーとして Visual Transformer を適応させることです。 Visual Transformer は、ラベル付けされた例とラベル付けされていない例の間の非ローカル ビジュアル コンセプトの依存関係をモデル化します。これは、影響を受けるラベル付けされていない例を特定するために重要です。また、学習者とサンプラーが多段階の方法で訓練される既存の方法と比較して、潜在空間を2つの別々のタスクに変換することを可能にするタスクを意識した共同方法でそれらを訓練することを提案します.1つはラベル付けされた例を分類することです. ;もう 1 つは、ラベル付けの方向を区別するものです。分類および検出タスクの 4 つの困難なベンチマーク、つまり、作業を評価しました。 CIFAR10、CIFAR100、FashionMNIST、RaFD、およびパスカル VOC 2007。当社の広範な経験的および定性的評価は、既存の方法と比較して、当社の方法の優位性を示しています。利用可能なコード:
Pool-based sampling in active learning (AL) represents a key framework for an-notating informative data when dealing with deep learning models. In this paper, we present a novel pipeline for pool-based Active Learning. Unlike most previous works, our method exploits accessible unlabelled examples during training to estimate their co-relation with the labelled examples. Another contribution of this paper is to adapt Visual Transformer as a sampler in the AL pipeline. Visual Transformer models non-local visual concept dependency between labelled and unlabelled examples, which is crucial to identifying the influencing unlabelled examples. Also, compared to existing methods where the learner and the sampler are trained in a multi-stage manner, we propose to train them in a task-aware jointly manner which enables transforming the latent space into two separate tasks: one that classifies the labelled examples; the other that distinguishes the labelling direction. We evaluated our work on four different challenging benchmarks of classification and detection tasks viz. CIFAR10, CIFAR100,FashionMNIST, RaFD, and Pascal VOC 2007. Our extensive empirical and qualitative evaluations demonstrate the superiority of our method compared to the existing methods. Code available:
updated: Mon Jun 07 2021 17:13:59 GMT+0000 (UTC)
published: Mon Jun 07 2021 17:13:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト