arXiv reaDer
不均衡な少数ショット学習タスクの最大対数尤度法
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
少数ショット学習は、機械学習で急速に発展している研究分野であり、その目標は、ラベル付けされていないデータを 1 つまたは "少数" のラベル付けされたサンプル サンプルで分類することです。通常、ニューラル ネットワークは、ラベル付けされた例示的なサンプルとクエリ セットの間の距離メトリックを最小化するようにトレーニングされます。初期の少数ショット アプローチでは、エピソード トレーニング プロセスを使用して、トレーニング データを少数ショット バッチにサブサンプリングします。このトレーニング プロセスは、評価時に行われるサブサンプリングと一致します。最近、コサイン距離と組み合わせた従来の教師付きトレーニングは、少数ショットで優れたパフォーマンスを達成しました。過去 10 年間の少数ショット アプローチの多様性にもかかわらず、ほとんどの方法は、訓練されたネットワークの潜在的特徴間のコサインまたはユークリッド距離レイヤーに依存しています。この作業では、トレーニング済みの少数ショット機能の分布を調査し、指数分布として大まかに近似できることを示します。この指数分布の仮定の下で、少数ショット アーキテクチャの新しい最大対数尤度メトリックを提案します。提案されたメトリックが、従来の類似性メトリック (コサイン、ユークリッドなど) よりも優れたパフォーマンス精度を達成し、最先端の帰納的少数ショット パフォーマンスを達成することを実証します。さらに、複数のメトリックを慎重に組み合わせることで追加の利益を得ることができ、多くのアルゴリズムに共通する後処理機能変換を必要としません。最後に、評価データが不均衡な場合に最先端の伝達的少数ショット性能を達成する最大対数尤度アプローチを中心に設計された新しい反復アルゴリズムを示します。コードは https://github.com/samuelhess/MLL_FSL/ で公開されています。
Few-shot learning is a rapidly evolving area of research in machine learning where the goal is to classify unlabeled data with only one or "a few" labeled exemplary samples. Neural networks are typically trained to minimize a distance metric between labeled exemplary samples and a query set. Early few-shot approaches use an episodic training process to sub-sample the training data into few-shot batches. This training process matches the sub-sampling done on evaluation. Recently, conventional supervised training coupled with a cosine distance has achieved superior performance for few-shot. Despite the diversity of few-shot approaches over the past decade, most methods still rely on the cosine or Euclidean distance layer between the latent features of the trained network. In this work, we investigate the distributions of trained few-shot features and demonstrate that they can be roughly approximated as exponential distributions. Under this assumption of an exponential distribution, we propose a new maximum log-likelihood metric for few-shot architectures. We demonstrate that the proposed metric achieves superior performance accuracy w.r.t. conventional similarity metrics (e.g., cosine, Euclidean, etc.), and achieve state-of-the-art inductive few-shot performance. Further, additional gains can be achieved by carefully combining multiple metrics and neither of our methods require post-processing feature transformations, which are common to many algorithms. Finally, we demonstrate a novel iterative algorithm designed around our maximum log-likelihood approach that achieves state-of-the-art transductive few-shot performance when the evaluation data is imbalanced. We have made our code publicly available at https://github.com/samuelhess/MLL_FSL/.
updated: Wed Dec 07 2022 21:03:21 GMT+0000 (UTC)
published: Sat Nov 26 2022 21:31:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト