arXiv reaDer
クラスの不均衡を伴う少数のショット学習
Few-Shot Learning with Class Imbalance
いくつかのショット学習(FSL)アルゴリズムは、通常、メタ学習(ML)を通じてトレーニングされます。これは、評価中に見られるタスクを模倣するために、メタデータセットからサンプリングされたタスクのバッチにモデルを公開します。ただし、標準のトレーニング手順では、クラスが通常異なる頻度で発生する実際のダイナミクスを見落としています。クラスの不均衡は教師ありメソッドのパフォーマンスに悪影響を与えると一般に理解されていますが、限られた研究では、FSL評価タスクに対する不均衡の影響を調べています。私たちの分析では、さまざまな不均衡分布とリバランス手法について、10の最先端のメタ学習とFSLの手法を比較しています。私たちの結果は、1)一部のFSLメソッドは不均衡に対して自然な傾向を示しますが、他のほとんどのアプローチでは、適切な緩和策がないバランスの取れたタスクと比較して、パフォーマンスが最大17%低下します。 2)一般的な信念に反して、多くのメタ学習アルゴリズムは、露出から不均衡なトレーニングタスクへのバランスをとることを自動的に学習しません。 3)ランダムなオーバーサンプリングなどの従来のリバランス戦略は、依然として非常に効果的であり、最先端のパフォーマンスにつながる可能性があるため、見逃してはなりません。 4)FSLメソッドは、同様の不均衡比(ρ<20)のタスクレベルでの不均衡よりもメタデータセットの不均衡に対してより堅牢であり、より大きな不均衡(ρ= 65)の下でロングテールデータセットでも効果が保持されます。
Few-Shot Learning (FSL) algorithms are commonly trained through Meta-Learning (ML), which exposes models to batches of tasks sampled from a meta-dataset to mimic tasks seen during evaluation. However, the standard training procedures overlook the real-world dynamics where classes commonly occur at different frequencies. While it is generally understood that class imbalance harms the performance of supervised methods, limited research examines the impact of imbalance on the FSL evaluation task. Our analysis compares 10 state-of-the-art meta-learning and FSL methods on different imbalance distributions and rebalancing techniques. Our results reveal that 1) some FSL methods display a natural disposition against imbalance while most other approaches produce a performance drop by up to 17% compared to the balanced task without the appropriate mitigation; 2) contrary to popular belief, many meta-learning algorithms will not automatically learn to balance from exposure to imbalanced training tasks; 3) classical rebalancing strategies, such as random oversampling, can still be very effective, leading to state-of-the-art performances and should not be overlooked; 4) FSL methods are more robust against meta-dataset imbalance than imbalance at the task-level with a similar imbalance ratio (ρ<20), with the effect holding even in long-tail datasets under a larger imbalance (ρ=65).
updated: Mon Jun 14 2021 12:57:38 GMT+0000 (UTC)
published: Thu Jan 07 2021 12:54:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト