既存のメタ学習者は、主に複数のエピソードにわたる平均タスク精度の向上に重点を置いています。ただし、エピソードが異なれば、硬さと品質が異なる可能性があり、エピソード間でメタラーナーのパフォーマンスに大きなギャップが生じます。この問題を理解することは、テストエピソードが通常エンドユーザーによってアップロードされるため、テストエピソードの制御が制限されている産業用の数ショットの設定では特に重要です。このホワイトペーパーでは、CIFAR-FS、mini-ImageNet、tiered-ImageNetの3つの標準ベンチマークデータセット全体で、さまざまな硬度のエピソードに対するメタ学習者の行動を経験的に分析します。驚いたことに、すべての標準ベンチマークとメタ学習者の間で、最も困難なエピソードと最も簡単なエピソードの間に約50%の精度の大きなギャップが見られます。さらに、ハードエピソードのさまざまな特性を調査し、メタトレーニング中の壊滅的な忘却との関係を強調します。ハードエピソードでの標準以下のパフォーマンスの問題に対処するために、敵対的なトレーニングとカリキュラム学習に基づいて、さまざまなメタトレーニング戦略を調査およびベンチマークします。敵対的なトレーニング戦略は、難しいエピソードの予測パフォーマンスを向上させる上で、カリキュラム学習よりもはるかに強力であることがわかりました。
Existing meta-learners primarily focus on improving the average task accuracy across multiple episodes. Different episodes, however, may vary in hardness and quality leading to a wide gap in the meta-learner's performance across episodes. Understanding this issue is particularly critical in industrial few-shot settings, where there is limited control over test episodes as they are typically uploaded by end-users. In this paper, we empirically analyse the behaviour of meta-learners on episodes of varying hardness across three standard benchmark datasets: CIFAR-FS, mini-ImageNet, and tiered-ImageNet. Surprisingly, we observe a wide gap in accuracy of around 50% between the hardest and easiest episodes across all the standard benchmarks and meta-learners. We additionally investigate various properties of hard episodes and highlight their connection to catastrophic forgetting during meta-training. To address the issue of sub-par performance on hard episodes, we investigate and benchmark different meta-training strategies based on adversarial training and curriculum learning. We find that adversarial training strategies are much more powerful than curriculum learning in improving the prediction performance on hard episodes.