arXiv reaDer
Propheter: Prophetic Teacher Guided Long-Tailed Distribution学習
Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning
一般的な視覚認識の分野で一般的な課題であるディープ ロングテール ラーニングの問題は、多くの現実世界のアプリケーションで解決されていません。ロングテール分類における非常に歪んだデータセットの問題に取り組むために、以前の取り組みでは、クラスの再調整、データの拡張、モジュールの改善など、精巧なクラスの分散戦略を使用して既存のディープ モデルを拡張しようとしてきました。有望なパフォーマンスにもかかわらず、トレーニング データセット内のテーリング クラスの限られたクラス知識は、依然として既存のディープ モデルのパフォーマンスのボトルネックとなっています。この論文では、外部の事前知識を使用してディープネットワークの学習をガイドすることにより、ボトルネックを解消する革新的なロングテール学習パラダイムを提案します。これは、潜在的なクラス分布を学習することを目的とした、「Propheter」と呼ばれる精巧な「予言的」教師を考案することによって具体的に達成されます。次に、ターゲットのロングテール予測モデルは、よく訓練された「Propheter」の指示の下で最適化され、異なるクラスの分布が互いに可能な限り区別できるようになります。 3 つのアーキテクチャにわたる 8 つのロングテール ベンチマークでの実験は、提案された予言的パラダイムが、ロングテール データセットにおける限られたクラス知識の課題に対する有望なソリューションとして機能することを示しています。私たちのコードとモデルは補足資料にあります。
The problem of deep long-tailed learning, a prevalent challenge in the realm of generic visual recognition, persists in a multitude of real-world applications. To tackle the heavily-skewed dataset issue in long-tailed classification, prior efforts have sought to augment existing deep models with the elaborate class-balancing strategies, such as class rebalancing, data augmentation, and module improvement. Despite the encouraging performance, the limited class knowledge of the tailed classes in the training dataset still bottlenecks the performance of the existing deep models. In this paper, we propose an innovative long-tailed learning paradigm that breaks the bottleneck by guiding the learning of deep networks with external prior knowledge. This is specifically achieved by devising an elaborated ``prophetic'' teacher, termed as ``Propheter'', that aims to learn the potential class distributions. The target long-tailed prediction model is then optimized under the instruction of the well-trained ``Propheter'', such that the distributions of different classes are as distinguishable as possible from each other. Experiments on eight long-tailed benchmarks across three architectures demonstrate that the proposed prophetic paradigm acts as a promising solution to the challenge of limited class knowledge in long-tailed datasets. Our code and model can be found in the supplementary material.
updated: Sun Apr 09 2023 02:02:19 GMT+0000 (UTC)
published: Sun Apr 09 2023 02:02:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト