arXiv reaDer
ロングテール学習のための特徴と分類子間の角度情報の活用: 予測再定式化アプローチ
Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach
ディープ ニューラル ネットワークは、ロングテール画像データセットで依然として苦労しています。その理由の 1 つは、カテゴリ間のトレーニング データの不均衡が、トレーニング済みモデル パラメーターの不均衡につながることです。訓練された分類子がヘッドクラスでより大きな重みノルムを生み出すという経験的発見に動機付けられて、分類子の重みを再調整することなく、角度を介して認識確率を再定式化することを提案します。具体的には、データの特徴とクラスごとの分類子の重みの間の角度を計算して、角度ベースの予測結果を取得します。予測形式の再定式化のパフォーマンスの向上と、広く使用されている 2 段階の学習フレームワークの優れたパフォーマンスに触発されて、この角度予測のさまざまな特性を調査し、フレームワーク内のさまざまなコンポーネントのパフォーマンスを向上させる新しいモジュールを提案します。私たちの方法は、CIFAR10/100-LT と ImageNet-LT で事前トレーニングを行うことなく、ピア メソッドの中で最高のパフォーマンスを得ることができます。ソースコードは公開されます。
Deep neural networks still struggle on long-tailed image datasets, and one of the reasons is that the imbalance of training data across categories leads to the imbalance of trained model parameters. Motivated by the empirical findings that trained classifiers yield larger weight norms in head classes, we propose to reformulate the recognition probabilities through included angles without re-balancing the classifier weights. Specifically, we calculate the angles between the data feature and the class-wise classifier weights to obtain angle-based prediction results. Inspired by the performance improvement of the predictive form reformulation and the outstanding performance of the widely used two-stage learning framework, we explore the different properties of this angular prediction and propose novel modules to improve the performance of different components in the framework. Our method is able to obtain the best performance among peer methods without pretraining on CIFAR10/100-LT and ImageNet-LT. Source code will be made publicly available.
updated: Sat Dec 03 2022 07:52:48 GMT+0000 (UTC)
published: Sat Dec 03 2022 07:52:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト