arXiv reaDer
深い Average-K 分類用の 2 ヘッド損失関数
A two-head loss function for deep Average-K classification
平均 K 分類は、返されるラベルの数が入力画像のあいまいさによって変化するトップ K 分類の代替手段ですが、すべてのサンプルで K に平均化する必要があります。このタスクを解決する簡単な方法は、クロスエントロピー損失でトレーニングされたモデルのソフトマックス出力にしきい値を設定することです。このアプローチは漸近的に一貫性があることが理論的に証明されていますが、サンプルの有限セットに対して最適であるとは限りません。この論文では、古典的なソフトマックスに加えて、マルチラベル分類ヘッドに基づく新しい損失関数を提案します。この 2 番目のヘッドは、softmax ヘッドをしきい値処理することによって生成された疑似ラベルを使用してトレーニングされますが、平均して K 個のクラスが返されることが保証されます。このアプローチにより、モデルがクラス間のあいまいさをより適切に捉え、その結果、可能なクラスのより一貫したセットを返すことができることを示します。文献からの 2 つのデータセットでの実験は、私たちのアプローチがソフトマックス ベースラインよりも優れていることを示しています。特にサンプル数の少ないクラスでは、不確実性が高いほどゲインが大きくなります。
Average-K classification is an alternative to top-K classification in which the number of labels returned varies with the ambiguity of the input image but must average to K over all the samples. A simple method to solve this task is to threshold the softmax output of a model trained with the cross-entropy loss. This approach is theoretically proven to be asymptotically consistent, but it is not guaranteed to be optimal for a finite set of samples. In this paper, we propose a new loss function based on a multi-label classification head in addition to the classical softmax. This second head is trained using pseudo-labels generated by thresholding the softmax head while guaranteeing that K classes are returned on average. We show that this approach allows the model to better capture ambiguities between classes and, as a result, to return more consistent sets of possible classes. Experiments on two datasets from the literature demonstrate that our approach outperforms the softmax baseline, as well as several other loss functions more generally designed for weakly supervised multi-label classification. The gains are larger the higher the uncertainty, especially for classes with few samples.
updated: Fri Mar 31 2023 15:04:53 GMT+0000 (UTC)
published: Fri Mar 31 2023 15:04:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト