ディープニューラルネットワークは、ソフトマックスクロスエントロピー(CE)損失が事実上の目的関数として出現するなど、さまざまな分類タスクで優れたパフォーマンスを実現しています。 CEの損失により、クラスの機能は、負のクラスと比較して、真のクラスベクトルでより高い予測スコアを持つようになります。ただし、これは相対的な制約であり、異なるクラスの機能を明示的に分離することを強制するものではありません。 CE損失のグラウンドトゥルースクラス表現が直交している(ワンホットエンコードされたベクトル)という観察に動機付けられて、特徴空間に直交性を課す「正射影損失」(OPL)と呼ばれる新しい損失関数を開発します。 OPLは、CE損失の特性を強化し、ミニバッチレベルの直交性制約を通じて、特徴空間でのクラス内クラスタリングとともにクラス間分離を直接実施します。 CEの他の代替案と比較して、OPLは独自の利点を提供します。たとえば、追加の学習可能なパラメーターがなく、注意深いネガティブマイニングを必要とせず、バッチサイズに影響されません。 OPLのプラグアンドプレイの性質を考慮して、画像認識(CIFAR-100)、大規模分類(ImageNet)、ドメイン一般化(PACS)、少数ショット学習(miniImageNet、 CIFAR-FS、tiered-ImageNetおよびMeta-dataset)であり、その有効性を全面的に示しています。さらに、OPLは、敵対的な攻撃やラベルノイズなどの実際的な迷惑行為に対してより優れた堅牢性を提供します。コードはhttps://github.com/kahnchana/oplで入手できます。
Deep neural networks have achieved remarkable performance on a range of classification tasks, with softmax cross-entropy (CE) loss emerging as the de-facto objective function. The CE loss encourages features of a class to have a higher projection score on the true class-vector compared to the negative classes. However, this is a relative constraint and does not explicitly force different class features to be well-separated. Motivated by the observation that ground-truth class representations in CE loss are orthogonal (one-hot encoded vectors), we develop a novel loss function termed `Orthogonal Projection Loss' (OPL) which imposes orthogonality in the feature space. OPL augments the properties of CE loss and directly enforces inter-class separation alongside intra-class clustering in the feature space through orthogonality constraints on the mini-batch level. As compared to other alternatives of CE, OPL offers unique advantages e.g., no additional learnable parameters, does not require careful negative mining and is not sensitive to the batch size. Given the plug-and-play nature of OPL, we evaluate it on a diverse range of tasks including image recognition (CIFAR-100), large-scale classification (ImageNet), domain generalization (PACS) and few-shot learning (miniImageNet, CIFAR-FS, tiered-ImageNet and Meta-dataset) and demonstrate its effectiveness across the board. Furthermore, OPL offers better robustness against practical nuisances such as adversarial attacks and label noise. Code is available at: https://github.com/kahnchana/opl.