arXiv reaDer
生成推論 統合ラベルノイズ ロバストな深層画像表現学習
Generative Reasoning Integrated Label Noise Robust Deep Image Representation Learning
深層学習ベースの画像表現学習 (IRL) 手法の開発は、さまざまな画像理解問題に対して大きな注目を集めています。これらの方法のほとんどは、大量かつ高品質の注釈付きトレーニング画像を利用できる必要があるため、収集に時間とコストがかかる可能性があります。ラベル付けのコストを削減するには、クラウドソーシングされたデータ、自動ラベル付け手順、または市民科学プロジェクトを検討できます。ただし、このようなアプローチでは、トレーニング データにラベル ノイズが含まれるリスクが増加します。識別推論が使用される場合、ノイズの多いラベルに過剰適合が生じる可能性があります。これにより、学習手順が最適化されず、画像の不正確な特徴付けが行われることになります。これに対処するために、生成推論統合ラベル ノイズ ロバスト深層表現学習 (GRID) アプローチを導入します。私たちのアプローチは、ノイズの多いラベルの下で、IRL の識別推論と生成推論の相補的な特性をモデル化することを目的としています。この目的を達成するために、まず教師あり変分オートエンコーダを通じて生成推論を判別推論に統合します。これにより、GRID はノイズの多いラベルを持つトレーニング サンプルを自動的に検出できるようになります。次に、ラベル ノイズ ロバストなハイブリッド表現学習戦略を通じて、GRID は生成推論を通じてこれらのサンプルの IRL の学習手順全体を調整し、判別推論を通じて他のサンプルの IRL 学習手順全体を調整します。私たちのアプローチは、選択されている IRL メソッドとは独立して、ノイズの多いラベルの干渉を防ぎながら、識別的な画像表現を学習します。したがって、既存の手法とは異なり、GRID はアノテーションの種類、ニューラル ネットワークのアーキテクチャ、損失関数、学習タスクに依存しないため、さまざまな問題に直接利用できます。実験結果は、最先端の方法と比較してその有効性を示しています。 GRID のコードは https://github.com/gencersumbul/GRID で公開されています。
The development of deep learning based image representation learning (IRL) methods has attracted great attention for various image understanding problems. Most of these methods require the availability of a high quantity and quality of annotated training images, which can be time-consuming and costly to gather. To reduce labeling costs, crowdsourced data, automatic labeling procedures or citizen science projects can be considered. However, such approaches increase the risk of including label noise in training data. It may result in overfitting on noisy labels when discriminative reasoning is employed. This leads to sub-optimal learning procedures, and thus inaccurate characterization of images. To address this, we introduce a generative reasoning integrated label noise robust deep representation learning (GRID) approach. Our approach aims to model the complementary characteristics of discriminative and generative reasoning for IRL under noisy labels. To this end, we first integrate generative reasoning into discriminative reasoning through a supervised variational autoencoder. This allows GRID to automatically detect training samples with noisy labels. Then, through our label noise robust hybrid representation learning strategy, GRID adjusts the whole learning procedure for IRL of these samples through generative reasoning and that of other samples through discriminative reasoning. Our approach learns discriminative image representations while preventing interference of noisy labels independently from the IRL method being selected. Thus, unlike the existing methods, GRID does not depend on the type of annotation, neural network architecture, loss function or learning task, and thus can be directly utilized for various problems. Experimental results show its effectiveness compared to state-of-the-art methods. The code of GRID is publicly available at https://github.com/gencersumbul/GRID.
updated: Wed Jun 14 2023 14:12:20 GMT+0000 (UTC)
published: Fri Dec 02 2022 15:57:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト