arXiv reaDer
ファッション画像の分類とセグメンテーションのためのニューラル ネットワークのパフォーマンスに対する背景除去の影響
The Impact of Background Removal on Performance of Neural Networks for Fashion Image Classification and Segmentation
ファッションの理解はコンピュータ ビジョンの注目のテーマであり、市場では多くのアプリケーションが大きなビジネス価値を持っています。衣類、さまざまなシーン、背景が非常に多様であるため、ファッションを理解することは依然としてコンピューター ビジョンにとって難しい課題です。この作業では、データ品質を向上させ、モデルのパフォーマンスを向上させるために、ファッション画像から背景を削除しようとします。完全に見える衣服を着た明らかな人物のファッション画像があるため、顕著なオブジェクト検出を利用して、期待通りのファッション データの背景除去を達成できます。背景が削除されたファッション画像は「rembg」画像として主張され、ファッション データセット内の元の画像とは対照的です。私たちは、モデル アーキテクチャ、モデルの初期化、他のトレーニング トリックやデータ拡張との互換性、ターゲット タスクの種類など、モデル トレーニングのさまざまな側面に関して、これら 2 種類の画像を使用した広範な比較実験を実施しました。私たちの実験は、過学習の影響を受けにくい単純で浅いネットワーク内のファッション データに対して、背景の除去が効果的に機能することを示しています。モデルを最初からトレーニングする場合、FashionStyle14 データセットの分類でモデルの精度を最大 5% 向上させることができます。ただし、バックグラウンドの除去は、バッチ正規化、事前トレーニングされた初期化、ランダム性を導入するデータ拡張などの他の正則化手法と互換性がないため、ディープ ニューラル ネットワークではうまく機能しません。背景ピクセルが失われると、モデル トレーニングにおける多くの既存のトレーニング トリックが無効になり、深いモデルのオーバーフィッティングのリスクが追加されます。
Fashion understanding is a hot topic in computer vision, with many applications having great business value in the market. Fashion understanding remains a difficult challenge for computer vision due to the immense diversity of garments and various scenes and backgrounds. In this work, we try removing the background from fashion images to boost data quality and increase model performance. Having fashion images of evident persons in fully visible garments, we can utilize Salient Object Detection to achieve the background removal of fashion data to our expectations. A fashion image with the background removed is claimed as the "rembg" image, contrasting with the original one in the fashion dataset. We conducted extensive comparative experiments with these two types of images on multiple aspects of model training, including model architectures, model initialization, compatibility with other training tricks and data augmentations, and target task types. Our experiments show that background removal can effectively work for fashion data in simple and shallow networks that are not susceptible to overfitting. It can improve model accuracy by up to 5% in the classification on the FashionStyle14 dataset when training models from scratch. However, background removal does not perform well in deep neural networks due to incompatibility with other regularization techniques like batch normalization, pre-trained initialization, and data augmentations introducing randomness. The loss of background pixels invalidates many existing training tricks in the model training, adding the risk of overfitting for deep models.
updated: Tue May 07 2024 09:52:27 GMT+0000 (UTC)
published: Fri Aug 18 2023 18:18:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト