arXiv reaDer
PoshakNet:GANとSiamese Networkを使用して、実際の写真からドレスを照合するためのフレームワーク
PoshakNet: Framework for matching dresses from real-life photos using GAN and Siamese Network
 オンライン衣料品の買い物は、近年多くの顧客を獲得しています。キーワードを使用してドレスを説明しても、常に適切な結果が得られるとは限らないため、顧客の不満につながります。視覚検索ベースのシステムは、業界にとって非常に有益です。そのため、画像で見つけることができる類似の衣服を取得できるフレームワークを提案します。最初のタスクは、入力画像(ストリートフォト)から衣服を抽出することです。これには、ポーズ、照明、背景の乱雑さなど、さまざまな課題があります。画像に写っている人が着ていた衣服を検索するタスクに、Generative Adversarial Networkを使用します。 GANは、ストリート写真の課題にもかかわらず、非常に効率的に衣服を取得できることが示されています。最後に、シャムベースのマッチングシステムが取得した布の画像を取得し、それをデータセット内の服と照合し、上位kの照合を提供します。事前に訓練されたインセプション-ResNet v1モジュールをシャムネットワーク(顔検出のためにトリプレットロスを使用してトレーニング)として取得し、センターロスを使用してショッピングデータセットで微調整します。データセットは社内で収集されています。 GANのトレーニングには、一般公開されているLookBookデータセットを使用します。
Online garment shopping has gained many customers in recent years. Describing a dress using keywords does not always yield the proper results, which in turn leads to dissatisfaction of customers. A visual search based system will be enormously beneficent to the industry. Hence, we propose a framework that can retrieve similar clothes that can be found in an image. The first task is to extract the garment from the input image (street photo). There are various challenges for that, including pose, illumination, and background clutter. We use a Generative Adversarial Network for the task of retrieving the garment that the person in the image was wearing. It has been shown that GAN can retrieve the garment very efficiently despite the challenges of street photos. Finally, a siamese based matching system takes the retrieved cloth image and matches it with the clothes in the dataset, giving us the top k matches. We take a pre-trained inception-ResNet v1 module as a siamese network (trained using triplet loss for face detection) and fine-tune it on the shopping dataset using center loss. The dataset has been collected inhouse. For training the GAN, we use the LookBook dataset, which is publically available.
updated: Mon Nov 11 2019 13:17:01 GMT+0000 (UTC)
published: Mon Nov 11 2019 13:17:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト