arXiv reaDer
コヒーレントで制御可能な衣装の生成
Coherent and Controllable Outfit Generation
 自分で服を着ることを考えるとき、人々はしばしば熱帯の休暇に行くか、カクテルパーティーで魅力的に見えることを望むかどうかを念頭に置いています。便利な衣装生成システムは、ユーザーが指定したテーマに適合しながら互換性のある衣料品を作成する必要があります。既存の方法では、製品間のアイテムごとの互換性を使用していますが、グローバルな制約(スタイル、機会など)を実施する効果的な方法がありません。テキストクエリで記述されたテーマに一致するアイテムを持つ衣装を生成する方法を紹介します。この方法では、テキストと画像の埋め込みを使用してファッションアイテムを表します。アイテムの画像表現がテキスト表現に近いマルチモーダル埋め込みを学習し、この埋め込みを使用してアイテムとクエリの一貫性を測定します。次に、識別器を使用して、ファッションアイテム間の互換性を計算します。この戦略は、最新技術を満たすかそれを超える互換性予測方法を生み出します。このメソッドは、アイテムとアイテムの互換性とアイテムとクエリの一貫性を組み合わせて、アイテムが(a)クエリに近く、(b)互いに互換性のある衣装を構築します。定量的評価は、私たちの服装のアイテムが標準的な服装と比較して密集していることを示しています。さらに、同様のクエリによって生成される衣装は互いに近く、非常に異なるクエリによって生成される衣装は遠く離れています。定性的評価は、このメソッドがクエリによく応答することを示しています。ユーザー調査では、クエリと、この方法で生成された衣装との一致を人々が理解していることが示唆されています。
When thinking about dressing oneself, people often have a theme in mind whether they're going to a tropical getaway or wish to appear attractive at a cocktail party. A useful outfit generation system should come up with clothing items that are compatible while matching a theme specified by the user. Existing methods use item-wise compatibility between products but lack an effective way to enforce a global constraint (e.g., style, occasion). We introduce a method that generates outfits whose items match a theme described by a text query. Our method uses text and image embeddings to represent fashion items. We learn a multimodal embedding where the image representation for an item is close to its text representation, and use this embedding to measure item-query coherence. We then use a discriminator to compute compatibility between fashion items. This strategy yields a compatibility prediction method that meets or exceeds the state of the art. Our method combines item-item compatibility and item-query coherence to construct an outfit whose items are (a) close to the query and (b) compatible with one another. Quantitative evaluation shows that the items in our outfits are tightly clustered compared to standard outfits. Furthermore, outfits produced by similar queries are close to one another, and outfits produced by very different queries are far apart. Qualitative evaluation shows that our method responds well to queries. A user study suggests that people understand the match between the queries and the outfits produced by our method.
updated: Sat Nov 16 2019 21:26:04 GMT+0000 (UTC)
published: Mon Jun 17 2019 21:12:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト