arXiv reaDer
WAS-VTON:仮想試着ネットワークのワーピングアーキテクチャ検索
WAS-VTON: Warping Architecture Search for Virtual Try-on Network
画像ベースの仮想試着の最近の進歩にもかかわらず、現在の方法は共有ワーピングネットワークによる制約であり、したがって、異なるワーピング操作を必要とする衣類カテゴリーに直面した場合、自然な試着結果を合成することができません。この論文では、Neural Architecture Search(NAS)を介して、仮想試着タスク用の衣類カテゴリ固有のワーピングネットワークを見つけることにより、この問題に対処します。 NASワーピングモジュールを紹介し、2レベルの階層検索スペースを入念に設計して、最適なネットワークレベルおよび操作レベルのフロー推定アーキテクチャを特定します。さまざまな数のワーピングブロックを含むネットワークレベルの検索スペースと、さまざまな畳み込み操作を伴う操作レベルの検索スペースを前提として、繰り返し可能なワーピングセルと、特に衣服と人の位置合わせのための畳み込み操作の組み合わせを共同で学習します。さらに、NAS-Fusion Moduleは、より自然な最終試着結果を合成するために提案されています。これは、特定のスキップ接続を活用して、ゆがんだ衣服と変化のない人の部分をシームレスに融合するために必要な、より融合した機能を生成することによって実現されます。上記の2つのモジュールを検索するために、効率的で安定したワンショット検索戦略を採用しています。広範な実験により、WAS-VTONは、以前の固定アーキテクチャの試着方法を大幅に上回り、より自然なワーピング結果と仮想試着結果が得られることが実証されています。
Despite recent progress on image-based virtual try-on, current methods are constraint by shared warping networks and thus fail to synthesize natural try-on results when faced with clothing categories that require different warping operations. In this paper, we address this problem by finding clothing category-specific warping networks for the virtual try-on task via Neural Architecture Search (NAS). We introduce a NAS-Warping Module and elaborately design a bilevel hierarchical search space to identify the optimal network-level and operation-level flow estimation architecture. Given the network-level search space, containing different numbers of warping blocks, and the operation-level search space with different convolution operations, we jointly learn a combination of repeatable warping cells and convolution operations specifically for the clothing-person alignment. Moreover, a NAS-Fusion Module is proposed to synthesize more natural final try-on results, which is realized by leveraging particular skip connections to produce better-fused features that are required for seamlessly fusing the warped clothing and the unchanged person part. We adopt an efficient and stable one-shot searching strategy to search the above two modules. Extensive experiments demonstrate that our WAS-VTON significantly outperforms the previous fixed-architecture try-on methods with more natural warping results and virtual try-on results.
updated: Sun Aug 01 2021 07:52:56 GMT+0000 (UTC)
published: Sun Aug 01 2021 07:52:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト