arXiv reaDer
事前にトレーニングされた知覚メトリックを活用したスタイル転送効果のツールおよびドメインにとらわれないパラメータ化
Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics
スタイル転送の現在の深層学習手法は、「ワンショット」転送が探索的設計プロセスに適合しないため、設計サポートには最適ではありません。このギャップを克服するために、既存のコンテンツ編集ツールで利用可能な特定の変換のパラメーター値にエンドツーエンドのスタイル転送効果を転記するパラメトリック転記を提案します。このアプローチを使用すると、ユーザーは使い慣れたツールで参照サンプルのスタイルを模倣できるため、パラメーターを操作することで、さらに調査を簡単に続けることができます。これを可能にするために、スタイル転送に既存の事前トレーニング済みモデルを利用して参照サンプルまでの知覚スタイル距離を計算し、ブラックボックス最適化を使用してこの距離を最小化するパラメーターを見つけるフレームワークを導入します。 InstagramやBlenderなどのさまざまなサードパーティツールを使用した実験では、フレームワークが計算設計サポートのためにディープラーニング技術を効果的に活用できることが示されています。
Current deep learning techniques for style transfer would not be optimal for design support since their "one-shot" transfer does not fit exploratory design processes. To overcome this gap, we propose parametric transcription, which transcribes an end-to-end style transfer effect into parameter values of specific transformations available in an existing content editing tool. With this approach, users can imitate the style of a reference sample in the tool that they are familiar with and thus can easily continue further exploration by manipulating the parameters. To enable this, we introduce a framework that utilizes an existing pretrained model for style transfer to calculate a perceptual style distance to the reference sample and uses black-box optimization to find the parameters that minimize this distance. Our experiments with various third-party tools, such as Instagram and Blender, show that our framework can effectively leverage deep learning techniques for computational design support.
updated: Wed May 19 2021 15:39:10 GMT+0000 (UTC)
published: Wed May 19 2021 15:39:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト