arXiv reaDer
スパース インタラクティブ ガイダンスによる領域認識ポートレート レタッチ
Region-Aware Portrait Retouching with Sparse Interactive Guidance
ポートレートのレタッチは、入力されたポートレート写真の美的品質を向上させることを目的としており、特に人物領域の優先度が必要です。ディープラーニングベースの方法は、レタッチ効率を大幅に高め、有望なレタッチ結果を提供します。ただし、既存のポートレート レタッチ方法は自動レタッチに重点を置いており、すべての人間の領域を同等に扱い、特定の個人に対するユーザーの好みを無視するため、インタラクティブなシナリオでの柔軟性が制限されています。この作業では、ユーザーの意図の重要性を強調し、インタラクティブなポートレート レタッチ タスクを探ります。具体的には、自動ブランチとインタラクティブ ブランチの 2 つのブランチを持つ領域対応レタッチ フレームワークを提案します。自動分岐には、領域候補を検索し、ユーザーの指示なしで自動領域認識レタッチを実行するエンコード/デコード プロセスが含まれます。インタラクティブ ブランチは、まばらなユーザー ガイダンスを優先条件ベクトルにエンコードし、領域選択モジュールで潜在的な特徴を調整して、ユーザー指定の領域をさらに強調します。実験結果は、私たちのインタラクティブブランチがユーザーの意図を効果的に捉え、まばらなユーザーガイダンスで目に見えないシーンにうまく一般化することを示しています.
Portrait retouching aims to improve the aesthetic quality of input portrait photos and especially requires human-region priority. The deep learning-based methods largely elevate the retouching efficiency and provide promising retouched results. However, existing portrait retouching methods focus on automatic retouching, which treats all human-regions equally and ignores users' preferences for specific individuals, thus suffering from limited flexibility in interactive scenarios. In this work, we emphasize the importance of users' intents and explore the interactive portrait retouching task. Specifically, we propose a region-aware retouching framework with two branches: an automatic branch and an interactive branch. The automatic branch involves an encoding-decoding process, which searches region candidates and performs automatic region-aware retouching without user guidance. The interactive branch encodes sparse user guidance into a priority condition vector and modulates latent features with a region selection module to further emphasize the user-specified regions. Experimental results show that our interactive branch effectively captures users' intents and generalizes well to unseen scenes with sparse user guidance, while our automatic branch also outperforms the state-of-the-art retouching methods due to improved region-awareness.
updated: Sat Apr 08 2023 14:19:39 GMT+0000 (UTC)
published: Sat Apr 08 2023 14:19:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト