arXiv reaDer
Class-Based Styling: Real-time Localized Style Transfer with Semantic Segmentation
  さまざまなオブジェクトクラスのさまざまなスタイルをリアルタイムでマッピングできるClass-Based Styling Method(CBS)を提案します。 CBSは、2つのステップを同時に実行することにより、リアルタイムのパフォーマンスを実現します。セマンティックセグメンテーションメソッドを使用してビデオフレーム内の各オブジェクトクラスのマスクを取得しますが、スタイリングメソッドを使用してそのフレームをグローバルにスタイル設定します。次に、セグメンテーションマスクとスタイル設定された画像を組み合わせて、オブジェクトクラスをスタイル設定できます。また、ユーザーは複数のスタイルを選択して、異なるオブジェクトクラスが単一のフレームで異なるスタイルを持つことができます。セマンティックセグメンテーションでは、高い精度を達成しながらDAFNetを活用しますが、パラメータは760万個であり、104 FPSで実行されます。スタイル転送ステップでは、Johnson et al。によって提案された一般的なリアルタイム手法を使用します。 [7]。 CityScapesデータセットのビデオでCBSを評価し、さまざまなオブジェクトクラスとリアルタイムパフォーマンスの高品質なローカライズスタイル転送結果を観察しました。
We propose a Class-Based Styling method (CBS) that can map different styles for different object classes in real-time. CBS achieves real-time performance by carrying out two steps simultaneously. While a semantic segmentation method is used to obtain the mask of each object class in a video frame, a styling method is used to style that frame globally. Then an object class can be styled by combining the segmentation mask and the styled image. The user can also select multiple styles so that different object classes can have different styles in a single frame. For semantic segmentation, we leverage DABNet that achieves high accuracy, yet only has 0.76 million parameters and runs at 104 FPS. For the style transfer step, we use a popular real-time method proposed by Johnson et al. [7]. We evaluated CBS on a video of the CityScapes dataset and observed high-quality localized style transfer results for different object classes and real-time performance.
updated: Fri Aug 30 2019 04:08:15 GMT+0000 (UTC)
published: Fri Aug 30 2019 04:08:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト