arXiv reaDer
HyperCon:ビデオからビデオへの変換タスクのための画像からビデオへのモデル転送
HyperCon: Image-To-Video Model Transfer for Video-To-Video Translation Tasks
ビデオからビデオへの変換は、時間的一貫性の問題のため、画像から画像への変換よりも困難です。これは、対処しないと、気が散るちらつき効果につながるためです。ゼロから設計されたビデオモデルは時間的に一貫した結果を生成しますが、画像モデルによってキャプチャされた膨大な視覚的知識に一致するようにそれらをトレーニングするには、膨大な数のビデオが必要です。画像モデルとビデオモデルの利点を組み合わせるために、十分にトレーニングされた画像モデルを微調整せずに時間的に一貫性のあるビデオモデルに変換するHyperconsistency(HyperCon)と呼ばれる画像からビデオへのモデル転送方法を提案します。 HyperConは、時間的に補間されたビデオをフレームごとに変換してから、補間されたビデオの時間的にローカライズされたウィンドウ上で集約することによって機能します。マスクされた入力とマスクされていない入力の両方を処理し、以前の画像からビデオへのモデル転送技術よりもさらに多くのビデオからビデオへの変換タスクのサポートを可能にします。 HyperConについて、ビデオスタイルの転送と修復について説明します。HyperConは、単一の定型化されたビデオや不完全なビデオのトレーニングを行わなくても、以前の最先端の方法と比較して良好に機能します。私たちのプロジェクトのウェブサイトはhttps://ryanszeto.com/projects/hyperconで利用できます。
Video-to-video translation is more difficult than image-to-image translation due to the temporal consistency problem that, if unaddressed, leads to distracting flickering effects. Although video models designed from scratch produce temporally consistent results, training them to match the vast visual knowledge captured by image models requires an intractable number of videos. To combine the benefits of image and video models, we propose an image-to-video model transfer method called Hyperconsistency (HyperCon) that transforms any well-trained image model into a temporally consistent video model without fine-tuning. HyperCon works by translating a temporally interpolated video frame-wise and then aggregating over temporally localized windows on the interpolated video. It handles both masked and unmasked inputs, enabling support for even more video-to-video translation tasks than prior image-to-video model transfer techniques. We demonstrate HyperCon on video style transfer and inpainting, where it performs favorably compared to prior state-of-the-art methods without training on a single stylized or incomplete video. Our project website is available at https://ryanszeto.com/projects/hypercon .
updated: Tue Nov 10 2020 16:18:34 GMT+0000 (UTC)
published: Tue Dec 10 2019 19:47:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト