ロトスコーピングやオブジェクトの削除などの多くのビデオ編集タスクでは、フレーム間でコンテキストを伝播する必要があります。機能をグローバルに集約するトランスフォーマーやその他の注意に基づくアプローチは、キーフレームからビデオ全体にオブジェクトマスクを伝播するのに大きな成功を収めていますが、テクスチャなどの高周波の詳細を忠実に伝播するのに苦労しています。これは、低周波機能に対するグローバルな注目の固有のバイアスによるものであると仮定します。この制限を克服するために、高周波機能がローカルで相互作用し、低周波数機能がグローバルで相互作用する2ストリームアプローチを提示します。グローバルインタラクションストリームは、明示的な位置合わせが失敗する大きなカメラの動きなどの困難な状況でも堅牢なままです。ローカル相互作用ストリームは、変形可能な特徴の集約を通じて高周波の詳細を伝播し、グローバル相互作用ストリームによって通知されて、変形フィールドのエラーを検出して修正することを学習します。インペインティングタスクの2ストリームアプローチを評価します。実験では、画像のインペインティングに必要な単一フレーム内のフィーチャの伝播と、キーフレームからターゲットフレームへの伝播の両方が改善されることが示されています。ビデオインペインティングに適用すると、私たちのアプローチはFIDおよびLPIPSスコアの44%および26%の改善につながります。 https://github.com/runwayml/guided-inpaintingのコード
Many video editing tasks such as rotoscoping or object removal require the propagation of context across frames. While transformers and other attention-based approaches that aggregate features globally have demonstrated great success at propagating object masks from keyframes to the whole video, they struggle to propagate high-frequency details such as textures faithfully. We hypothesize that this is due to an inherent bias of global attention towards low-frequency features. To overcome this limitation, we present a two-stream approach, where high-frequency features interact locally and low-frequency features interact globally. The global interaction stream remains robust in difficult situations such as large camera motions, where explicit alignment fails. The local interaction stream propagates high-frequency details through deformable feature aggregation and, informed by the global interaction stream, learns to detect and correct errors of the deformation field. We evaluate our two-stream approach for inpainting tasks, where experiments show that it improves both the propagation of features within a single frame as required for image inpainting, as well as their propagation from keyframes to target frames. Applied to video inpainting, our approach leads to 44% and 26% improvements in FID and LPIPS scores. Code at https://github.com/runwayml/guided-inpainting