参照エグザンプラの色を効果的に調査し、それらを伝播して各フレームに色を付ける方法は、エグザンプラに基づくビデオの色付けに不可欠です。このホワイト ペーパーでは、効果的な BiSTNet を提示して、参照見本の色を調査し、それらを利用して、セマンティック イメージ プライアのガイダンスを使用した双方向の時間的特徴融合によるビデオの色付けを支援します。まず、深層特徴空間内の各フレームと参照標本の間のセマンティック対応を確立して、参照標本からの色情報を調べます。次に、参照標本の色を各フレームに適切に伝播し、標本からの不正確な一致色を回避するために、各フレームをより適切に色付けするためのシンプルで効果的な双方向時間的特徴融合モジュールを開発します。通常、ビデオ内の重要なオブジェクトの境界の周りに色にじみのあるアーティファクトが存在することに注意してください。この問題を克服するために、フレームのオブジェクト境界をモデル化するためのセマンティック情報を抽出する混合エキスパート ブロックをさらに開発し、セマンティック イメージ プライアがカラー化プロセスをより適切にガイドしてパフォーマンスを向上させます。さらに、マルチスケールの再帰ブロックを開発して、粗いものから細かいものへと段階的にフレームを色付けします。広範な実験結果は、提案された BiSTNet がベンチマーク データセットの最先端の方法に対して有利に機能することを示しています。私たちのコードは、https://yyang181.github.io/BiSTNet/ で利用できるようになります。
How to effectively explore the colors of reference exemplars and propagate them to colorize each frame is vital for exemplar-based video colorization. In this paper, we present an effective BiSTNet to explore colors of reference exemplars and utilize them to help video colorization by a bidirectional temporal feature fusion with the guidance of semantic image prior. We first establish the semantic correspondence between each frame and the reference exemplars in deep feature space to explore color information from reference exemplars. Then, to better propagate the colors of reference exemplars into each frame and avoid the inaccurate matches colors from exemplars we develop a simple yet effective bidirectional temporal feature fusion module to better colorize each frame. We note that there usually exist color-bleeding artifacts around the boundaries of the important objects in videos. To overcome this problem, we further develop a mixed expert block to extract semantic information for modeling the object boundaries of frames so that the semantic image prior can better guide the colorization process for better performance. In addition, we develop a multi-scale recurrent block to progressively colorize frames in a coarse-to-fine manner. Extensive experimental results demonstrate that the proposed BiSTNet performs favorably against state-of-the-art methods on the benchmark datasets. Our code will be made available at https://yyang181.github.io/BiSTNet/