ワーピングベースのビデオスタビライザーは、各ピクセルの変位を制限し、それに応じて不安定なフレームからスタビライズされたフレームをワープすることにより、カメラの軌道を滑らかにします。ただし、ワープ中は境界の外側のビューを使用できないため、視覚的な一貫性を維持するために、安定化されたフレームの境界の周りに生じる穴を破棄(つまり、トリミング)する必要があります。したがって、安定性とトリミング率の間のトレードオフにつながります。この論文では、新しい境界外ビュー合成(OVS)メソッドを提案することにより、この問題に対処する最初の試みを行います。隣接するフレーム間および各フレーム内の空間コヒーレンスの性質により、OVSは、隣接するフレームを各参照フレームに位置合わせすることにより、境界外のビューを推定します。技術的には、最初にオプティカルフローを計算し、親和性に従って外側の境界領域に伝播し、それに応じてピクセルをワープします。 OVSは、プラグアンドプレイモジュールとして既存のワーピングベースのスタビライザーに統合して、安定化された結果のトリミング率を大幅に向上させることができます。また、トリミングやサイズ変更によるジッタ増幅効果が低減されるため、安定性が向上します。 NUSベンチマークの実験結果は、OVSが客観的な指標と主観的な視覚品質の観点から5つの代表的な最先端の方法のパフォーマンスを向上させることができることを示しています。コードはhttps://github.com/Annbless/OVS_Stabilizationで公開されています。
Warping-based video stabilizers smooth camera trajectory by constraining each pixel's displacement and warp stabilized frames from unstable ones accordingly. However, since the view outside the boundary is not available during warping, the resulting holes around the boundary of the stabilized frame must be discarded (i.e., cropping) to maintain visual consistency, and thus does leads to a tradeoff between stability and cropping ratio. In this paper, we make a first attempt to address this issue by proposing a new Out-of-boundary View Synthesis (OVS) method. By the nature of spatial coherence between adjacent frames and within each frame, OVS extrapolates the out-of-boundary view by aligning adjacent frames to each reference one. Technically, it first calculates the optical flow and propagates it to the outer boundary region according to the affinity, and then warps pixels accordingly. OVS can be integrated into existing warping-based stabilizers as a plug-and-play module to significantly improve the cropping ratio of the stabilized results. In addition, stability is improved because the jitter amplification effect caused by cropping and resizing is reduced. Experimental results on the NUS benchmark show that OVS can improve the performance of five representative state-of-the-art methods in terms of objective metrics and subjective visual quality. The code is publicly available at https://github.com/Annbless/OVS_Stabilization.