自動ポートレートビデオマットは、制約が不十分な問題です。ほとんどの最先端の方法は、セマンティック情報を活用し、各フレームを個別に処理するだけです。フレーム間の時間情報が不足しているため、パフォーマンスが低下します。この問題を解決するために、セマンティック情報とモーション情報を活用するコンテキストモーションネットワークを提案します。モーション情報をキャプチャするために、オプティカルフローを推定し、フレーム間の機能を繰り返し統合するコンテキストモーション更新演算子を設計します。私たちの実験は、私たちのネットワークがVideo240KSDデータセットで最先端のマット手法を大幅に上回っていることを示しています。
Automatic portrait video matting is an under-constrained problem. Most state-of-the-art methods only exploit the semantic information and process each frame individually. Their performance is compromised due to the lack of temporal information between the frames. To solve this problem, we propose the context motion network to leverage semantic information and motion information. To capture the motion information, we estimate the optical flow and design a context-motion updating operator to integrate features between frames recurrently. Our experiments show that our network outperforms state-of-the-art matting methods significantly on the Video240K SD dataset.