リアルタイムのセマンティックビデオセグメンテーションでは、最新の作品では、キースケジューラを備えた動的なフレームワークを使用して、オンラインのキー/非キーの決定を行いました。一部の研究では固定キースケジューリングポリシーを使用しましたが、他の研究ではヒューリスティック戦略に基づく適応型キースケジューリング手法を提案しましたが、どちらも準最適なグローバルパフォーマンスにつながる可能性があります。この制限を克服するために、ダイナミックビデオセグメンテーションのオンラインキー決定プロセスを深層強化学習問題としてモデル化し、決定履歴に関する専門家の情報とグローバルリターンを最大化するプロセスから効率的かつ効果的なスケジューリングポリシーを学習します。さらに、これまでに調査されていない分野である顔ビデオへの動的なビデオセグメンテーションの適用を研究しています。 300VWデータセットを評価することにより、強化キースケジューラのパフォーマンスが、効果的なキーの選択と実行速度の両方の点で、さまざまなベースラインのパフォーマンスを上回ることを示しています。 Cityscapesデータセットのさらなる結果は、提案された方法が他のシナリオにも一般化できることを示しています。私たちの知る限り、これは動的なビデオセグメンテーションでオンラインキーフレーム決定に強化学習を使用する最初の作業であり、顔ビデオでのアプリケーションの最初の作業でもあります。
For real-time semantic video segmentation, most recent works utilised a dynamic framework with a key scheduler to make online key/non-key decisions. Some works used a fixed key scheduling policy, while others proposed adaptive key scheduling methods based on heuristic strategies, both of which may lead to suboptimal global performance. To overcome this limitation, we model the online key decision process in dynamic video segmentation as a deep reinforcement learning problem and learn an efficient and effective scheduling policy from expert information about decision history and from the process of maximising global return. Moreover, we study the application of dynamic video segmentation on face videos, a field that has not been investigated before. By evaluating on the 300VW dataset, we show that the performance of our reinforcement key scheduler outperforms that of various baselines in terms of both effective key selections and running speed. Further results on the Cityscapes dataset demonstrate that our proposed method can also generalise to other scenarios. To the best of our knowledge, this is the first work to use reinforcement learning for online key-frame decision in dynamic video segmentation, and also the first work on its application on face videos.