このホワイトペーパーでは、ユーザーが注釈用のフレームを繰り返し選択できる、実際のインタラクティブビデオオブジェクトセグメンテーション(VOS)のフレームワークを提案します。次に、ユーザーの注釈に基づいて、セグメンテーションアルゴリズムがマスクを改良します。以前のインタラクティブVOSパラダイムは、評価メトリックが最悪のフレームを選択します。評価メトリックの計算にはグラウンドトゥルースが必要ですが、これはテストフェーズでは実用的ではありません。対照的に、このペーパーでは、評価メトリックが最悪のフレームが、ビデオ全体で最もパフォーマンスの向上につながる最も価値のあるフレームではない可能性があることを提唱します。したがって、対話型VOSのフレーム選択問題をマルコフ決定過程として定式化します。このプロセスでは、エージェントは、深層強化学習フレームワークの下でフレームを推奨するように学習されます。学習したエージェントは、最も価値のあるフレームを自動的に決定できるため、インタラクティブな設定が実際に実用的になります。公開データセットでの実験結果は、基礎となるVOSアルゴリズムに変更を加えることなく、学習したエージェントの有効性を示しています。データ、コード、モデルはhttps://github.com/svip-lab/IVOS-Wで入手できます。
This paper proposes a framework for the interactive video object segmentation (VOS) in the wild where users can choose some frames for annotations iteratively. Then, based on the user annotations, a segmentation algorithm refines the masks. The previous interactive VOS paradigm selects the frame with some worst evaluation metric, and the ground truth is required for calculating the evaluation metric, which is impractical in the testing phase. In contrast, in this paper, we advocate that the frame with the worst evaluation metric may not be exactly the most valuable frame that leads to the most performance improvement across the video. Thus, we formulate the frame selection problem in the interactive VOS as a Markov Decision Process, where an agent is learned to recommend the frame under a deep reinforcement learning framework. The learned agent can automatically determine the most valuable frame, making the interactive setting more practical in the wild. Experimental results on the public datasets show the effectiveness of our learned agent without any changes to the underlying VOS algorithms. Our data, code, and models are available at https://github.com/svip-lab/IVOS-W.