半教師ありビデオオブジェクトセグメンテーション(VOS)は、ビデオシーケンス内のいくつかの移動オブジェクトをセグメント化することを目的としています。これらのオブジェクトは、最初のフレームの注釈によって指定されます。オプティカルフローは、セグメンテーションの精度を向上させるために、多くの既存の半教師ありVOSメソッドで考慮されています。ただし、オプティカルフローの推定は非常に複雑であるため、オプティカルフローベースの半教師ありVOSメソッドをリアルタイムで実行することはできません。本研究では、上記の問題に対処するために、特徴抽出ネットワーク(F)、外観ネットワーク(A)、モーションネットワーク(M)、統合ネットワーク(I)で構成されるFAMINetを提案します。外観ネットワークは、オブジェクトの静的な外観に基づいて初期セグメンテーション結果を出力します。モーションネットワークは、非常に少数のパラメータを介してオプティカルフローを推定します。これらのパラメータは、緩和された最急降下法と呼ばれるオンライン記憶アルゴリズムによって迅速に最適化されます。統合ネットワークは、オプティカルフローを使用して初期セグメンテーション結果を改良します。広範な実験により、FAMINetはDAVISおよびYouTube-VOSベンチマークで他の最先端の半教師ありVOS手法よりも優れており、精度と効率の間で適切なトレードオフを実現していることが示されています。私たちのコードはhttps://github.com/liuziyang123/FAMINetで入手できます。
Semi-supervised video object segmentation (VOS) aims to segment a few moving objects in a video sequence, where these objects are specified by annotation of first frame. The optical flow has been considered in many existing semi-supervised VOS methods to improve the segmentation accuracy. However, the optical flow-based semi-supervised VOS methods cannot run in real time due to high complexity of optical flow estimation. A FAMINet, which consists of a feature extraction network (F), an appearance network (A), a motion network (M), and an integration network (I), is proposed in this study to address the abovementioned problem. The appearance network outputs an initial segmentation result based on static appearances of objects. The motion network estimates the optical flow via very few parameters, which are optimized rapidly by an online memorizing algorithm named relaxed steepest descent. The integration network refines the initial segmentation result using the optical flow. Extensive experiments demonstrate that the FAMINet outperforms other state-of-the-art semi-supervised VOS methods on the DAVIS and YouTube-VOS benchmarks, and it achieves a good trade-off between accuracy and efficiency. Our code is available at https://github.com/liuziyang123/FAMINet.