arXiv reaDer
FAB: A Robust Facial Landmark Detection Framework for Motion-Blurred Videos
  最近、顔のランドマーク検出アルゴリズムは、静止画像で顕著なパフォーマンスを達成しました。ただし、これらのアルゴリズムは、モーションブラービデオでは正確でも安定でもありません。構造情報が欠落しているため、最先端の顔のランドマーク検出アルゴリズムが良好な結果を得ることが困難になります。この論文では、モーションブラービデオで顔のランドマークを検出するための時間的次元の構造の一貫性を活用するFABという名前のフレームワークを提案します。失われた顔の構造情報を一時的に予測するために、構造予測子が提案されます。これは、事前のジオメトリとして機能します。これにより、フレームワークを好循環として機能させることができます。一方で、ジオメトリ事前定義は、構造を認識したブレ除去ネットワークがランドマークの検出結果を向上させる高品質のブレ除去画像を生成するのに役立ちます。一方、より良いランドマーク検出結果は、次のフレームの前に構造予測子がより良いジオメトリを生成するのに役立ちます。さらに、静的な画像ベースの方法を組み込み、ビデオデータセットのパフォーマンスを向上させることができる柔軟なビデオベースのフレームワークです。 Blurred-300VW、提案されているReal-world Motion Blur(RWMB)データセット、および300VWの広範な実験により、最先端の方法よりも優れたパフォーマンスが実証されています。データセットとモデルはで公開されます。
Recently, facial landmark detection algorithms have achieved remarkable performance on static images. However, these algorithms are neither accurate nor stable in motion-blurred videos. The missing of structure information makes it difficult for state-of-the-art facial landmark detection algorithms to yield good results. In this paper, we propose a framework named FAB that takes advantage of structure consistency in the temporal dimension for facial landmark detection in motion-blurred videos. A structure predictor is proposed to predict the missing face structural information temporally, which serves as a geometry prior. This allows our framework to work as a virtuous circle. On one hand, the geometry prior helps our structure-aware deblurring network generates high quality deblurred images which lead to better landmark detection results. On the other hand, better landmark detection results help structure predictor generate better geometry prior for the next frame. Moreover, it is a flexible video-based framework that can incorporate any static image-based methods to provide a performance boost on video datasets. Extensive experiments on Blurred-300VW, the proposed Real-world Motion Blur (RWMB) datasets and 300VW demonstrate the superior performance to the state-of-the-art methods. Datasets and models will be publicly available at
updated: Sat Oct 26 2019 17:00:11 GMT+0000 (UTC)
published: Sat Oct 26 2019 17:00:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト