arXiv reaDer
ダブルスパースオプティカルフロー分解によるラグランジュ運動倍率
Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition
モーション拡大技術は、ビデオの微妙な動きを増幅して明らかにすることを目的としています。この目標を達成するには、基本的に2つの主要なアプローチがあります。つまり、オイラーまたはラグランジュの手法です。最初のものは画像ピクセルを直接操作することによって暗黙的に動きを拡大しますが、ラグランジュアプローチはオプティカルフロー技術を使用してピクセル軌道を抽出および増幅します。マイクロエクスプレッションは、検出が困難な高速で空間的に小さな表情です。この論文では、顔の微動の局所ラグランジュ運動倍率のための新しいアプローチを提案します。私たちの貢献は3つあります。最初に、オプティカルフローアルゴリズムの変分密逆探索(DIS)から得られたグラウンドトゥルースを追加することにより、顔のオプティカルフロー(RAFT)ディープラーニングアプローチの反復全ペアフィールド変換を微調整します。 CASMEIIビデオセットの顔に。これにより、効率的かつ十分に正確な方法で顔のビデオのオプティカルフローを生成できます。第二に、顔の微動は空間と時間の両方で局所的であるため、空間と時間の両方でスパース成分によってオプティカルフローフィールドを近似し、二重のスパース分解をもたらすことを提案します。第3に、この分解を使用して、顔の特定の領域の微動を拡大します。ここでは、画像グリッドの三角形分割と、変換された三角形のコーナーでのRGBベクトルの重心補間を使用した新しいフォワードワーピング戦略を導入します。さまざまな例を使用して、アプローチの非常に優れたパフォーマンスを示します。
Motion magnification techniques aim at amplifying and hence revealing subtle motion in videos. There are basically two main approaches to reach this goal, namely via Eulerian or Lagrangian techniques. While the first one magnifies motion implicitly by operating directly on image pixels, the Lagrangian approach uses optical flow techniques to extract and amplify pixel trajectories. Microexpressions are fast and spatially small facial expressions that are difficult to detect. In this paper, we propose a novel approach for local Lagrangian motion magnification of facial micromovements. Our contribution is three-fold: first, we fine-tune the recurrent all-pairs field transforms for optical flows (RAFT) deep learning approach for faces by adding ground truth obtained from the variational dense inverse search (DIS) for optical flow algorithm applied to the CASME II video set of faces. This enables us to produce optical flows of facial videos in an efficient and sufficiently accurate way. Second, since facial micromovements are both local in space and time, we propose to approximate the optical flow field by sparse components both in space and time leading to a double sparse decomposition. Third, we use this decomposition to magnify micro-motions in specific areas of the face, where we introduce a new forward warping strategy using a triangular splitting of the image grid and barycentric interpolation of the RGB vectors at the corners of the transformed triangles. We demonstrate the very good performance of our approach by various examples.
updated: Fri Apr 15 2022 20:24:11 GMT+0000 (UTC)
published: Fri Apr 15 2022 20:24:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト