arXiv reaDer
FreeEnricher: 追加コストなしで顔のランドマークを充実させる
FreeEnricher: Enriching Face Landmarks without Additional Cost
近年、顔の位置合わせが大幅に増加しています。美容医療や美顔術など、さまざまな場面で密集した顔面ランドマークが強く求められていますが、ほとんどの研究では疎な顔の位置合わせしか考慮されていません。この問題に対処するために、既存のまばらなランドマーク データセット (68 ポイントの 300W と 98 ポイントの WFLW など) によってランドマーク密度を強化できるフレームワークを提示します。まず、各セマンティック輪郭に沿ったローカル パッチの外観は非常に似ていることがわかります。次に、元のまばらなランドマークの改良能力を学習し、この能力を強化された密なランドマークに適応させるという、教師が弱いアイデアを提案します。その間、いくつかのオペレーターが考案され、アイデアを実装するために一緒に組織されています。最後に、トレーニング済みのモデルがプラグアンドプレイ モジュールとして既存の顔の位置合わせネットワークに適用されます。この方法を評価するために、300W テストセットの密集したランドマークに手動でラベルを付けます。私たちの方法は、新しく構築された高密度の 300W テストセットだけでなく、元の疎な 300W および WFLW テストセットでも、追加費用なしで最先端の精度を実現します。
Recent years have witnessed significant growth of face alignment. Though dense facial landmark is highly demanded in various scenarios, e.g., cosmetic medicine and facial beautification, most works only consider sparse face alignment. To address this problem, we present a framework that can enrich landmark density by existing sparse landmark datasets, e.g., 300W with 68 points and WFLW with 98 points. Firstly, we observe that the local patches along each semantic contour are highly similar in appearance. Then, we propose a weakly-supervised idea of learning the refinement ability on original sparse landmarks and adapting this ability to enriched dense landmarks. Meanwhile, several operators are devised and organized together to implement the idea. Finally, the trained model is applied as a plug-and-play module to the existing face alignment networks. To evaluate our method, we manually label the dense landmarks on 300W testset. Our method yields state-of-the-art accuracy not only in newly-constructed dense 300W testset but also in the original sparse 300W and WFLW testsets without additional cost.
updated: Mon Dec 19 2022 15:14:20 GMT+0000 (UTC)
published: Mon Dec 19 2022 15:14:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト