顔の魅力予測 (FAP) は、人間の美的知覚に基づいて顔の魅力を自動的に評価することを目的としています。深い畳み込みニューラル ネットワークを使用する以前の方法ではパフォーマンスが向上しましたが、その巨大なモデルは柔軟性の欠如につながります。その上、それらのほとんどはデータセットを十分に活用できていません。このホワイトペーパーでは、デュアルラベル配布と軽量設計を統合した新しいエンドツーエンドの FAP アプローチを紹介します。データセットを最大限に活用するために、手動評価、魅力スコア、および標準偏差を明示的に集計して、魅力分布と評価分布を含む二重ラベル分布を構築します。このような分布と魅力スコアは、ラベル分布学習 (LDL) パラダイムに基づく共同学習フレームワークの下で最適化されます。軽量設計に関しては、データ処理は最小限に簡素化されており、MobileNetV2 がバックボーンとして選択されています。 2 つのベンチマーク データセットで広範な実験が行われ、私たちのアプローチは有望な結果を達成し、パフォーマンスと効率のバランスを取ることに成功しています。切除研究は、精巧に設計された学習モジュールが不可欠であり、相関していることを示しています。さらに、視覚化は、私たちのアプローチが顔の魅力を認識し、魅力的な顔の領域をキャプチャしてセマンティックな予測を容易にすることができることを示しています。
Facial attractiveness prediction (FAP) aims to assess the facial attractiveness automatically based on human aesthetic perception. Previous methods using deep convolutional neural networks have boosted the performance, but their giant models lead to a deficiency in flexibility. Besides, most of them fail to take full advantage of the dataset. In this paper, we present a novel end-to-end FAP approach integrating dual label distribution and lightweight design. To make the best use of the dataset, the manual ratings, attractiveness score, and standard deviation are aggregated explicitly to construct a dual label distribution, including the attractiveness distribution and the rating distribution. Such distributions, as well as the attractiveness score, are optimized under a joint learning framework based on the label distribution learning (LDL) paradigm. As for the lightweight design, the data processing is simplified to minimum, and MobileNetV2 is selected as our backbone. Extensive experiments are conducted on two benchmark datasets, where our approach achieves promising results and succeeds in striking a balance between performance and efficiency. Ablation studies demonstrate that our delicately designed learning modules are indispensable and correlated. Additionally, the visualization indicates that our approach is capable of perceiving facial attractiveness and capturing attractive facial regions to facilitate semantic predictions.