食事の評価は、健康状態のモニタリングに大きく貢献します。既存の自己報告方法は、かなりの偏りや間違いがあり、面倒で時間がかかります。画像ベースの食品分量推定は、食品画像から直接食品エネルギー値を推定することを目的としており、自動食事評価ソリューションとして大きな可能性を示しています。既存の画像ベースの方法では、単一ビュー画像を使用するか、マルチビュー画像と深度情報を組み込んで食品エネルギーを推定しますが、パフォーマンスが制限されたり、ユーザーの負担が生じたりします。この論文では、単眼画像から 3D 形状再構成を介して食品エネルギーを推定するためのエンドツーエンドの深層学習フレームワークを提案します。生成モデルを利用して入力画像から食品オブジェクトのボクセル表現を再構築し、欠落している 3D 情報を復元します。私たちの方法は、公的に利用可能な食品画像データセット Nutrition5k で評価され、食品エネルギー推定の平均絶対誤差 (MAE) は 40.05 kCal、平均絶対パーセント誤差 (MAPE) は 11.47% となりました。私たちの手法は、推論段階で RGB 画像を唯一の入力として使用し、RGB 情報と深度情報の両方を必要とする既存の手法と比較して優れた結果を達成します。
Dietary assessment is a key contributor to monitoring health status. Existing self-report methods are tedious and time-consuming with substantial biases and errors. Image-based food portion estimation aims to estimate food energy values directly from food images, showing great potential for automated dietary assessment solutions. Existing image-based methods either use a single-view image or incorporate multi-view images and depth information to estimate the food energy, which either has limited performance or creates user burdens. In this paper, we propose an end-to-end deep learning framework for food energy estimation from a monocular image through 3D shape reconstruction. We leverage a generative model to reconstruct the voxel representation of the food object from the input image to recover the missing 3D information. Our method is evaluated on a publicly available food image dataset Nutrition5k, resulting a Mean Absolute Error (MAE) of 40.05 kCal and Mean Absolute Percentage Error (MAPE) of 11.47% for food energy estimation. Our method uses RGB image as the only input at the inference stage and achieves competitive results compared to the existing method requiring both RGB and depth information.