実生活での単眼画像から、3D空間における食品の存在と強く関連する特性である食品部分のサイズを推定することを目指しています。具体的には、個人の健康管理の分野で大きな可能性を秘めている食品部分のサイズをエンドツーエンドで推定することに関心があります。大規模なクラウドソーシングを通じて注釈を取得できる画像セグメンテーションやオブジェクト認識とは異なり、人間は専門知識がないと任意の2D画像内のオブジェクトのサイズを正確に推定できないため、部分サイズ推定用のデータセットを収集することははるかに困難です。このような課題に対処するために、栄養学研究から収集された実際の食品画像データセットを紹介します。ここでは、グラウンドトゥルースの食品エネルギー(カロリー)が登録栄養士によって提供され、研究コミュニティで利用できるようになります。 RGBと学習されたエネルギー分布ドメインの両方から推定された特徴を組み合わせることにより、部分サイズ推定のための深い回帰プロセスを提案します。食品エネルギーの推定値は、MAPEが11.47%で最先端を達成し、専門家以外の人間の推定値を27.56%大幅に上回っています。
We aim to estimate food portion size, a property that is strongly related to the presence of food object in 3D space, from single monocular images under real life setting. Specifically, we are interested in end-to-end estimation of food portion size, which has great potential in the field of personal health management. Unlike image segmentation or object recognition where annotation can be obtained through large scale crowd sourcing, it is much more challenging to collect datasets for portion size estimation since human cannot accurately estimate the size of an object in an arbitrary 2D image without expert knowledge. To address such challenge, we introduce a real life food image dataset collected from a nutrition study where the groundtruth food energy (calorie) is provided by registered dietitians, and will be made available to the research community. We propose a deep regression process for portion size estimation by combining features estimated from both RGB and learned energy distribution domains. Our estimates of food energy achieved state-of-the-art with a MAPE of 11.47%, significantly outperforms non-expert human estimates by 27.56%.