食品レシピなど、オンラインで投稿されるコンテンツの量が急速に増加しているため、ビジョンと言語の交差点にある新しいエキサイティングなアプリケーションへの扉が開かれます。この作業では、人々がインターネット上で公開しているレシピから学習することにより、画像から直接食事のカロリー量を推定し、時間のかかる手動のデータ注釈をスキップすることを目指しています。制約のない環境でキャプチャされた大規模な公開データセットはほとんどないため、写真、材料、手順を含む70,000を超えるレシピからの308,000の画像で構成されるpic2kcalベンチマークを提案します。食材の栄養情報を取得し、グラウンドトゥルースのカロリー値を自動的に決定するために、レシピのアイテムを食品データベースの構造化された情報と照合します。カロリー量の回帰についてさまざまなニューラルネットワークを評価し、マルチタスクパラダイムでそれらを拡張します。私たちの学習手順は、カロリー推定とタンパク質、炭水化物、脂肪量の予測、およびマルチラベル成分分類を組み合わせたものです。私たちの実験は、カロリー推定のためのマルチタスク学習の明らかな利点を示しており、シングルタスクのカロリー回帰を9.9%上回っています。このタスクのさらなる研究を促進するために、データセットとモデルを生成するためのコードを公開しています。
A rapidly growing amount of content posted online, such as food recipes, opens doors to new exciting applications at the intersection of vision and language. In this work, we aim to estimate the calorie amount of a meal directly from an image by learning from recipes people have published on the Internet, thus skipping time-consuming manual data annotation. Since there are few large-scale publicly available datasets captured in unconstrained environments, we propose the pic2kcal benchmark comprising 308,000 images from over 70,000 recipes including photographs, ingredients and instructions. To obtain nutritional information of the ingredients and automatically determine the ground-truth calorie value, we match the items in the recipes with structured information from a food item database. We evaluate various neural networks for regression of the calorie quantity and extend them with the multi-task paradigm. Our learning procedure combines the calorie estimation with prediction of proteins, carbohydrates, and fat amounts as well as a multi-label ingredient classification. Our experiments demonstrate clear benefits of multi-task learning for calorie estimation, surpassing the single-task calorie regression by 9.9%. To encourage further research on this task, we make the code for generating the dataset and the models publicly available.