食品検索は、食材や調理方法など、照会された食品に関する関連情報の取得に関心がある食品関連情報の分析を実行するための重要なタスクです。この論文では、食品画像間のクロスモーダル検索を調査します。と料理のレシピ。目標は、対応する画像レシピの埋め込みが互いに近くにあるように、共通の特徴空間での画像とレシピの埋め込みを学習することです。この問題に対処する上での2つの主要な課題は、次のとおりです。1)クロスモーダル食品データ全体での大きな内部分散と小さな相互分散。 2)識別可能なレシピ表現を取得することの難しさ。これらの2つの問題に対処するために、出力セマンティック確率を調整することによって2つのモダリティの埋め込みを正規化するセマンティックコンシステントおよびアテンションベースネットワーク(SCAN)を提案します。さらに、自己注意メカニズムを利用して、レシピの埋め込みを改善します。大規模なRecipe1Mデータセットで提案された方法のパフォーマンスを評価し、食品画像と料理レシピのいくつかの最先端のクロスモーダル検索戦略を大幅に上回ることができることを示します。
Food retrieval is an important task to perform analysis of food-related information, where we are interested in retrieving relevant information about the queried food item such as ingredients, cooking instructions, etc. In this paper, we investigate cross-modal retrieval between food images and cooking recipes. The goal is to learn an embedding of images and recipes in a common feature space, such that the corresponding image-recipe embeddings lie close to one another. Two major challenges in addressing this problem are 1) large intra-variance and small inter-variance across cross-modal food data; and 2) difficulties in obtaining discriminative recipe representations. To address these two problems, we propose Semantic-Consistent and Attention-based Networks (SCAN), which regularize the embeddings of the two modalities through aligning output semantic probabilities. Besides, we exploit a self-attention mechanism to improve the embedding of recipes. We evaluate the performance of the proposed method on the large-scale Recipe1M dataset, and show that we can outperform several state-of-the-art cross-modal retrieval strategies for food images and cooking recipes by a significant margin.