arXiv reaDer
ミックスアップによるレシピ検索のための言語間適応
Cross-lingual Adaptation for Recipe Retrieval with Mixup
クロスモーダルレシピ検索は、トレーニング用の大規模なペアデータの可用性のおかげで、近年研究の注目を集めています。それにもかかわらず、教師あり学習のために料理の大部分をカバーする適切なレシピと画像のペアを取得することは、不可能ではないにしても困難です。データが豊富な料理から学んだ知識をデータが少ない料理に移すことにより、ドメイン適応はこの実際的な問題に光を当てます。それにもかかわらず、既存の作品は、ソースドメインとターゲットドメインのレシピがほとんど同じ料理に由来し、同じ言語で書かれていることを前提としています。このホワイトペーパーでは、ソースドメインとターゲットドメインのレシピが異なる言語である、画像からレシピへの取得のための教師なしドメインの適応について研究します。さらに、ターゲットドメインでのトレーニングに使用できるのはレシピのみです。 2つのドメイン間で転送可能な埋め込み機能を学習するために、新しいレシピの混合方法が提案されています。具体的には、レシピミックスアップは、ソースレシピとターゲットレシピの間でセクションを個別に交換することにより、中間ドメインを形成するための混合レシピを生成します。ドメインのギャップを埋めるために、レシピの混合損失を提案して、レシピ埋め込みスペース内のソースドメインとターゲットドメインの間の最短の測地線パスに中間ドメインを配置するように強制します。 Recipe 1Mデータセットをソースドメイン(英語)として使用し、Vireo-FoodTransferデータセットをターゲットドメイン(中国語)として使用することにより、経験的実験により、画像からレシピへの取得のコンテキストでの言語間適応のためのレシピミックスアップの有効性が検証されます。
Cross-modal recipe retrieval has attracted research attention in recent years, thanks to the availability of large-scale paired data for training. Nevertheless, obtaining adequate recipe-image pairs covering the majority of cuisines for supervised learning is difficult if not impossible. By transferring knowledge learnt from a data-rich cuisine to a data-scarce cuisine, domain adaptation sheds light on this practical problem. Nevertheless, existing works assume recipes in source and target domains are mostly originated from the same cuisine and written in the same language. This paper studies unsupervised domain adaptation for image-to-recipe retrieval, where recipes in source and target domains are in different languages. Moreover, only recipes are available for training in the target domain. A novel recipe mixup method is proposed to learn transferable embedding features between the two domains. Specifically, recipe mixup produces mixed recipes to form an intermediate domain by discretely exchanging the section(s) between source and target recipes. To bridge the domain gap, recipe mixup loss is proposed to enforce the intermediate domain to locate in the shortest geodesic path between source and target domains in the recipe embedding space. By using Recipe 1M dataset as source domain (English) and Vireo-FoodTransfer dataset as target domain (Chinese), empirical experiments verify the effectiveness of recipe mixup for cross-lingual adaptation in the context of image-to-recipe retrieval.
updated: Sun May 08 2022 15:04:39 GMT+0000 (UTC)
published: Sun May 08 2022 15:04:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト