arXiv reaDer
Deep Learning based Food Instance Segmentation using Synthetic Data
食事管理にディープニューラルネットワークを使用して画像内の食品をインテリジェントにセグメント化するプロセスでは、ネットワークトレーニングのデータ収集とラベル付けは非常に重要ですが、労働集約的なタスクです。データ収集と注釈の難しさを解決するために、本論文は合成データを通して実世界に適用可能な食品セグメンテーション法を提案した。食事支援ロボットアームなどのヘルスケアロボットシステムで食品のセグメンテーションを実行するために、オープンソースの3DグラフィックソフトウェアBlenderを使用して合成データを生成し、複数のオブジェクトを食事プレートに配置し、たとえばセグメンテーションのためにMaskR-CNNをトレーニングします。また、データ収集システムを構築し、実際の食品データでセグメンテーションモデルを検証します。その結果、実際のデータセットでは、合成データのみをトレーニングしたモデルを使用して、52.2%のマスクAP @ allでトレーニングされていない食品インスタンスをセグメント化し、微調整後のパフォーマンスを+ 6.4%p向上させます。ゼロからトレーニングされたモデル。さらに、公正な分析のために、公開データセットの可能性とパフォーマンスの向上も確認します。コードと事前トレーニング済みのウェイトは、からオンラインで入手できます。
In the process of intelligently segmenting foods in images using deep neural networks for diet management, data collection and labeling for network training are very important but labor-intensive tasks. In order to solve the difficulties of data collection and annotations, this paper proposes a food segmentation method applicable to real-world through synthetic data. To perform food segmentation on healthcare robot systems, such as meal assistance robot arm, we generate synthetic data using the open-source 3D graphics software Blender placing multiple objects on meal plate and train Mask R-CNN for instance segmentation. Also, we build a data collection system and verify our segmentation model on real-world food data. As a result, on our real-world dataset, the model trained only synthetic data is available to segment food instances that are not trained with 52.2% mask AP@all, and improve performance by +6.4%p after fine-tuning comparing to the model trained from scratch. In addition, we also confirm the possibility and performance improvement on the public dataset for fair analysis. Our code and pre-trained weights are avaliable online at:
updated: Thu Jul 15 2021 08:36:54 GMT+0000 (UTC)
published: Thu Jul 15 2021 08:36:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト