arXiv reaDer
コンテナの特性を予測するためのCORSMALベンチマーク
The CORSMAL benchmark for the prediction of the properties of containers
音響および視覚センシングは、人がコンテナを操作するときのコンテナの重量とその内容物の量の非接触推定をサポートできます。ただし、不透明度と透明度(容器と内容物の両方)、および材料、形状、サイズのばらつきにより、この問題は困難になります。この論文では、コンテナの容量、およびその内容物のタイプ、質量、および量を推定するためのベンチマーク手法に対するオープンフレームワークを提示します。フレームワークには、データセット、明確に定義されたタスクとパフォーマンス測定、ベースラインと最先端の方法、およびこれらの方法の詳細な比較分析が含まれています。音声のみ、または音声と視覚データの組み合わせを使用したニューラルネットワークを使用したディープラーニングは、コンテンツのタイプと量を個別にまたは共同で分類する方法で使用されます。コンテナの容量を決定するには、視覚データを使用した回帰および幾何学的アプローチが推奨されます。結果は、入力モダリティとしてオーディオのみを使用する方法でコンテンツタイプとレベルを分類すると、それぞれ最大81%と97%の加重平均F1スコアを達成することを示しています。視覚のみのアプローチでコンテナ容量を推定し、オーディオビジュアルの多段階アルゴリズムで質量を埋めると、最大65%の加重平均容量と質量スコアに達します。
Acoustic and visual sensing can support the contactless estimation of the weight of a container and the amount of its content when a person manipulate them. However, opaqueness and transparencies (both of the container and of the content) and the variability of materials, shapes and sizes make this problem challenging. In this paper, we present an open framework to benchmark methods for the estimation of the capacity of a container, and the type, mass, and amount of its content. The framework includes a dataset, well-defined tasks and performance measures, baselines and state-of-the-art methods, and an in-depth comparative analysis of these methods. Deep learning with neural networks with audio alone or a combination of audio and visual data are used by the methods to classify the type and amount of the content, either independently or jointly. Regression and geometric approaches with visual data are preferred to determine the capacity of the container. Results show that classifying the content type and level with methods that use only audio as input modality achieves a weighted average F1-score up to 81% and 97%, respectively. Estimating the container capacity with vision-only approaches and filling mass with audio-visual, multi-stage algorithms reaches up to 65% weighted average capacity and mass scores.
updated: Tue Nov 30 2021 20:21:48 GMT+0000 (UTC)
published: Tue Jul 27 2021 10:36:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト