アフォーダンスは、感覚運動能力と環境に応じてエージェントが利用できるアクションを関連付けるため、ロボティクスの基本的な概念です。画像内のアフォーダンスを検出するための新しいベイジアンディープネットワークを提示すると同時に、空間レベルでの偶然的および認識的分散の分布を定量化します。 Mask-RCNN アーキテクチャを適応させて、モンテカルロ ドロップアウトを使用して確率的表現を学習します。私たちの結果は、最先端の決定論的ネットワークよりも優れています。この改善は、エンコーダーでのより良い確率的特徴空間表現と、オブジェクトの輪郭によりよく適応するマスク生成で誘発されたベイズ変動に起因すると考えられます。また、確率論的インスタンス セグメンテーション モデルのセマンティックと空間の違いを明らかにする、新しい確率ベースのマスク品質測定も紹介します。予測されたバウンディング ボックスではなくバイナリ マスクを比較することで、既存の確率的検出品質メトリックを変更し、確率的セグメンテーションのよりきめ細かい評価を実現します。カメラのノイズにより、オブジェクトの輪郭に偶然の分散が見られますが、視覚的に難しいピクセルには認識論的な分散が現れます。
Affordances are a fundamental concept in robotics since they relate available actions for an agent depending on its sensory-motor capabilities and the environment. We present a novel Bayesian deep network to detect affordances in images, at the same time that we quantify the distribution of the aleatoric and epistemic variance at the spatial level. We adapt the Mask-RCNN architecture to learn a probabilistic representation using Monte Carlo dropout. Our results outperform the state-of-the-art of deterministic networks. We attribute this improvement to a better probabilistic feature space representation on the encoder and the Bayesian variability induced at the mask generation, which adapts better to the object contours. We also introduce the new Probability-based Mask Quality measure that reveals the semantic and spatial differences on a probabilistic instance segmentation model. We modify the existing Probabilistic Detection Quality metric by comparing the binary masks rather than the predicted bounding boxes, achieving a finer-grained evaluation of the probabilistic segmentation. We find aleatoric variance in the contours of the objects due to the camera noise, while epistemic variance appears in visual challenging pixels.