arXiv reaDer
ベイズモデルを使用したタスク外および分布外の一般化によるアモーダルセグメンテーション
Amodal Segmentation through Out-of-Task and Out-of-Distribution Generalization with a Bayesian Model
アモーダル完了は、人間が簡単に実行できる視覚的なタスクですが、コンピュータービジョンアルゴリズムでは困難です。目的は、閉塞されているために見えないオブジェクトの境界をセグメント化することです。データの取得と注釈付けが難しいため、このタスクはディープニューラルネットワークでは特に困難です。したがって、アモーダルセグメンテーションをタスク外および分布外の一般化問題として定式化します。具体的には、ニューラルネットワークの完全に接続された分類器をニューラルネットワーク機能のベイズ生成モデルに置き換えます。モデルは、バウンディングボックスの注釈とクラスラベルのみを使用して非遮蔽画像からトレーニングされますが、タスク外をオブジェクトのセグメンテーションに一般化し、分布外をセグメント化されたオブジェクトに一般化するために適用されます。このようなベイジアンモデルが、オブジェクトの背景コンテキストと形状をモデル化する事前確率を学習するときに、トレーニングタスクラベルを超えて自然に一般化できることを示します。さらに、外れ値プロセスを活用することにより、ベイジアンモデルは、分布外をさらに一般化して、部分的に遮蔽されたオブジェクトをセグメント化し、それらの非モーダルオブジェクトの境界を予測できます。私たちのアルゴリズムは、同じ監視を使用する代替方法を大幅に上回り、オクルージョンの量が多いトレーニング中に注釈付きのアモーダルセグメンテーションを使用する方法よりも優れています。コードはhttps://github.com/YihongSun/Bayesian-Amodalで公開されています。
Amodal completion is a visual task that humans perform easily but which is difficult for computer vision algorithms. The aim is to segment those object boundaries which are occluded and hence invisible. This task is particularly challenging for deep neural networks because data is difficult to obtain and annotate. Therefore, we formulate amodal segmentation as an out-of-task and out-of-distribution generalization problem. Specifically, we replace the fully connected classifier in neural networks with a Bayesian generative model of the neural network features. The model is trained from non-occluded images using bounding box annotations and class labels only, but is applied to generalize out-of-task to object segmentation and to generalize out-of-distribution to segment occluded objects. We demonstrate how such Bayesian models can naturally generalize beyond the training task labels when they learn a prior that models the object's background context and shape. Moreover, by leveraging an outlier process, Bayesian models can further generalize out-of-distribution to segment partially occluded objects and to predict their amodal object boundaries. Our algorithm outperforms alternative methods that use the same supervision by a large margin, and even outperforms methods where annotated amodal segmentations are used during training, when the amount of occlusion is large. Code is publicly available at https://github.com/YihongSun/Bayesian-Amodal.
updated: Sat Jul 09 2022 04:42:39 GMT+0000 (UTC)
published: Sun Oct 25 2020 18:01:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト