arXiv reaDer
分解コンセンサスによる3D組成ゼロショット学習
3D Compositional Zero-shot Learning with DeCompositional Consensus
パーツは、さまざまなオブジェクト間の幾何学的および意味的類似性の基本単位を表します。パーツの知識は、観察されたオブジェクトクラスを超えて構成可能でなければならないと主張します。これに向けて、セマンティックセグメンテーションのための見えたオブジェクトクラスから見えないオブジェクトクラスへのパーツの一般化の問題として、3D構成ゼロショット学習を提示します。提案されたCompositional-PartNetデータセットを使用してタスクのベンチマークを行うことにより、構造化された調査を提供します。このデータセットは、元のPartNetを処理して、さまざまなオブジェクト間でパーツのオーバーラップを最大化することによって作成されます。既存の点群部分のセグメンテーション方法は、この設定では見えないオブジェクトクラスに一般化できません。解決策として、パーツセグメンテーションネットワークとパーツスコアリングネットワークを組み合わせたDeCompositionalConsensusを提案します。私たちのアプローチの重要な直感は、一部のパーツのセグメンテーションマスクは、各パーツを分解するときにパーツスコアとコンセンサスを持っている必要があるということです。 2つのネットワークは、最適なセグメンテーションマスクを生成する前に、オブジェクトごとのパーツで定義された異なるパーツの組み合わせを推論します。私たちの方法が構成的なゼロショットセグメンテーションと一般化されたゼロショット分類を可能にし、両方のタスクで最先端を確立することを示します。
Parts represent a basic unit of geometric and semantic similarity across different objects. We argue that part knowledge should be composable beyond the observed object classes. Towards this, we present 3D Compositional Zero-shot Learning as a problem of part generalization from seen to unseen object classes for semantic segmentation. We provide a structured study through benchmarking the task with the proposed Compositional-PartNet dataset. This dataset is created by processing the original PartNet to maximize part overlap across different objects. The existing point cloud part segmentation methods fail to generalize to unseen object classes in this setting. As a solution, we propose DeCompositional Consensus, which combines a part segmentation network with a part scoring network. The key intuition to our approach is that a segmentation mask over some parts should have a consensus with its part scores when each part is taken apart. The two networks reason over different part combinations defined in a per-object part prior to generate the most suitable segmentation mask. We demonstrate that our method allows compositional zero-shot segmentation and generalized zero-shot classification, and establishes the state of the art on both tasks.
updated: Mon Nov 29 2021 16:34:53 GMT+0000 (UTC)
published: Mon Nov 29 2021 16:34:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト