arXiv reaDer
少数ショット 3D 解析のための類推形成変換器
Analogy-Forming Transformers for Few-Shot 3D Parsing
構造化されたラベル付き 3D シーンのコレクションにドメイン知識を明示的にエンコードするモデルであるアナロジカル ネットワークをモデル パラメーターとして暗示的に提示し、3D オブジェクト シーンを類推推論でセグメント化します。シーンをパーツ セグメントに直接マッピングする代わりに、私たちのモデルは、最初に関連するシーンとそれに対応する部分構造をメモリから取得し、次にエンドツーエンドの学習可能な変調メカニズムを介して、入力シーンの類似の部分構造を予測します。複数の検索された記憶を条件付けすることにより、構造の構成が予測され、検索された記憶全体で部分が混合および一致します。ワンショット、少数ショット、または多数ショットの学習は、単一、少数、または多数のメモリの模範から取得されたかどうかに関係なく、適切なメモリのセットを条件付けし、類似の解析を推論することにより、類推ネットワークで均一に処理されます。アナロジカル ネットワークが最先端の 3D セグメンテーション トランスフォーマーと競争力があり、数ショット設定でメタ学習と少数ショット学習の既存のパラダイムだけでなく、それらよりも優れていることを示します。アナロジカル ネットワークは、メモリを拡張するだけで、重みを更新することなく、新しいオブジェクト カテゴリのインスタンスを正常にセグメント化します。私たちのコードとモデルは、プロジェクトの Web ページ (http://analogicalnets.github.io/) で公開されています。
We present Analogical Networks, a model that encodes domain knowledge explicitly, in a collection of structured labelled 3D scenes, in addition to implicitly, as model parameters, and segments 3D object scenes with analogical reasoning: instead of mapping a scene to part segments directly, our model first retrieves related scenes from memory and their corresponding part structures, and then predicts analogous part structures for the input scene, via an end-to-end learnable modulation mechanism. By conditioning on more than one retrieved memories, compositions of structures are predicted, that mix and match parts across the retrieved memories. One-shot, few-shot or many-shot learning are treated uniformly in Analogical Networks, by conditioning on the appropriate set of memories, whether taken from a single, few or many memory exemplars, and inferring analogous parses. We show Analogical Networks are competitive with state-of-the-art 3D segmentation transformers in many-shot settings, and outperform them, as well as existing paradigms of meta-learning and few-shot learning, in few-shot settings. Analogical Networks successfully segment instances of novel object categories simply by expanding their memory, without any weight updates. Our code and models are publicly available in the project webpage: http://analogicalnets.github.io/.
updated: Thu Apr 27 2023 17:50:00 GMT+0000 (UTC)
published: Thu Apr 27 2023 17:50:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト