arXiv reaDer
Mix3D:3Dシーンのコンテキスト外データ拡張
Mix3D: Out-of-Context Data Augmentation for 3D Scenes
大規模な3Dシーンをセグメント化するためのデータ拡張手法であるMix3Dを紹介します。シーンコンテキストはオブジェクトのセマンティクスについての推論に役立つため、現在の作業は、入力3Dシーンのグローバルコンテキストを完全にキャプチャできる大容量の受容野を持つモデルに焦点を当てています。ただし、強い文脈上の事前情報は、横断歩道を車と間違えるなどの有害な影響を与える可能性があります。この作業では、トレーニングセットのコンテキストの事前確率を超えて一般化することを目的として、グローバルシーンコンテキストとローカルジオメトリのバランスを取ることの重要性に焦点を当てます。特に、2つの拡張シーンを組み合わせて新しいトレーニングサンプルを作成する「ミキシング」手法を提案します。そうすることで、オブジェクトインスタンスは暗黙的に新しいコンテキスト外の環境に配置されるため、モデルがシーンコンテキストのみに依存することを困難にし、代わりにローカル構造からセマンティクスを推測します。詳細な分析を実行して、グローバルコンテキスト、ローカル構造、およびシーンの混合の影響の重要性を理解します。実験では、Mix3Dでトレーニングされたモデルが、屋内(ScanNet、S3DIS)および屋外データセット(SemanticKITTI)での大幅なパフォーマンス向上から利益を得ることが示されています。 Mix3Dは、既存の方法で簡単に使用できます。たとえば、Mix3Dでトレーニングすると、MinkowskiNetは、ScanNetテストベンチマーク78.1 mIoUで、以前のすべての最先端の方法を大幅に上回ります。コードはhttps://nekrasov.dev/mix3d/で入手できます。
We present Mix3D, a data augmentation technique for segmenting large-scale 3D scenes. Since scene context helps reasoning about object semantics, current works focus on models with large capacity and receptive fields that can fully capture the global context of an input 3D scene. However, strong contextual priors can have detrimental implications like mistaking a pedestrian crossing the street for a car. In this work, we focus on the importance of balancing global scene context and local geometry, with the goal of generalizing beyond the contextual priors in the training set. In particular, we propose a "mixing" technique which creates new training samples by combining two augmented scenes. By doing so, object instances are implicitly placed into novel out-of-context environments and therefore making it harder for models to rely on scene context alone, and instead infer semantics from local structure as well. We perform detailed analysis to understand the importance of global context, local structures and the effect of mixing scenes. In experiments, we show that models trained with Mix3D profit from a significant performance boost on indoor (ScanNet, S3DIS) and outdoor datasets (SemanticKITTI). Mix3D can be trivially used with any existing method, e.g., trained with Mix3D, MinkowskiNet outperforms all prior state-of-the-art methods by a significant margin on the ScanNet test benchmark 78.1 mIoU. Code is available at: https://nekrasov.dev/mix3d/
updated: Mon Nov 29 2021 12:01:46 GMT+0000 (UTC)
published: Tue Oct 05 2021 17:57:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト