arXiv reaDer
MATE: マスクされたオートエンコーダーはオンライン 3D テスト時間学習器です
MATE: Masked Autoencoders are Online 3D Test-Time Learners
当社の MATE は、3D データ用に設計された最初の Test-Time-Training (TTT) メソッドであり、点群分類用にトレーニングされたディープ ネットワークを、テスト データで発生する分布シフトに対してロバストにします。 2D 画像ドメインの既存の TTT メソッドと同様に、MATE も適応のためにテスト データを活用します。そのテスト時間の目的は、Masked Autoencoder の目的です。各テスト ポイント クラウドの大部分は、ネットワークに供給される前に削除され、完全なポイント クラウドを再構築する役割を果たします。ネットワークが更新されると、点群の分類に使用されます。いくつかの 3D オブジェクト分類データセットで MATE をテストし、3D 点群で一般的に発生するいくつかのタイプの破損に対するディープ ネットワークの堅牢性が大幅に向上することを示します。適応に必要なポイントの割合に関して、MATE が非常に効率的であることを示します。各テスト サンプルのわずか 5% のトークンで効果的に適応できるため、非常に軽量です。私たちの実験では、MATE がテスト データにまばらに適応することで競争力のあるパフォーマンスを達成することも示されています。これにより、計算オーバーヘッドがさらに削減され、リアルタイム アプリケーションに最適になります。
Our MATE is the first Test-Time-Training (TTT) method designed for 3D data, which makes deep networks trained for point cloud classification robust to distribution shifts occurring in test data. Like existing TTT methods from the 2D image domain, MATE also leverages test data for adaptation. Its test-time objective is that of a Masked Autoencoder: a large portion of each test point cloud is removed before it is fed to the network, tasked with reconstructing the full point cloud. Once the network is updated, it is used to classify the point cloud. We test MATE on several 3D object classification datasets and show that it significantly improves robustness of deep networks to several types of corruptions commonly occurring in 3D point clouds. We show that MATE is very efficient in terms of the fraction of points it needs for the adaptation. It can effectively adapt given as few as 5% of tokens of each test sample, making it extremely lightweight. Our experiments show that MATE also achieves competitive performance by adapting sparsely on the test data, which further reduces its computational overhead, making it ideal for real-time applications.
updated: Mon Mar 20 2023 09:44:58 GMT+0000 (UTC)
published: Mon Nov 21 2022 13:19:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト