arXiv reaDer
MATE: マスクされたオートエンコーダーはオンライン 3D テスト時間学習器です
MATE: Masked Autoencoders are Online 3D Test-Time Learners
3D データ用に設計された最初の Test-Time-Training (TTT) メソッドである MATE を提案します。これにより、点群分類でトレーニングされたディープ ネットワークが、トレーニング中に予測できなかったテスト データで発生する分布シフトに対してロバストになります。テスト時に分布シフトが存在する場合に 2D 画像を分類することに重点を置いた既存の TTT メソッドと同様に、MATE もテスト データを活用して適応させます。そのテスト時間の目的は、マスクされたオートエンコーダーの目的です。各テストポイントクラウドは、ネットワークに供給される前にポイントの大部分が削除され、完全なポイントクラウドを再構築するタスクが課されます。ネットワークが更新されると、点群の分類に使用されます。いくつかの 3D オブジェクト分類データセットで MATE をテストし、3D 点群で一般的に発生するいくつかのタイプの破損に対するディープ ネットワークの堅牢性が大幅に向上することを示します。さらに、適応に必要なポイントの割合に関して、MATE が非常に効率的であることを示します。各テスト サンプルのわずか 5% のトークンで効果的に適応できるため、メモリ フットプリントが削減され、軽量になります。また、MATE はテスト データに控えめに適応することで競争力のあるパフォーマンスを達成することも強調します。これにより、計算オーバーヘッドがさらに削減され、リアルタイム アプリケーションに最適になります。
We propose MATE, the first Test-Time-Training (TTT) method designed for 3D data. It makes deep networks trained in point cloud classification robust to distribution shifts occurring in test data, which could not be anticipated during training. Like existing TTT methods, which focused on classifying 2D images in the presence of distribution shifts at test-time, MATE also leverages test data for adaptation. Its test-time objective is that of a Masked Autoencoder: Each test point cloud has a large portion of its points removed before it is fed to the network, tasked with reconstructing the full point cloud. Once the network is updated, it is used to classify the point cloud. We test MATE on several 3D object classification datasets and show that it significantly improves robustness of deep networks to several types of corruptions commonly occurring in 3D point clouds. Further, we show that MATE is very efficient in terms of the fraction of points it needs for the adaptation. It can effectively adapt given as few as 5% of tokens of each test sample, which reduces its memory footprint and makes it lightweight. We also highlight that MATE achieves competitive performance by adapting sparingly on the test data, which further reduces its computational overhead, making it ideal for real-time applications.
updated: Mon Nov 21 2022 13:19:08 GMT+0000 (UTC)
published: Mon Nov 21 2022 13:19:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト