既存のマルチエージェント認識アルゴリズムは、通常、生のセンシング データから抽出されたディープ ニューラル機能をエージェント間で共有することを選択し、精度と通信帯域幅制限の間のトレードオフを実現します。ただし、これらの方法は、すべてのエージェントが同一のニューラル ネットワークを持っていることを前提としているため、現実の世界では実用的ではない可能性があります。モデルが異なると、送信された特徴に大きなドメイン ギャップが生じる可能性があり、マルチエージェント認識のパフォーマンスが劇的に低下する可能性があります。このホワイト ペーパーでは、機密性を維持しながら、ほとんどの既存のシステムのプラグイン モジュールにすることができる、マルチ エージェントの認識のためのこのようなドメイン ギャップを埋める最初の軽量フレームワークを提案します。私たちのフレームワークは、複数の次元で機能を調整するための学習可能な機能リサイザーと、ドメイン適応のためのスパース クロスドメイン トランスフォーマーで構成されています。公開されているマルチエージェント認識データセット V2XSet に関する広範な実験により、私たちの方法がさまざまなドメインの特徴のギャップを効果的に埋め、点群ベースの 3D オブジェクト検出で他のベースライン方法を少なくとも 8% 大幅に上回ることが実証されました。
Existing multi-agent perception algorithms usually select to share deep neural features extracted from raw sensing data between agents, achieving a trade-off between accuracy and communication bandwidth limit. However, these methods assume all agents have identical neural networks, which might not be practical in the real world. The transmitted features can have a large domain gap when the models differ, leading to a dramatic performance drop in multi-agent perception. In this paper, we propose the first lightweight framework to bridge such domain gaps for multi-agent perception, which can be a plug-in module for most existing systems while maintaining confidentiality. Our framework consists of a learnable feature resizer to align features in multiple dimensions and a sparse cross-domain transformer for domain adaption. Extensive experiments on the public multi-agent perception dataset V2XSet have demonstrated that our method can effectively bridge the gap for features from different domains and outperform other baseline methods significantly by at least 8% for point-cloud-based 3D object detection.