広範なデータでトレーニングされた大規模モデルの台頭により、コンテキスト内学習は新しい学習パラダイムとなり、自然言語処理やコンピューター ビジョン タスクにおける大きな可能性が実証されました。一方、3D 点群ドメインでは、コンテキスト内学習はまだほとんど解明されていません。マスクされたモデリングは 2D ビジョンでのコンテキスト内学習に適用されて成功していますが、それを 3D 点群に直接拡張することは依然として困難な課題です。点群の場合、トークン自体は推論中にマスクされる点群の位置 (座標) です。さらに、以前の作品に位置を埋め込むと、誤って情報漏洩が発生する可能性があります。これらの課題に対処するために、私たちは、入力と出力の両方が各タスクの座標としてモデル化される、3D 点群でのインコンテキスト学習のために特に設計された、ポイントインコンテキストという名前の新しいフレームワークを導入します。さらに、一般的なポイント サンプリング オペレーターと連携して動作するように慎重に設計されたジョイント サンプリング モジュールを提案し、前述の技術的問題を効果的に解決します。私たちは、広範なタスクを処理する際に、提案した方法の汎用性と適応性を検証するために広範な実験を実施します。さらに、より効果的なプロンプト選択戦略により、私たちのフレームワークは個別にトレーニングされたモデルの結果を上回ります。
With the rise of large-scale models trained on broad data, in-context learning has become a new learning paradigm that has demonstrated significant potential in natural language processing and computer vision tasks. Meanwhile, in-context learning is still largely unexplored in the 3D point cloud domain. Although masked modeling has been successfully applied for in-context learning in 2D vision, directly extending it to 3D point clouds remains a formidable challenge. In the case of point clouds, the tokens themselves are the point cloud positions (coordinates) that are masked during inference. Moreover, position embedding in previous works may inadvertently introduce information leakage. To address these challenges, we introduce a novel framework, named Point-In-Context, designed especially for in-context learning in 3D point clouds, where both inputs and outputs are modeled as coordinates for each task. Additionally, we propose the Joint Sampling module, carefully designed to work in tandem with the general point sampling operator, effectively resolving the aforementioned technical issues. We conduct extensive experiments to validate the versatility and adaptability of our proposed methods in handling a wide range of tasks. Furthermore, with a more effective prompt selection strategy, our framework surpasses the results of individually trained models.