この作業では、単一のRGBD画像からの6Dポーズ推定用に設計されたフルフロー双方向融合ネットワークであるFFB6Dを紹介します。私たちの重要な洞察は、RGB画像の外観情報と深度画像のジオメトリ情報が2つの補完的なデータソースであり、それらを完全に活用する方法がまだ不明であるということです。この目的に向けて、FFB6Dを提案します。これは、表現の学習と出力表現の選択のために、外観とジオメトリの情報を組み合わせることを学習します。具体的には、表現学習段階で、2つのネットワークのフルフローで双方向融合モジュールを構築します。融合は、各エンコード層とデコード層に適用されます。このようにして、2つのネットワークは、もう一方のネットワークからのローカルおよびグローバルの補完情報を活用して、より適切な表現を取得できます。さらに、出力表現の段階で、オブジェクトのテクスチャとジオメトリ情報を考慮したシンプルで効果的な3Dキーポイント選択アルゴリズムを設計しました。これにより、正確なポーズ推定のためのキーポイントのローカリゼーションが簡素化されます。実験結果は、私たちの方法がいくつかのベンチマークで最先端技術を大幅に上回っていることを示しています。コードとビデオはhttps://github.com/ethnhe/FFB6D.gitで入手できます。
In this work, we present FFB6D, a Full Flow Bidirectional fusion network designed for 6D pose estimation from a single RGBD image. Our key insight is that appearance information in the RGB image and geometry information from the depth image are two complementary data sources, and it still remains unknown how to fully leverage them. Towards this end, we propose FFB6D, which learns to combine appearance and geometry information for representation learning as well as output representation selection. Specifically, at the representation learning stage, we build bidirectional fusion modules in the full flow of the two networks, where fusion is applied to each encoding and decoding layer. In this way, the two networks can leverage local and global complementary information from the other one to obtain better representations. Moreover, at the output representation stage, we designed a simple but effective 3D keypoints selection algorithm considering the texture and geometry information of objects, which simplifies keypoint localization for precise pose estimation. Experimental results show that our method outperforms the state-of-the-art by large margins on several benchmarks. Code and video are available at https://github.com/ethnhe/FFB6D.git.