arXiv reaDer
ArtiBoost:オンライン探索と合成による関節式3D手オブジェクトポーズ推定の強化
ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis
単一のRGB画像から関節のある3D手オブジェクトのポーズを推定することは、非常に曖昧で困難な問題であり、さまざまな手のポーズ、オブジェクトポーズ、カメラの視点を含む大規模なデータセットが必要です。ほとんどの実際のデータセットには、この多様性が欠けています。対照的に、合成データセットは非常に多様性を簡単に確保できますが、それらから学習することは非効率的であり、トレーニングの消費量が多くなります。上記の問題に対処するために、ArtiBoostを提案します。これは、データの観点から関節式の手オブジェクトのポーズ推定を強化する軽量のオンラインデータエンリッチメント方法です。 ArtiBoostは、実際のソースデータセットとともに使用されます。トレーニング中、ArtiBoostは代わりにデータの探索と合成を実行します。 ArtiBoostは、構図の手オブジェクト構成と視点空間(CCV空間)に基づいて、さまざまな手オブジェクトのポーズとカメラの視点をカバーし、マイニング戦略によって現在の識別が難しいサンプルを適応的に強化できます。 ArtiBoostを単純な学習ベースラインネットワークに適用し、いくつかのハンドオブジェクトベンチマークでパフォーマンスが向上することを示します。説明に役立つ例として、ArtiBoostを使用すると、単純なベースラインネットワークでさえ、HO3DデータセットのTransformerに基づく以前の最先端のネットワークよりも優れたパフォーマンスを発揮できます。私たちのコードはhttps://github.com/MVIG-SJTU/ArtiBoostで入手できます。
Estimating the articulated 3D hand-object pose from a single RGB image is a highly ambiguous and challenging problem requiring large-scale datasets that contain diverse hand poses, object poses, and camera viewpoints. Most real-world datasets lack this diversity. In contrast, synthetic datasets can easily ensure vast diversity, but learning from them is inefficient and suffers from heavy training consumption. To address the above issues, we propose ArtiBoost, a lightweight online data enrichment method that boosts articulated hand-object pose estimation from the data perspective. ArtiBoost is employed along with a real-world source dataset. During training, ArtiBoost alternatively performs data exploration and synthesis. ArtiBoost can cover various hand-object poses and camera viewpoints based on a Compositional hand-object Configuration and Viewpoint space (CCV-space) and can adaptively enrich the current hard-discernable samples by a mining strategy. We apply ArtiBoost on a simple learning baseline network and demonstrate the performance boost on several hand-object benchmarks. As an illustrative example, with ArtiBoost, even a simple baseline network can outperform the previous start-of-the-art based on Transformer on the HO3D dataset. Our code is available at https://github.com/MVIG-SJTU/ArtiBoost.
updated: Sun Sep 12 2021 11:15:42 GMT+0000 (UTC)
published: Sun Sep 12 2021 11:15:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト