arXiv reaDer
ArtiBoost:オンライン探索と合成による関節式3D手オブジェクトポーズ推定の強化
ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis
単一のRGB画像から関節のある3D手オブジェクトのポーズを推定することは、非常にあいまいで困難な問題であり、さまざまな手のポーズ、オブジェクトタイプ、およびカメラの視点を含む大規模なデータセットが必要です。ほとんどの実際のデータセットには、これらの多様性が欠けています。対照的に、データ合成では、これらの多様性を個別に簡単に確認できます。ただし、有効で多様な手とオブジェクトの相互作用の両方を構築し、膨大な合成データから効率的に学習することは依然として困難です。上記の問題に対処するために、軽量のオンラインデータ拡張方法であるArtiBoostを提案します。 ArtiBoostは、合成手オブジェクト構成および視点空間(CCV空間)でサンプリングすることにより、さまざまな手オブジェクトのポーズとカメラの視点をカバーでき、損失フィードバックとサンプルの再重み付けによって、現在の識別が難しいアイテムを適応的に強化できます。 ArtiBoostは、学習パイプライン内でデータの探索と合成を交互に実行し、それらの合成データはトレーニングのために実際のソースデータにブレンドされます。 ArtiBoostを単純な学習ベースラインネットワークに適用し、いくつかのハンドオブジェクトベンチマークでパフォーマンスが向上するのを目撃します。モデルとコードはhttps://github.com/lixiny/ArtiBoostで入手できます。
Estimating the articulated 3D hand-object pose from a single RGB image is a highly ambiguous and challenging problem, requiring large-scale datasets that contain diverse hand poses, object types, and camera viewpoints. Most real-world datasets lack these diversities. In contrast, data synthesis can easily ensure those diversities separately. However, constructing both valid and diverse hand-object interactions and efficiently learning from the vast synthetic data is still challenging. To address the above issues, we propose ArtiBoost, a lightweight online data enhancement method. ArtiBoost can cover diverse hand-object poses and camera viewpoints through sampling in a Composited hand-object Configuration and Viewpoint space (CCV-space) and can adaptively enrich the current hard-discernable items by loss-feedback and sample re-weighting. ArtiBoost alternatively performs data exploration and synthesis within a learning pipeline, and those synthetic data are blended into real-world source data for training. We apply ArtiBoost on a simple learning baseline network and witness the performance boost on several hand-object benchmarks. Our models and code are available at https://github.com/lixiny/ArtiBoost.
updated: Fri Mar 25 2022 09:08:15 GMT+0000 (UTC)
published: Sun Sep 12 2021 11:15:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト