手のポーズと形状の推定の研究分野で利用可能なデータセットとツールの量と質は、達成された重要な進歩の証拠として機能します。両方の面で、さらにはそれを超えて、まだ改善の余地があることがわかりました。これまでに報告されている最高品質のデータセットでさえ、注釈に欠点があります。その方向を支援することができるツールが文献にありますが、それでもそれらは今のところ考慮されていません。これらのギャップを埋める方法を示すために、このような公開されているマルチカメラの手のデータセット(InterHand2.6M)を使用し、効果的な画像ベースの改良を実行して、不完全なグラウンドトゥルースアノテーションを改善し、より良いデータセットを生成します。画像ベースのリファインメントは、レイトレーシングによって実現されます。レイトレーシングは、関連する問題に対してこれまで採用されていなかった方法であり、これにより、過去に採用された近似的な代替手段よりも優れていることが示されます。信頼できるグラウンドトゥルースの欠如に取り組むために、私たちは現実的な合成データに頼り、私たちが誘発する改善が実際に重要であり、質的および量的にも重要であることを示します。
The amount and quality of datasets and tools available in the research field of hand pose and shape estimation act as evidence to the significant progress that has been made. We find that there is still room for improvement in both fronts, and even beyond. Even the datasets of the highest quality, reported to date, have shortcomings in annotation. There are tools in the literature that can assist in that direction and yet they have not been considered, so far. To demonstrate how these gaps can be bridged, we employ such a publicly available, multi-camera dataset of hands (InterHand2.6M), and perform effective image-based refinement to improve on the imperfect ground truth annotations, yielding a better dataset. The image-based refinement is achieved through raytracing, a method that has not been employed so far to relevant problems and is hereby shown to be superior to the approximative alternatives that have been employed in the past. To tackle the lack of reliable ground truth, we resort to realistic synthetic data, to show that the improvement we induce is indeed significant, qualitatively, and quantitatively, too.