マルチビュー画像またはビデオからの剛体の3D再構成の教師あり学習で多くの進歩が見られました。ただし、教師なしの方法でシングルビューRGB画像からひどく変形したオブジェクトを再構成することはより困難です。特定のカテゴリレベルのトレーニングなどのトレーニングベースの方法は、単一ビューの画像から硬いオブジェクトや鳥のようなわずかに変形したオブジェクトを正常に再構築することが示されていますが、ひどく変形したオブジェクトを効果的に処理することはできず、どちらも下流の一部に適用できません。再構築されるオブジェクトの採用された3Dテンプレートを定義する上で重要な、頂点の一貫性のないセマンティックな意味による現実世界のタスク。この作業では、シングルビュー画像から3D形状を推測し、再構築されたメッシュを下流のタスク、つまり絶対長測定に適用するためのテンプレートベースの方法を紹介します。 3Dグラウンドトゥルースを使用せずに、私たちの方法は3Dメッシュを忠実に再構築し、ひどく変形した魚のデータセットの長さ測定タスクで最先端の精度を実現します。
Much progress has been made in the supervised learning of 3D reconstruction of rigid objects from multi-view images or a video. However, it is more challenging to reconstruct severely deformed objects from a single-view RGB image in an unsupervised manner. Although training-based methods, such as specific category-level training, have been shown to successfully reconstruct rigid objects and slightly deformed objects like birds from a single-view image, they cannot effectively handle severely deformed objects and neither can be applied to some downstream tasks in the real world due to the inconsistent semantic meaning of vertices, which are crucial in defining the adopted 3D templates of objects to be reconstructed. In this work, we introduce a template-based method to infer 3D shapes from a single-view image and apply the reconstructed mesh to a downstream task, i.e., absolute length measurement. Without using 3D ground truth, our method faithfully reconstructs 3D meshes and achieves state-of-the-art accuracy in a length measurement task on a severely deformed fish dataset.