arXiv reaDer
Flatlandを超えて:強力な3D誘導バイアスによる事前トレーニング
Beyond Flatland: Pre-training with a Strong 3D Inductive Bias
自然画像で構成される大規模データベースでの事前トレーニングと、手元のアプリケーションに合うようにそれらを微調整すること、または転送学習は、コンピュータービジョンで人気のある戦略です。しかし、片岡ら、2020は、トレーニングコーパスとして2Dフラクタルを生成するための新しい合成式ベースの方法を提案することにより、教師あり深層学習で自然画像の必要性を排除する手法を導入しました。クラスごとに1つの合成的に生成されたフラクタルを使用して、自然画像で事前トレーニングされたモデルに匹敵する転移学習結果を達成しました。このプロジェクトでは、彼らの仕事からインスピレーションを得て、このアイデアに基づいて、3D手続き型オブジェクトレンダリングを使用します。自然界での画像形成プロセスはその3D構造に基づいているため、3Dメッシュレンダリングを使用した事前トレーニングにより、暗黙のバイアスが提供され、転移学習設定での一般化機能が向上し、3D回転と照明への不変性が容易になることが期待されます。 3Dデータに基づいて学習します。前の作業と同様に、トレーニングコーパスは完全に合成され、単純な手続き型戦略から派生します。従来のデータ拡張を超えて、設定で制御可能な照明とポーズを変更し、前の作業に関連して転送学習機能への影響を調査します。さらに、2Dフラクタルおよび3D手続き型オブジェクトネットワークを人間および人間以外の霊長類の脳データと比較して、生物学的視覚の2Dと3Dの性質について詳しく学びます。
Pre-training on large-scale databases consisting of natural images and then fine-tuning them to fit the application at hand, or transfer-learning, is a popular strategy in computer vision. However, Kataoka et al., 2020 introduced a technique to eliminate the need for natural images in supervised deep learning by proposing a novel synthetic, formula-based method to generate 2D fractals as training corpus. Using one synthetically generated fractal for each class, they achieved transfer learning results comparable to models pre-trained on natural images. In this project, we take inspiration from their work and build on this idea -- using 3D procedural object renders. Since the image formation process in the natural world is based on its 3D structure, we expect pre-training with 3D mesh renders to provide an implicit bias leading to better generalization capabilities in a transfer learning setting and that invariances to 3D rotation and illumination are easier to be learned based on 3D data. Similar to the previous work, our training corpus will be fully synthetic and derived from simple procedural strategies; we will go beyond classic data augmentation and also vary illumination and pose which are controllable in our setting and study their effect on transfer learning capabilities in context to prior work. In addition, we will compare the 2D fractal and 3D procedural object networks to human and non-human primate brain data to learn more about the 2D vs. 3D nature of biological vision.
updated: Tue Nov 30 2021 21:30:24 GMT+0000 (UTC)
published: Tue Nov 30 2021 21:30:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト