arXiv reaDer
潜在実行セルフトレーニングを使用して形状プログラムを推測することを学ぶ
Learning to Infer Shape Programs Using Latent Execution Self Training
2Dおよび3D形状を生成するプログラムを推測することは、リバースエンジニアリング、形状編集の有効化などにとって重要です。ペア(プログラム、形状)データはめったに存在しないため、教師あり学習をこの問題に適用することは困難です。最近のアプローチでは、ランダムに生成されたプログラムを使用した教師あり事前トレーニングを使用し、自己教師あり学習を使用して改良します。ただし、自己教師あり学習では、プログラムの実行プロセスを微分可能にするか、強化学習に依存する必要があります。強化学習は不安定で、収束に時間がかかります。この論文では、形状プログラムを推測することを学習するための新しいアプローチを提示します。これを潜在実行セルフトレーニング(LEST)と呼びます。最近の以前の作業と同様に、LESTはランダムに生成された(プログラム、形状)ペアのトレーニングから始まります。その名前が示すように、それは自己トレーニングのアイデアに基づいています。ラベルのない入力形状でモデルを実行し、予測されたプログラムをグラウンドトゥルース潜在ラベルとして扱い、再度トレーニングします。自己訓練は極小値の影響を受けやすいことが知られています。 LESTは、予測された潜在プログラムが実行可能であるという事実を活用することにより、この問題を回避します。与えられた形状x ^ *∈S^ *とその予測されたプログラムz∈Pに対して、zを実行して形状x∈Sを取得し、(z∈ (z∈P、x ^ *∈S^ *)ペアではなく、P、x∈S)ペア。実験は、実行された形状Sの分布が実際の形状S ^ *の分布に向かって収束することを示しています。 LESTと、変分ベイズ法、覚醒睡眠、期待値の最大化などの生成モデルを学習するためのアルゴリズムとの関係を確立します。建設的なソリッドジオメトリとアセンブリベースのモデリングの場合、LESTの推定プログラムは、強化学習のプログラムよりも大幅に高速に高い再構成精度に収束します。
Inferring programs which generate 2D and 3D shapes is important for reverse engineering, enabling shape editing, and more. Supervised learning is hard to apply to this problem, as paired (program, shape) data rarely exists. Recent approaches use supervised pre-training with randomly-generated programs and then refine using self-supervised learning. But self-supervised learning either requires that the program execution process be differentiable or relies on reinforcement learning, which is unstable and slow to converge. In this paper, we present a new approach for learning to infer shape programs, which we call latent execution self training (LEST). As with recent prior work, LEST starts by training on randomly-generated (program, shape) pairs. As its name implies, it is based on the idea of self-training: running a model on unlabeled input shapes, treating the predicted programs as ground truth latent labels, and training again. Self-training is known to be susceptible to local minima. LEST circumvents this problem by leveraging the fact that predicted latent programs are executable: for a given shape x^* ∈S^* and its predicted program z ∈P, we execute z to obtain a shape x ∈S and train on (z ∈P, x ∈S) pairs, rather than (z ∈P, x^* ∈S^*) pairs. Experiments show that the distribution of executed shapes S converges toward the distribution of real shapes S^*. We establish connections between LEST and algorithms for learning generative models, including variational Bayes, wake sleep, and expectation maximization. For constructive solid geometry and assembly-based modeling, LEST's inferred programs converge to high reconstruction accuracy significantly faster than those of reinforcement learning.
updated: Wed Nov 25 2020 22:10:32 GMT+0000 (UTC)
published: Wed Nov 25 2020 22:10:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト