ディープラーニングの進歩により、コンピューターで生成された画像のレンダリングを解除することにより、グラフィックプログラムを推測する上で有望な進歩がもたらされました。ただし、現在の方法では、どのデコード方法がグラフィックプログラムを推測するためのより良い誘導バイアスにつながるかを調査していません。私たちの仕事では、最初に、順序に依存しないグラフィックプログラムのデコーダーとしてのLSTM-RNNネットワークとTransformerネットワークの有効性を調査します。これらはシーケンスモデルであるため、尤度トレーニングのためにグラフィックプログラム内のオブジェクトの順序を選択する必要があります。 LSTMのパフォーマンスはシーケンスの順序(ランダムな順序とパターンベースの順序)に非常に敏感であるのに対し、Transformerのパフォーマンスはシーケンスの順序とはほぼ無関係であることがわかりました。さらに、グラフィックプログラムの仕様とレンダリングされた画像の両方に基づく複数の多様な報酬を介してデコーダーの誘導バイアスを改善するためのポリシー勾配ベースの強化学習アプローチを提示します。また、これらの補完的な報酬の組み合わせについても説明します。 2つのグラフィックプログラム生成データセットで最先端の結果を達成します。
Advances in deep learning have led to promising progress in inferring graphics programs by de-rendering computer-generated images. However, current methods do not explore which decoding methods lead to better inductive bias for inferring graphics programs. In our work, we first explore the effectiveness of LSTM-RNN versus Transformer networks as decoders for order-independent graphics programs. Since these are sequence models, we must choose an ordering of the objects in the graphics programs for likelihood training. We found that the LSTM performance was highly sensitive to the sequence ordering (random order vs. pattern-based order), while Transformer performance was roughly independent of the sequence ordering. Further, we present a policy gradient based reinforcement learning approach for better inductive bias in the decoder via multiple diverse rewards based both on the graphics program specification and the rendered image. We also explore the combination of these complementary rewards. We achieve state-of-the-art results on two graphics program generation datasets.