視覚的な質問応答(VQA)などのマルチモーダル推論タスクでは、多くのモデリングとトレーニングのパラダイムがテストされています。以前のモデルは、ビジョンと言語のタスクにさまざまな方法を提案していますが、サンプルであり、計算効率が高い一方で、どれが最高のパフォーマンスを発揮しますか?私たちの実験に基づいて、テキストを確率的プログラムとして表現し、画像をオブジェクトレベルのシーングラフとして表現することが、これらの要望を最もよく満たすことがわかりました。既存のモデルを拡張して、これらのソフトプログラムとシーングラフを活用し、エンドツーエンドの方法で質問と回答のペアをトレーニングします。経験的な結果は、この差別化可能なエンドツーエンドのプログラムエグゼキュータが、サンプルであり、計算効率が高い一方で、最先端の精度を維持できることを示しています。
In multi-modal reasoning tasks, such as visual question answering (VQA), there have been many modeling and training paradigms tested. Previous models propose different methods for the vision and language tasks, but which ones perform the best while being sample and computationally efficient? Based on our experiments, we find that representing the text as probabilistic programs and images as object-level scene graphs best satisfy these desiderata. We extend existing models to leverage these soft programs and scene graphs to train on question answer pairs in an end-to-end manner. Empirical results demonstrate that this differentiable end-to-end program executor is able to maintain state-of-the-art accuracy while being sample and computationally efficient.