arXiv reaDer
End-to-End Neuro-Symbolic Architecture for Image-to-Image Reasoning Tasks
最近、知覚と推論の両方を必要とするタスクのために、ニューラル モデルと記号アルゴリズムが組み合わされています。ニューラル モデルは、知覚入力を概念語彙に組み込み、出力を生成するために古典的な推論アルゴリズムを適用します。重要な制限は、そのようなニューラル ツー シンボリック モデルは、出力空間がシンボリックであるタスクに対してのみエンド ツー エンドでトレーニングできることです。この論文では、画像入力 (たとえば、部分的に塗りつぶされた数独) から画像出力 (たとえば、完成した数独の画像) への変換を必要とする推論タスクの神経記号神経モデルを研究します。このような 3 段階のハイブリッド アーキテクチャを設計するのは簡単かもしれませんが、重要な技術的課題は、エンド ツー エンドのトレーニング、つまり、象徴的なコンポーネントを介して中間の監督なしでバックプロパゲーションを行う方法です。画像再構成損失と新しい出力エンコーダーを組み合わせて監視信号を生成するアーキテクチャである NSNnet を提案し、監視にポリシー勾配法を活用する更新アルゴリズムを開発し、新しいサブサンプリング ヒューリスティックを使用して損失を最適化します。視覚的な迷路解決タスクと、監督が画像形式である視覚的な数独ソルバーなど、象徴的なアルゴリズムを簡単に指定できる問題設定について実験しています。実験は、純粋な神経アプローチと比較して大幅に少ないデータで高い精度を示しています。
Neural models and symbolic algorithms have recently been combined for tasks requiring both perception and reasoning. Neural models ground perceptual input into a conceptual vocabulary, on which a classical reasoning algorithm is applied to generate output. A key limitation is that such neural-to-symbolic models can only be trained end-to-end for tasks where the output space is symbolic. In this paper, we study neural-symbolic-neural models for reasoning tasks that require a conversion from an image input (e.g., a partially filled sudoku) to an image output (e.g., the image of the completed sudoku). While designing such a three-step hybrid architecture may be straightforward, the key technical challenge is end-to-end training -- how to backpropagate without intermediate supervision through the symbolic component. We propose NSNnet, an architecture that combines an image reconstruction loss with a novel output encoder to generate a supervisory signal, develops update algorithms that leverage policy gradient methods for supervision, and optimizes loss using a novel subsampling heuristic. We experiment on problem settings where symbolic algorithms are easily specified: a visual maze solving task and a visual Sudoku solver where the supervision is in image form. Experiments show high accuracy with significantly less data compared to purely neural approaches.
updated: Sun Jun 06 2021 13:27:33 GMT+0000 (UTC)
published: Sun Jun 06 2021 13:27:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト