arXiv reaDer
Boosting Image Recognition with Non-differentiable Constraints
  この論文では、微分不可能な制約を持つ画像認識の問題を研究します。現実の認識アプリケーションの多くは、離散的または微分不可能な関数によってモデル化された決定論的制約を備えた豊富な出力構造を必要とします。主要な例は、数字のシーケンスを認識することです。数字のシーケンスは、このようなルールによって制限されます(たとえば、\ textit {コンテナコード検出、\ textit {社会保険番号の認識など)。ディジットシーケンス認識のタスクの学習で微分不可能な制約を追加することの有用性を調査します。この目標に向けて、MNISTとCropped SVHNからの6つの異なるデータセットを合成し、実際のプロトコルに触発された3つの個別のルールを使用します。これらのルールの非微分可能性に対処するために、ポリシーグラジエント法に基づく強化学習アプローチを提案します。このルールベースの強化を組み込むと、すべてのデータセットの精度が効果的に向上し、限られたデータでもモデルを改善する優れた誘導バイアスを提供できることがわかります。データセットの1つであるMNIST \ _Rule2では、ルールベースの強化でトレーニングされたモデルにより、2000サンプルでは4.7 \%、500サンプルでは23.6 \%の精度が向上します。合成された敵の例、たとえば数字のブロックに対してモデルをさらにテストし、ルールベースの強化を追加すると、比較的小さなパフォーマンス低下でモデルの堅牢性が向上することを観察します。
In this paper, we study the problem of image recognition with non-differentiable constraints. A lot of real-life recognition applications require a rich output structure with deterministic constraints that are discrete or modeled by a non-differentiable function. A prime example is recognizing digit sequences, which are restricted by such rules (e.g., \textit{container code detection, \textit{social insurance number recognition, etc.). We investigate the usefulness of adding non-differentiable constraints in learning for the task of digit sequence recognition. Toward this goal, we synthesize six different datasets from MNIST and Cropped SVHN, with three discrete rules inspired by real-life protocols. To deal with the non-differentiability of these rules, we propose a reinforcement learning approach based on the policy gradient method. We find that incorporating this rule-based reinforcement can effectively increase the accuracy for all datasets and provide a good inductive bias which improves the model even with limited data. On one of the datasets, MNIST\_Rule2, models trained with rule-based reinforcement increase the accuracy by 4.7\% for 2000 samples and 23.6\% for 500 samples. We further test our model against synthesized adversarial examples, e.g., blocking out digits, and observe that adding our rule-based reinforcement increases the model robustness with a relatively smaller performance drop.
updated: Wed Oct 02 2019 01:21:21 GMT+0000 (UTC)
published: Wed Oct 02 2019 01:21:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト