arXiv reaDer
Taking a HINT: Leveraging Explanations to Make Vision and Language Models More Grounded
  多くの視覚モデルと言語モデルは、視覚的基盤が不十分であることに苦しんでいます。多くの場合、画像の視覚的概念に基づいて判断するよりも、学習しやすい言語の優先順位に頼っています。この作業では、視覚的なグラウンディングを改善するために人間のデモンストレーションを効果的に活用する、Human Importance-aware Network Tuning(HINT)と呼ばれる一般的なアプローチを提案します。 HINTは、深いネットワークが人間と同じ入力領域に敏感であることを推奨します。私たちのアプローチは、人間の注意マップと勾配ベースのネットワークの重要性の間の調整を最適化します-モデルが見るだけでなく、予測を行う際に人間がタスクに関連する視覚的概念に頼ることを確実にします。視覚的質問応答および画像キャプションのタスクにHINTを適用し、トレーニングデータのわずか6%で人間の注意のデモンストレーションを使用して、言語の優先度(VQA-CPおよび堅牢なキャプション)への過度の依存を罰するスプリットでトップアプローチをしのぐ。
Many vision and language models suffer from poor visual grounding - often falling back on easy-to-learn language priors rather than basing their decisions on visual concepts in the image. In this work, we propose a generic approach called Human Importance-aware Network Tuning (HINT) that effectively leverages human demonstrations to improve visual grounding. HINT encourages deep networks to be sensitive to the same input regions as humans. Our approach optimizes the alignment between human attention maps and gradient-based network importances - ensuring that models learn not just to look at but rather rely on visual concepts that humans found relevant for a task when making predictions. We apply HINT to Visual Question Answering and Image Captioning tasks, outperforming top approaches on splits that penalize over-reliance on language priors (VQA-CP and robust captioning) using human attention demonstrations for just 6% of the training data.
updated: Mon Oct 28 2019 10:30:28 GMT+0000 (UTC)
published: Mon Feb 11 2019 07:28:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト