コンテキスト推論は、以前の経験と知識に照らして現在の入力を解釈する必要があるさまざまなアプリケーションで重要です。空間的および時間的コンテキスト情報は、視覚認識の領域で重要な役割を果たします。ここでは、空間的制約(どの画像機能がコンテキスト情報を提供するか、それらがどこに位置するか)、および視覚的認識のための時間的制約(異なるコンテキストキューが重要な場合)を調査します。タスクは、シーンのコンテキストについて推論し、フラップの後ろに隠れているターゲットオブジェクトが自然な画像に含まれているものを推測することです。この問題に取り組むために、まず、リフトフラップゲームでマウスクリックによるアクティブサンプリングを記録するオンラインの人間心理物理学実験について説明し、コンテキストの高い推論精度を診断するクリックパターンと機能を特定します。これらのクリックパターンと視覚的特徴の有用性を証明するために、顕著なコンテキスト領域に対応し、有用な情報を動的に統合し、推論を行い、ターゲットオブジェクトのクラスラベルを予測できる最新のリカレントモデルを拡張します複数回クリックします。提案されたモデルは、人間レベルのコンテキスト推論の精度を達成し、人間に似たサンプリング動作を共有し、コンテキスト推論の解釈可能な機能を学習します。
Context reasoning is critical in a wide variety of applications where current inputs need to be interpreted in the light of previous experience and knowledge. Both spatial and temporal contextual information play a critical role in the domain of visual recognition. Here we investigate spatial constraints (what image features provide contextual information and where they are located), and temporal constraints (when different contextual cues matter) for visual recognition. The task is to reason about the scene context and infer what a target object hidden behind a flap is in a natural image. To tackle this problem, we first describe an online human psychophysics experiment recording active sampling via mouse clicks in lift-the-flap games and identify clicking patterns and features which are diagnostic for high contextual reasoning accuracy. As a proof of the usefulness of these clicking patterns and visual features, we extend a state-of-the-art recurrent model capable of attending to salient context regions, dynamically integrating useful information, making inferences, and predicting class label for the target object over multiple clicks. The proposed model achieves human-level contextual reasoning accuracy, shares human-like sampling behavior and learns interpretable features for contextual reasoning.