顕著性予測とは、明白な注意をモデル化する計算タスクを指します。社会的合図は私たちの注意に大きく影響し、その結果、私たちの眼球運動と行動を変えます。そのような機能の有効性を強調するために、社会的合図を統合し、それらの影響を重み付けするための神経モデルを提示します。私たちのモデルは2つの段階で構成されています。最初の段階では、視線を追跡し、視線の方向を推定し、影響を認識することによって、2つの社会的合図を検出します。これらの機能は、画像処理操作によって時空間マップに変換されます。変換された表現は、社会的合図を統合するためのレイトフュージョンのさまざまな手法を探求し、関連する刺激に注意を向けるための2つのサブネットワークを導入する第2段階(GASP)に伝播されます。私たちの実験は、融合アプローチが静的積分法でより良い結果を達成するのに対し、各モダリティの影響が不明な非融合アプローチは、動的顕著性予測の反復モデルと組み合わせるとより良い結果をもたらすことを示しています。視線の方向と感情的な表現は、社会的合図のない動的顕著性モデルと比較して、少なくとも5%のグラウンドトゥルース対応の改善に予測を与えることを示します。さらに、感情表現はGASPを改善し、顕著性を予測する際に感情に偏った注意を考慮する必要性をサポートします。
Saliency prediction refers to the computational task of modeling overt attention. Social cues greatly influence our attention, consequently altering our eye movements and behavior. To emphasize the efficacy of such features, we present a neural model for integrating social cues and weighting their influences. Our model consists of two stages. During the first stage, we detect two social cues by following gaze, estimating gaze direction, and recognizing affect. These features are then transformed into spatiotemporal maps through image processing operations. The transformed representations are propagated to the second stage (GASP) where we explore various techniques of late fusion for integrating social cues and introduce two sub-networks for directing attention to relevant stimuli. Our experiments indicate that fusion approaches achieve better results for static integration methods, whereas non-fusion approaches for which the influence of each modality is unknown, result in better outcomes when coupled with recurrent models for dynamic saliency prediction. We show that gaze direction and affective representations contribute a prediction to ground-truth correspondence improvement of at least 5% compared to dynamic saliency models without social cues. Furthermore, affective representations improve GASP, supporting the necessity of considering affect-biased attention in predicting saliency.