arXiv reaDer
ターゲットがない人間の注意
Target-absent Human Attention
人間の視線行動の予測は、ユーザーの注意を予測できる人間とコンピューターの対話型システムを構築するために重要です。コンピュータビジョンモデルは、ターゲットオブジェクトを検索するときに人々が行う凝視を予測するために開発されました。しかし、画像にターゲットがない場合はどうでしょうか?同様に重要なのは、ターゲットが見つからない場合、および検索を停止する場合に、人々がどのように検索するかを知ることです。本論文では、検索終了問題に対処し、画像に表示されないターゲットを検索する人々によって行われる検索固定のスキャンパスを予測する最初のデータ駆動型計算モデルを提案します。視覚探索を模倣学習問題としてモデル化し、Foveated Feature Maps(FFM)と呼ばれる新しい状態表現を使用して、視聴者が凝視を通じて取得する内部知識を表現します。 FFMは、シミュレートされた中心窩網膜を事前にトレーニングされたConvNetに統合し、ネットワーク内の機能ピラミッドを生成します。これらはすべて最小限の計算オーバーヘッドで行われます。私たちの方法は、逆強化学習の状態表現としてFFMを統合します。実験的に、COCO-Search18データセットで人間のターゲットが存在しない検索動作を予測する際の最先端技術を改善します
The prediction of human gaze behavior is important for building human-computer interactive systems that can anticipate a user's attention. Computer vision models have been developed to predict the fixations made by people as they search for target objects. But what about when the image has no target? Equally important is to know how people search when they cannot find a target, and when they would stop searching. In this paper, we propose the first data-driven computational model that addresses the search-termination problem and predicts the scanpath of search fixations made by people searching for targets that do not appear in images. We model visual search as an imitation learning problem and represent the internal knowledge that the viewer acquires through fixations using a novel state representation that we call Foveated Feature Maps (FFMs). FFMs integrate a simulated foveated retina into a pretrained ConvNet that produces an in-network feature pyramid, all with minimal computational overhead. Our method integrates FFMs as the state representation in inverse reinforcement learning. Experimentally, we improve the state of the art in predicting human target-absent search behavior on the COCO-Search18 dataset
updated: Wed Nov 02 2022 01:02:51 GMT+0000 (UTC)
published: Mon Jul 04 2022 02:32:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト