テキストベースの画像検索は、近年かなりの進歩を遂げています。ただし、ユーザーが複雑なシーンの不完全な説明を提供する可能性があり、不完全な説明に一致する誤検知で満たされた結果につながる可能性があるため、既存のメソッドのパフォーマンスは実際には低下します。この作業では、部分クエリ問題を紹介し、テキストベースの画像検索への影響を広範囲に分析します。次に、Part2Wholeと呼ばれるインタラクティブな検索フレームワークを提案し、欠落している詳細を繰り返し強化することでこの問題に取り組みます。具体的には、インタラクティブ検索エージェントは、ユーザーフレンドリーなインタラクションとギャラリーの統計的特性に基づいて初期クエリを絞り込むための最適なポリシーを構築するようにトレーニングされています。差別化情報のフィードバックをユーザーに大きく依存する他のダイアログベースの方法と比較して、AIが最適なフィードバック検索プロセスを引き継ぎ、詳細に関する確認ベースの質問でユーザーにヒントを与えます。さらに、人間と機械の対話データを取得するのが難しいため、完全な教師ありトレーニングは実行できないことが多いため、テキスト画像データセット以外の人間の注釈付きデータを必要としない、弱教師あり強化学習方法を提示します。実験は、私たちのフレームワークが複雑なシーンでのテキストベースの画像検索のパフォーマンスを大幅に改善することを示しています。
Text-based image retrieval has seen considerable progress in recent years. However, the performance of existing methods suffers in real life since the user is likely to provide an incomplete description of a complex scene, which often leads to results filled with false positives that fit the incomplete description. In this work, we introduce the partial-query problem and extensively analyze its influence on text-based image retrieval. We then propose an interactive retrieval framework called Part2Whole to tackle this problem by iteratively enriching the missing details. Specifically, an Interactive Retrieval Agent is trained to build an optimal policy to refine the initial query based on a user-friendly interaction and statistical characteristics of the gallery. Compared to other dialog-based methods that rely heavily on the user to feed back differentiating information, we let AI take over the optimal feedback searching process and hint the user with confirmation-based questions about details. Furthermore, since fully-supervised training is often infeasible due to the difficulty of obtaining human-machine dialog data, we present a weakly-supervised reinforcement learning method that needs no human-annotated data other than the text-image dataset. Experiments show that our framework significantly improves the performance of text-based image retrieval under complex scenes.