インスタンスの確率を推定するためのクエリ自動補完の新しいタスクを提示します。画像を条件とするユーザークエリプレフィックスを完成させます。完全なクエリが与えられると、広範なインスタンスのセットの確率を推定するためにBERT埋め込みを微調整します。結果のインスタンス確率は、セグメンテーションまたはアテンションメカニズムにとらわれずに選択に使用されます。私たちの結果は、言語とビジョンの両方を使用した自動補完が言語のみを使用した場合よりも優れていること、およびBERT埋め込みの微調整により画像内のインスタンスを効率的にランク付けできることを示しています。再現性のある研究の精神で、データ、モデル、コードを利用できるようにします。
We present a new task of query auto-completion for estimating instance probabilities. We complete a user query prefix conditioned upon an image. Given the complete query, we fine tune a BERT embedding for estimating probabilities of a broad set of instances. The resulting instance probabilities are used for selection while being agnostic to the segmentation or attention mechanism. Our results demonstrate that auto-completion using both language and vision performs better than using only language, and that fine tuning a BERT embedding allows to efficiently rank instances in the image. In the spirit of reproducible research we make our data, models, and code available.