MosAIcを紹介します。これは、ユーザーがさまざまな文化、メディア、数千年にまたがる意味的に関連するアートワークのペアを見つけることができるインタラクティブなWebアプリです。このアプリケーションを作成するために、視覚的な類似性検索とユーザー指定のフィルターまたは「条件」を組み合わせた条件付き画像検索(CIR)を紹介します。この手法により、画像コーパスの異なるサブセットにまたがる類似画像のペアを見つけることができます。既存の画像検索データ構造をこの新しいドメインに適応させる一般的な方法を提供し、アプローチの効率に理論的な限界を提供します。 CIRシステムのパフォーマンスを定量化するために、CIRメソッドを評価するための新しいデータセットを導入し、CIRがノンパラメトリックスタイルの転送を実行することを示します。最後に、CIRデータ構造が、真のデータ分布を適切にモデル化できない生成的敵対的ネットワーク(GAN)の「死角」を特定できることを示します。
We introduce MosAIc, an interactive web app that allows users to find pairs of semantically related artworks that span different cultures, media, and millennia. To create this application, we introduce Conditional Image Retrieval (CIR) which combines visual similarity search with user supplied filters or "conditions". This technique allows one to find pairs of similar images that span distinct subsets of the image corpus. We provide a generic way to adapt existing image retrieval data-structures to this new domain and provide theoretical bounds on our approach's efficiency. To quantify the performance of CIR systems, we introduce new datasets for evaluating CIR methods and show that CIR performs non-parametric style transfer. Finally, we demonstrate that our CIR data-structures can identify "blind spots" in Generative Adversarial Networks (GAN) where they fail to properly model the true data distribution.