最近導入された画像表現学習の自己教師あり方法は、完全に教師ありの競合他社と同等またはそれ以上の結果をもたらしますが、自己教師ありアプローチを説明するための対応する取り組みは遅れています。この観察に動機付けられて、自然言語処理で以前に採用されたプロービングタスクを活用することによって自己監視モデルを説明するための新しい視覚的プロービングフレームワークを紹介します。プロービングタスクには、画像パーツ間の意味関係に関する知識が必要です。したがって、視覚的な単語、文脈、分類法など、視覚における自然言語の類似物を取得するための体系的なアプローチを提案します。私たちの提案は、マーの視覚の計算理論に基づいており、テクスチャ、形状、線などの特徴に関係しています。自己監視表現を説明するコンテキストで、これらの類似体の有効性と適用可能性を示します。私たちの主な調査結果は、言語と視覚の関係が、データモダリティとは無関係に、機械学習モデルがどのように機能するかを発見するための効果的で直感的なツールとして役立つ可能性があることを強調しています。私たちの仕事は、より説明可能で透明性の高いAIに向けた多数の研究経路を開きます。
Recently introduced self-supervised methods for image representation learning provide on par or superior results to their fully supervised competitors, yet the corresponding efforts to explain the self-supervised approaches lag behind. Motivated by this observation, we introduce a novel visual probing framework for explaining the self-supervised models by leveraging probing tasks employed previously in natural language processing. The probing tasks require knowledge about semantic relationships between image parts. Hence, we propose a systematic approach to obtain analogs of natural language in vision, such as visual words, context, and taxonomy. Our proposal is grounded in Marr's computational theory of vision and concerns features like textures, shapes, and lines. We show the effectiveness and applicability of those analogs in the context of explaining self-supervised representations. Our key findings emphasize that relations between language and vision can serve as an effective yet intuitive tool for discovering how machine learning models work, independently of data modality. Our work opens a plethora of research pathways towards more explainable and transparent AI.