マリウス・フォン・センデンの宇宙と視力では、新たに目が見えた盲目の患者は、角がレモンのように「刺す」光景が舌を刺すので、角の経験をレモンのように説明します。ここでの厄介さは、感覚体験の特徴空間における次元であり、2つが相互作用する場所で発生する知覚者に対する知覚の影響です。新たに目撃されたアカウントでは、1つの相互作用でおなじみの効果が新しいコンテキストに変換されます。知覚は、さまざまな経験間で共有される効果がそれらの経験に基づいた具体的な抽象化を生み出すという点で、一般化の手段として機能します。経験翻訳の言語に堪能なセザンヌとポスト印象派は、現実を最もよく反映する具体的な形を描く方法は、彼らが見たものではなく、見たものを描くことであることに気づきました。私たちは、AIを使用した創造の未来を想像しています。そこでは、複製可能、転送可能、操作可能であり、特定のコンテキストに基づいており、それを超えて一般化できるアーティストのパレットの一部です。活発な研究ラインは、人間が解釈できる特徴をGAN潜在空間の方向にマッピングします。予想される方向を検索したり、既成の分類器を使用して埋め込みスペースで画像操作を駆動したりする教師ありおよび自己教師ありアプローチは、発見できる機能の種類が限られています。有用な新しい方向を発見する教師なしアプローチは、知覚的に意味のある方向の空間が完全にマッピングされるにはほど遠いことを示しています。この空間は広く、創造的な可能性に満ちているため、人間の知覚の豊かさと一般化可能性を捉えた方向性発見のためのツールが必要です。私たちのアプローチは、リアルタイムのツール使用中にクリエイターを発見ループに入れ、知覚的に意味のある方向を特定し、それらの方向に沿って解釈可能な画像翻訳を生成します。
In Marius von Senden's Space and Sight, a newly sighted blind patient describes the experience of a corner as lemon-like, because corners "prick" sight like lemons prick the tongue. Prickliness, here, is a dimension in the feature space of sensory experience, an effect of the perceived on the perceiver that arises where the two interact. In the account of the newly sighted, an effect familiar from one interaction translates to a novel context. Perception serves as the vehicle for generalization, in that an effect shared across different experiences produces a concrete abstraction grounded in those experiences. Cezanne and the post-impressionists, fluent in the language of experience translation, realized that the way to paint a concrete form that best reflected reality was to paint not what they saw, but what it was like to see. We envision a future of creation using AI where what it is like to see is replicable, transferrable, manipulable - part of the artist's palette that is both grounded in a particular context, and generalizable beyond it. An active line of research maps human-interpretable features onto directions in GAN latent space. Supervised and self-supervised approaches that search for anticipated directions or use off-the-shelf classifiers to drive image manipulation in embedding space are limited in the variety of features they can uncover. Unsupervised approaches that discover useful new directions show that the space of perceptually meaningful directions is nowhere close to being fully mapped. As this space is broad and full of creative potential, we want tools for direction discovery that capture the richness and generalizability of human perception. Our approach puts creators in the discovery loop during real-time tool use, in order to identify directions that are perceptually meaningful to them, and generate interpretable image translations along those directions.