このホワイト ペーパーでは、Teachable Reality を紹介します。これは、任意の日常的なオブジェクトを使用してインタラクティブで具体的な AR アプリケーションを作成するための拡張現実 (AR) プロトタイピング ツールです。 Teachable Reality は、ビジョンベースのインタラクティブな機械教育 (Teachable Machine など) を活用し、AR プロトタイピングのために現実世界の相互作用をキャプチャします。オンデマンドのコンピューター ビジョン モデルを使用して、ユーザー定義の具体的なジェスチャー操作を識別します。これに基づいて、ユーザーはプログラミングなしで機能する AR プロトタイプを簡単に作成でき、トリガー アクション オーサリング インターフェイスによって有効になります。したがって、私たちのアプローチは、現在のマーカーベースのアプローチの制限に対処できる具体的な AR アプリケーションの柔軟性、カスタマイズ可能性、および一般化可能性を可能にします。デザイン スペースを探索し、さまざまな AR プロトタイプのデモンストレーションを行います。これには、有形および変形可能なインターフェイス、コンテキスト認識アシスタント、身体駆動型 AR アプリケーションが含まれます。私たちのユーザー調査と専門家へのインタビューの結果は、私たちのアプローチが機能的な AR プロトタイプを作成する際の障壁を下げると同時に、柔軟で汎用的なプロトタイピング エクスペリエンスを可能にすることを確認しています。
This paper introduces Teachable Reality, an augmented reality (AR) prototyping tool for creating interactive tangible AR applications with arbitrary everyday objects. Teachable Reality leverages vision-based interactive machine teaching (e.g., Teachable Machine), which captures real-world interactions for AR prototyping. It identifies the user-defined tangible and gestural interactions using an on-demand computer vision model. Based on this, the user can easily create functional AR prototypes without programming, enabled by a trigger-action authoring interface. Therefore, our approach allows the flexibility, customizability, and generalizability of tangible AR applications that can address the limitation of current marker-based approaches. We explore the design space and demonstrate various AR prototypes, which include tangible and deformable interfaces, context-aware assistants, and body-driven AR applications. The results of our user study and expert interviews confirm that our approach can lower the barrier to creating functional AR prototypes while also allowing flexible and general-purpose prototyping experiences.