プログラミングを行わずに静的な数学の教科書を拡張することで、AR で探索可能な説明を作成するための機械学習ベースのアプローチである拡張数学を紹介します。静的文書を拡張するために、当社のシステムはまず光学式文字認識 (OCR) とコンピューター ビジョンを使用して、指定された文書から数式と数値を抽出します。これらの抽出されたコンテンツをバインドして操作することにより、ユーザーはモバイル AR インターフェイスを通じてドキュメントにインタラクティブなアニメーションをオーバーレイして見ることができます。これにより、教師や生徒などの技術者以外のユーザーが、既存の数学の教科書や配布資料を、オンデマンドでパーソナライズされた探索可能な説明に変換できるようになります。システムを設計するために、まず既存の探索可能な数学的説明を分析して、一般的な設計戦略を特定しました。調査結果に基づいて、抽出されたコンテンツに基づいて自動的に生成できる拡張技術のセットを開発しました。これらの拡張技術は、1) 動的な値、2) インタラクティブな図、3) 関係のハイライト、4) 具体的な例、5) ステップです。段階的なヒント。システムを評価するために、予備的なユーザー テストと専門家へのインタビューという 2 つのユーザー調査を実施します。研究結果は、私たちのシステムが数学の概念を学習するためのより魅力的な体験を可能にすることを裏付けています。
We introduce Augmented Math, a machine learning-based approach to authoring AR explorable explanations by augmenting static math textbooks without programming. To augment a static document, our system first extracts mathematical formulas and figures from a given document using optical character recognition (OCR) and computer vision. By binding and manipulating these extracted contents, the user can see the interactive animation overlaid onto the document through mobile AR interfaces. This empowers non-technical users, such as teachers or students, to transform existing math textbooks and handouts into on-demand and personalized explorable explanations. To design our system, we first analyzed existing explorable math explanations to identify common design strategies. Based on the findings, we developed a set of augmentation techniques that can be automatically generated based on the extracted content, which are 1) dynamic values, 2) interactive figures, 3) relationship highlights, 4) concrete examples, and 5) step-by-step hints. To evaluate our system, we conduct two user studies: preliminary user testing and expert interviews. The study results confirm that our system allows more engaging experiences for learning math concepts.