arXiv reaDer
物理学に基づいたコンピューター ビジョン: レビューと展望
Physics-Informed Computer Vision: A Review and Perspectives
機械学習フレームワークに物理情報を組み込むことで、多くのアプリケーション領域が開かれ、変革されています。ここでは、基本的な知識と支配的な物理法則の導入を通じて学習プロセスが強化されます。この研究では、視覚データの解釈と理解におけるコンピュータ ビジョン タスクにおけるそれらの有用性を探ります。物理法則に基づいたコンピューター ビジョン タスクへの定式化とアプローチに関する体系的な文献レビューを紹介します。まず、一般的なコンピューター ビジョン パイプラインをステージの分類に分解し、各ステージに支配的な物理方程式を組み込むアプローチを調査します。各タスクにおける既存のアプローチは、どの支配的な物理プロセスがモデル化、定式化され、どのように組み込まれるか、つまりデータの変更 (観察バイアス)、ネットワークの変更 (帰納的バイアス)、損失の変更 (学習バイアス) に関して分析されます。この分類法は、物理学に基づく学習がどこで実施され、どこにギャップや機会があるのかを強調し、物理学に基づいた機能の適用に関する統一的なビューを提供します。最後に、今後の研究に役立つ未解決の問題と課題を強調します。物理学に基づいたコンピュータ ビジョンの研究はまだ初期段階にありますが、より現実的なアプリケーションにおける物理的な妥当性、精度、データ効率、一般化を向上させることができる、より優れたコンピュータ ビジョン モデルを開発することが期待されています。
Incorporation of physical information in machine learning frameworks are opening and transforming many application domains. Here the learning process is augmented through the induction of fundamental knowledge and governing physical laws. In this work we explore their utility for computer vision tasks in interpreting and understanding visual data. We present a systematic literature review of formulation and approaches to computer vision tasks guided by physical laws. We begin by decomposing the popular computer vision pipeline into a taxonomy of stages and investigate approaches to incorporate governing physical equations in each stage. Existing approaches in each task are analyzed with regard to what governing physical processes are modeled, formulated and how they are incorporated, i.e. modify data (observation bias), modify networks (inductive bias), and modify losses (learning bias). The taxonomy offers a unified view of the application of the physics-informed capability, highlighting where physics-informed learning has been conducted and where the gaps and opportunities are. Finally, we highlight open problems and challenges to inform future research. While still in its early days, the study of physics-informed computer vision has the promise to develop better computer vision models that can improve physical plausibility, accuracy, data efficiency and generalization in increasingly realistic applications.
updated: Thu Jun 01 2023 03:40:50 GMT+0000 (UTC)
published: Mon May 29 2023 11:55:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト