arXiv reaDer
単眼斜め視覚データ分析のための半自動モノプロッティングのAIサポートフレームワーク
AI-supported Framework of Semi-Automatic Monoplotting for Monocular Oblique Visual Data Analysis
過去数十年の間に、スマートフォン、ドローン、空中パトロール、デジタルカメラの開発により、大勢の人々が利用できる高品質の写真が可能になり、世界中をカバーする自然と社会の膨大なデータを収集する機会が提供されました。ただし、新しい写真ツールで収集されたデータは通常、斜めになっています。地理参照するのが難しく、大量のデータが廃止されることがよくあります。斜めの画像データの地理参照は、モノプロッティングと呼ばれる手法で解決できます。この手法では、単一の画像と数値標高モデル(DEM)のみが必要です。従来のモノプロットでは、人間のユーザーは画像とDEMで一連の地上制御点(GCP)ペアを手動で選択し、カメラの外因性および内因性パラメーターを決定して、写真とDEMの間のピクセルレベルの対応を確立する必要があります。写真内のオブジェクトのマッピングとジオリファレンスを有効にします。この従来の方法は、労働集約的な入力、明確に定義されたGCPを特定するための豊富な経験の必要性、カメラのポーズ推定の制限など、いくつかの課題のためにスケーリングが困難です。したがって、既存のモノプロット手法は、大規模なデータベースやほぼリアルタイムの警告システムの分析に使用されることはめったにありません。この論文では、最小限の人間の介入を必要とする写真とDEM間のピクセルレベルの対応を提供する新しい半自動モノプロットフレームワークを提案し、実証します。画像とDEMラスターでのキーポイント検出、地理参照された3D DEM GCPの取得、正規化された勾配ベースの最適化、ポーズ推定、レイトレーシング、画像ピクセルと実世界の座標との対応の識別など、分析のパイプラインが開発されました。 2つの数値実験は、フレームワークが3D座標での視覚データの地理参照に優れていることを示しており、完全自動のモノプロット手法への道を開いています。
In the last decades, the development of smartphones, drones, aerial patrols, and digital cameras enabled high-quality photographs available to large populations and, thus, provides an opportunity to collect massive data of the nature and society with global coverage. However, the data collected with new photography tools is usually oblique - they are difficult to be georeferenced, and huge amounts of data is often obsolete. Georeferencing oblique imagery data may be solved by a technique called monoplotting, which only requires a single image and Digital Elevation Model (DEM). In traditional monoplotting, a human user has to manually choose a series of ground control point (GCP) pairs in the image and DEM and then determine the extrinsic and intrinsic parameters of the camera to establish a pixel-level correspondence between photos and the DEM to enable the mapping and georeferencing of objects in photos. This traditional method is difficult to scale due to several challenges including the labor-intensive inputs, the need of rich experience to identify well-defined GCPs, and limitations in camera pose estimation. Therefore, existing monoplotting methods are rarely used in analyzing large-scale databases or near-real-time warning systems. In this paper, we propose and demonstrate a novel semi-automatic monoplotting framework that provides pixel-level correspondence between photos and DEMs requiring minimal human interventions. A pipeline of analyses was developed including key point detection in images and DEM rasters, retrieving georeferenced 3D DEM GCPs, regularized gradient-based optimization, pose estimation, ray tracing, and the correspondence identification between image pixels and real world coordinates. Two numerical experiments show that the framework is superior in georeferencing visual data in 3-D coordinates, paving a way toward fully automatic monoplotting methodology.
updated: Sun Nov 28 2021 02:03:43 GMT+0000 (UTC)
published: Sun Nov 28 2021 02:03:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト