arXiv reaDer
ディープラーニングと合成画像を使用したビジョンベースの軌道上近接操作のパイプライン
A Pipeline for Vision-Based On-Orbit Proximity Operations Using Deep Learning and Synthetic Imagery
ディープラーニングは、過去10年間で画像処理のゴールドスタンダードになりました。同時に、衛星サービスやデブリ除去など、宇宙船間の近接操作に依存する軌道活動への関心が高まっています。ただし、現在、2つの重要な課題が、ビジョンベースの軌道上近接操作にディープラーニングを使用する上で大きな障壁となっています。まず、これらの手法の効率的な実装は、データのキュレーション、トレーニング、および評価を合理化するモデル開発のための効果的なシステムに依存しています。第二に、ラベル付けされたトレーニングデータ(ターゲット宇宙船の画像)が不足しているため、堅牢な深層学習モデルの作成が妨げられています。このペーパーでは、これらの課題に対処する、軌道上ビジュアルナビゲーションアプリケーション用に特別に開発されたオープンソースのディープラーニングパイプラインを紹介します。私たちの仕事の中核は、モデル開発プロセスのすべての段階を相互接続するクラウドアーキテクチャの上に構築された2つのカスタムソフトウェアツールで構成されています。最初のツールは、オープンソースの3DグラフィックツールセットであるBlenderを利用して、構成可能なモデルポーズ(位置と方向)、照明条件、背景、および一般的に観察される空間内画像の収差を含むラベル付き合成トレーニングデータを生成します。 2番目のツールは、効果的なデータセットキュレーションとモデルトレーニングのためのプラグインベースのフレームワークです。プロジェクト固有のコードを完全に独立させながら、すべてのプロジェクトへのメタデータ生成やリモートストレージアクセスなどの共通機能を提供します。合成画像の生成やモデルトレーニングなど、時間のかかるグラフィックを多用するプロセスは、クラウドベースの計算リソースで実行されます。クラウドベースの計算リソースは、あらゆる範囲と予算に合わせて拡張でき、あらゆるマシンから最大のデータセットやモデルを開発できます。提示されたシステムは、テキサス宇宙船研究所で使用されており、開発の速度と品質に大きなメリットがあります。
Deep learning has become the gold standard for image processing over the past decade. Simultaneously, we have seen growing interest in orbital activities such as satellite servicing and debris removal that depend on proximity operations between spacecraft. However, two key challenges currently pose a major barrier to the use of deep learning for vision-based on-orbit proximity operations. Firstly, efficient implementation of these techniques relies on an effective system for model development that streamlines data curation, training, and evaluation. Secondly, a scarcity of labeled training data (images of a target spacecraft) hinders creation of robust deep learning models. This paper presents an open-source deep learning pipeline, developed specifically for on-orbit visual navigation applications, that addresses these challenges. The core of our work consists of two custom software tools built on top of a cloud architecture that interconnects all stages of the model development process. The first tool leverages Blender, an open-source 3D graphics toolset, to generate labeled synthetic training data with configurable model poses (positions and orientations), lighting conditions, backgrounds, and commonly observed in-space image aberrations. The second tool is a plugin-based framework for effective dataset curation and model training; it provides common functionality like metadata generation and remote storage access to all projects while giving complete independence to project-specific code. Time-consuming, graphics-intensive processes such as synthetic image generation and model training run on cloud-based computational resources which scale to any scope and budget and allow development of even the largest datasets and models from any machine. The presented system has been used in the Texas Spacecraft Laboratory with marked benefits in development speed and quality.
updated: Thu Jan 14 2021 15:17:54 GMT+0000 (UTC)
published: Thu Jan 14 2021 15:17:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト