この研究は、画像キャプション手法で画像データからリンデンマイヤー システム (L システム) の単語表現を直接推論することにより、樹木と植物の再構築のための新しい概念を提案します。与えられた画像を表示されたツリーの説明として L-System の単語に翻訳できるモデルをエンドツーエンドでトレーニングします。この概念を証明するために、2D ツリー トポロジでの適用性を実証します。この新しいアイデアを実際の画像データに転送すると、エラーが発生しやすい点群抽出や樹木の再構成で通常使用されるその他のプロセスを使用せずに、より効率的かつ正確で意味的に意味のある樹木や植物の再構成が可能になります。さらに、このアプローチでは、事前定義された L システム文法の必要性が回避され、生物学的知識がなくても種固有の L システム推論が可能になります。
This work proposes a novel concept for tree and plant reconstruction by directly inferring a Lindenmayer-System (L-System) word representation from image data in an image captioning approach. We train a model end-to-end which is able to translate given images into L-System words as a description of the displayed tree. To prove this concept, we demonstrate the applicability on 2D tree topologies. Transferred to real image data, this novel idea could lead to more efficient, accurate and semantically meaningful tree and plant reconstruction without using error-prone point cloud extraction, and other processes usually utilized in tree reconstruction. Furthermore, this approach bypasses the need for a predefined L-System grammar and enables species-specific L-System inference without biological knowledge.