通常、基準マーカー システムは、マーカー、検出アルゴリズム、およびコーディング システムで構成されます。マーカーの外観と検出の堅牢性は、通常、従来の低レベルの画像処理技術を使用して手作業で作成された既存の検出アルゴリズムによって制限されます。さらに、マーカーと検出アルゴリズムの両方の欠点を克服するには、精巧に設計されたコーディング システムが必要です。さまざまなアプリケーションの柔軟性と堅牢性を向上させるために、基準マーカーの設計と検出のための一般的な深層学習ベースのフレームワークである DeepTag を提案します。 DeepTag は、さまざまな既存のマーカー ファミリーの検出をサポートするだけでなく、カスタマイズされたローカル パターンを使用して新しいマーカー ファミリーを設計することもできます。さらに、手動注釈なしでトレーニング データをオンザフライで合成する効果的な手順を提案します。したがって、DeepTag は、既存および新しく設計されたマーカー ファミリーに簡単に適応できます。 DeepTag と既存の方法を検証するために、既存のデータセットに加えて、マーカーがさまざまなビュー距離と角度に配置された新しい大規模で困難なデータセットをさらに収集します。実験では、DeepTag がさまざまなマーカー ファミリを適切にサポートし、検出の堅牢性と姿勢の精度の両方の点で既存の方法を大幅に上回ることが示されています。コードとデータセットはどちらも https://herohuyongtao.github.io/research/publications/deep-tag/ で入手できます。
A fiducial marker system usually consists of markers, a detection algorithm, and a coding system. The appearance of markers and the detection robustness are generally limited by the existing detection algorithms, which are hand-crafted with traditional low-level image processing techniques. Furthermore, a sophisticatedly designed coding system is required to overcome the shortcomings of both markers and detection algorithms. To improve the flexibility and robustness in various applications, we propose a general deep learning based framework, DeepTag, for fiducial marker design and detection. DeepTag not only supports detection of a wide variety of existing marker families, but also makes it possible to design new marker families with customized local patterns. Moreover, we propose an effective procedure to synthesize training data on the fly without manual annotations. Thus, DeepTag can easily adapt to existing and newly-designed marker families. To validate DeepTag and existing methods, beside existing datasets, we further collect a new large and challenging dataset where markers are placed in different view distances and angles. Experiments show that DeepTag well supports different marker families and greatly outperforms the existing methods in terms of both detection robustness and pose accuracy. Both code and dataset are available at https://herohuyongtao.github.io/research/publications/deep-tag/.