arXiv reaDer
リアルタイムのマルチラベル気象認識のための MASK-CNN-Transformer
MASK-CNN-Transformer For Real-Time Multi-Label Weather Recognition
気象認識は、交通安全、環境、気象学など、多くの実用的なアプリケーションにとって不可欠なサポートです。しかし、既存の関連研究の多くは、複雑な共起依存関係のために、気象条件を包括的に記述することができません。本稿では、これらの依存関係を考慮した新しいマルチラベル気象認識モデルを提案します。 MASK-Convolutional Neural Network-Transformer (MASK-CT) と呼ばれる提案されたモデルは、Transformer、畳み込みプロセス、および MASK メカニズムに基づいています。このモデルは、複数の畳み込み層を使用して気象画像から特徴を抽出し、Transformer エンコーダーを使用して、抽出された特徴に基づいて各気象条件の確率を計算します。 MASK-CT の汎化能力を向上させるために、トレーニング段階で MASK メカニズムが使用されます。 MASK メカニズムの効果を調べて説明します。マスク メカニズムは、1 ペアのトレーニング インスタンス (1 つの画像とそれに対応するラベル) から一部の情報をランダムに差し控えます。 MASK 方式には 2 種類あります。具体的には、MASK-I が設計されて画像上に展開されてから、気象特徴抽出器にフィードされ、MASK-II が画像ラベルに適用されます。 Transformer エンコーダーは、ランダムにマスクされた画像の特徴とラベルで使用されます。さまざまな現実世界の気象認識データセットからの実験結果は、提案された MASK-CT モデルが最先端の方法よりも優れていることを示しています。さらに、MASK-CT の高速動的リアルタイム気象認識機能が評価されます。
Weather recognition is an essential support for many practical life applications, including traffic safety, environment, and meteorology. However, many existing related works cannot comprehensively describe weather conditions due to their complex co-occurrence dependencies. This paper proposes a novel multi-label weather recognition model considering these dependencies. The proposed model called MASK-Convolutional Neural Network-Transformer (MASK-CT) is based on the Transformer, the convolutional process, and the MASK mechanism. The model employs multiple convolutional layers to extract features from weather images and a Transformer encoder to calculate the probability of each weather condition based on the extracted features. To improve the generalization ability of MASK-CT, a MASK mechanism is used during the training phase. The effect of the MASK mechanism is explored and discussed. The Mask mechanism randomly withholds some information from one-pair training instances (one image and its corresponding label). There are two types of MASK methods. Specifically, MASK-I is designed and deployed on the image before feeding it into the weather feature extractor and MASK-II is applied to the image label. The Transformer encoder is then utilized on the randomly masked image features and labels. The experimental results from various real-world weather recognition datasets demonstrate that the proposed MASK-CT model outperforms state-of-the-art methods. Furthermore, the high-speed dynamic real-time weather recognition capability of the MASK-CT is evaluated.
updated: Sat Aug 19 2023 05:23:56 GMT+0000 (UTC)
published: Fri Apr 28 2023 14:08:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト