自動運転は急速に進んでおり、レベル2の機能が標準装備になりつつあります。最も重要なハードルの1つは、精度の低下が深刻な悪天候や低照度条件で堅牢な視覚を取得することです。これらのシナリオで視覚の信頼性を低下させるには、気象分類モデルを用意することが重要です。したがって、天気(霧、雨、雪)の分類と光のレベル(明るい、中程度、低い)の分類のための新しいデータセットを構築しました。さらに、ストリートタイプ(アスファルト、グラス、石畳)の分類を提供し、9つのラベルになります。各画像には、天気、光のレベル、通りのタイプに対応する3つのラベルがあります。 1024×1084の解像度でRCCC(赤/クリア)フォーマットの産業用フロントカメラを使用してデータを記録しました。 15kのビデオシーケンスを収集し、60kの画像をサンプリングしました。データセットの冗長性を減らし、モデルのトレーニングに最適なフレームのセットを見つけるために、アクティブラーニングフレームワークを実装します。 60kの画像をさらに1.1kの画像に蒸留しました。これは、プライバシーの匿名化後に公開されます。私たちの知る限り、自動運転に焦点を当てた天気と光のレベルを分類するための公開データセットはありません。気象分類に使用されるベースラインResNet18ネットワークは、2つの非自動車気象分類公開データセットで最先端の結果を達成しますが、提案されたデータセットの精度は大幅に低く、飽和しておらず、さらなる調査が必要であることを示しています。
Autonomous driving is rapidly advancing, and Level 2 functions are becoming a standard feature. One of the foremost outstanding hurdles is to obtain robust visual perception in harsh weather and low light conditions where accuracy degradation is severe. It is critical to have a weather classification model to decrease visual perception confidence during these scenarios. Thus, we have built a new dataset for weather (fog, rain, and snow) classification and light level (bright, moderate, and low) classification. Furthermore, we provide street type (asphalt, grass, and cobblestone) classification, leading to 9 labels. Each image has three labels corresponding to weather, light level, and street type. We recorded the data utilizing an industrial front camera of RCCC (red/clear) format with a resolution of 1024×1084. We collected 15k video sequences and sampled 60k images. We implement an active learning framework to reduce the dataset's redundancy and find the optimal set of frames for training a model. We distilled the 60k images further to 1.1k images, which will be shared publicly after privacy anonymization. There is no public dataset for weather and light level classification focused on autonomous driving to the best of our knowledge. The baseline ResNet18 network used for weather classification achieves state-of-the-art results in two non-automotive weather classification public datasets but significantly lower accuracy on our proposed dataset, demonstrating it is not saturated and needs further research.