OffRoadTranSegを紹介します。これは、トランスフォーマーとラベリング用の自動データ選択を使用した、構造化されていない屋外環境での半教師ありセグメンテーションのための最初のエンドツーエンドフレームワークです。オフロードセグメンテーションは、自動運転で広く使用されているシーン理解アプローチです。一般的なオフロードセグメンテーション方法は、完全に接続された畳み込みレイヤーと大きなラベル付きデータを使用することですが、クラスの不均衡により、いくつかの不一致が発生し、一部のクラスが検出されない場合があります。私たちのアプローチは、半教師ありの方法でオフロードセグメンテーションのタスクを実行することです。目的は、自己監視ビジョントランスフォーマーを使用して、深度推定を使用したラベリングのための自己監視データ収集を使用してオフロードデータセットを微調整するモデルを提供することです。提案された方法は、RELLIS-3DおよびRUGDオフロードデータセットで検証されます。実験は、OffRoadTranSegが他の最先端モデルを上回り、RELLIS-3Dクラスの不均衡の問題も解決することを示しています。
We present OffRoadTranSeg, the first end-to-end framework for semi-supervised segmentation in unstructured outdoor environment using transformers and automatic data selection for labelling. The offroad segmentation is a scene understanding approach that is widely used in autonomous driving. The popular offroad segmentation method is to use fully connected convolution layers and large labelled data, however, due to class imbalance, there will be several mismatches and also some classes may not be detected. Our approach is to do the task of offroad segmentation in a semi-supervised manner. The aim is to provide a model where self supervised vision transformer is used to fine-tune offroad datasets with self-supervised data collection for labelling using depth estimation. The proposed method is validated on RELLIS-3D and RUGD offroad datasets. The experiments show that OffRoadTranSeg outperformed other state of the art models, and also solves the RELLIS-3D class imbalance problem.