arXiv reaDer
屋内環境向けの効率的なマルチタスクRGB-Dシーン分析
Efficient Multi-Task RGB-D Scene Analysis for Indoor Environments
セマンティックシーンの理解は、さまざまな環境で動作するモバイルエージェントにとって不可欠です。セマンティックセグメンテーションはすでに多くの情報を提供していますが、個々のオブジェクトや一般的なシーンに関する詳細は欠落していますが、多くの実際のアプリケーションに必要です。ただし、複数のタスクを個別に解決することはコストがかかり、モバイルプラットフォームでのコンピューティング機能とバッテリー機能が限られているため、リアルタイムで実行することはできません。本論文では、意味論的セグメンテーションとインスタンスセグメンテーション〜(パノプティコンセグメンテーション)、インスタンス方向推定、およびシーン分類を同時に実行するRGB-Dシーン分析〜(EMSANet)のための効率的なマルチタスクアプローチを提案します。パフォーマンスを低下させることなく、モバイルプラットフォーム上で単一のニューラルネットワークを使用してリアルタイムですべてのタスクを実行できることを示します。対照的に、個々のタスクは相互に利益を得ることができます。マルチタスクアプローチを評価するために、一般的なRGB-D屋内データセットNYUv2およびSUNRGB-Dの注釈を拡張して、たとえばセグメンテーションと方向推定を行います。私たちの知る限りでは、NYUv2およびSUNRGB-Dでの屋内シーン分析のためのこのような包括的なマルチタスク設定で結果を提供するのは私たちが初めてです。
Semantic scene understanding is essential for mobile agents acting in various environments. Although semantic segmentation already provides a lot of information, details about individual objects as well as the general scene are missing but required for many real-world applications. However, solving multiple tasks separately is expensive and cannot be accomplished in real time given limited computing and battery capabilities on a mobile platform. In this paper, we propose an efficient multi-task approach for RGB-D scene analysis~(EMSANet) that simultaneously performs semantic and instance segmentation~(panoptic segmentation), instance orientation estimation, and scene classification. We show that all tasks can be accomplished using a single neural network in real time on a mobile platform without diminishing performance - by contrast, the individual tasks are able to benefit from each other. In order to evaluate our multi-task approach, we extend the annotations of the common RGB-D indoor datasets NYUv2 and SUNRGB-D for instance segmentation and orientation estimation. To the best of our knowledge, we are the first to provide results in such a comprehensive multi-task setting for indoor scene analysis on NYUv2 and SUNRGB-D.
updated: Sun Jul 10 2022 20:03:38 GMT+0000 (UTC)
published: Sun Jul 10 2022 20:03:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト