モバイルおよびウェアラブル アプリケーションでのミニマリスト オプティカル システム (MOS) を使用したセマンティック シーンの理解は、光学収差によって引き起こされる画像品質の低下により、依然として課題となっています。ただし、以前の研究は、計算光学、つまり計算イメージング (CI) 手法による主観的なイメージング品質の改善にのみ焦点を当てており、セマンティックセグメンテーションの実現可能性を無視しています。この論文では、MOSの光学収差(SSOA)の下でのセマンティックセグメンテーションを調査する先駆者です。 SSOA のベンチマークを行うために、光学シミュレーションを通じて Virtual Prototype Lens (VPL) グループを構築し、さまざまな動作と収差レベルの下で Cityscapes-ab および KITTI-360-ab データセットを生成します。現実世界のシナリオでラベル付けされた異常データの不足に対処するために、教師なしドメイン適応の観点からSSOAを調べます。さらに、SSOA での堅牢なパフォーマンスのために CI の事前知識を活用するために、Computational Imaging Assisted Domain Adaptation (CIADA) を提案します。ベンチマークに基づいて、最先端のセグメンターの収差に対する堅牢性に関する実験を行います。さらに、SSOA に対する可能なソリューションの広範な評価により、CIADA がすべての収差分布の下で優れたパフォーマンスを達成し、セマンティック シーンの理解における MOS のアプリケーションへの道が開かれることが明らかになりました。コードとデータセットは、https://github.com/zju-jiangqi/CIADA で公開されます。
Semantic scene understanding with Minimalist Optical Systems (MOS) in mobile and wearable applications remains a challenge due to the corrupted imaging quality induced by optical aberrations. However, previous works only focus on improving the subjective imaging quality through computational optics, i.e. Computational Imaging (CI) technique, ignoring the feasibility in semantic segmentation. In this paper, we pioneer to investigate Semantic Segmentation under Optical Aberrations (SSOA) of MOS. To benchmark SSOA, we construct Virtual Prototype Lens (VPL) groups through optical simulation, generating Cityscapes-ab and KITTI-360-ab datasets under different behaviors and levels of aberrations. We look into SSOA via an unsupervised domain adaptation perspective to address the scarcity of labeled aberration data in real-world scenarios. Further, we propose Computational Imaging Assisted Domain Adaptation (CIADA) to leverage prior knowledge of CI for robust performance in SSOA. Based on our benchmark, we conduct experiments on the robustness of state-of-the-art segmenters against aberrations. In addition, extensive evaluations of possible solutions to SSOA reveal that CIADA achieves superior performance under all aberration distributions, paving the way for the applications of MOS in semantic scene understanding. Code and dataset will be made publicly available at https://github.com/zju-jiangqi/CIADA.