arXiv reaDer
暗闇でのインスタンスのセグメンテーション
Instance Segmentation in the Dark
既存のインスタンス セグメンテーション技術は、主に視認性の高い入力用に調整されていますが、非常に暗い環境ではパフォーマンスが大幅に低下します。この作業では、暗闇でのインスタンスのセグメンテーションを詳しく調べ、低照度の推論精度を大幅に向上させるいくつかの手法を紹介します。提案された方法は、低照度画像のノイズがニューラルネットワークの特徴マップに高周波障害をもたらし、それによってパフォーマンスが大幅に低下するという観察によって動機付けられています。この「特徴ノイズ」を抑制するために、適応加重ダウンサンプリング層、スムーズ指向の畳み込みブロック、および外乱抑制学習に依存する新しい学習方法を提案します。これらのコンポーネントは、ダウンサンプリングおよび畳み込み操作中の特徴ノイズを効果的に低減し、さらに、高ビット深度の RAW 画像は、一般的なカメラの sRGB 出力と比較して、低照度条件でより豊富なシーン情報をより適切に保持できることを発見し、RAW 入力アルゴリズムの使用をサポートしています。高ビット深度は、低照度インスタンスのセグメンテーションに重要である可能性があることを示しています. 注釈付きの RAW データセットの不足を軽減するために、低照度 RAW 合成パイプラインを活用して、現実的な低照度データを生成します. さらに、さらなる研究を促進するためにこの方向では、インスタンス レベルのピクセル単位の注釈を使用して、2,000 を超えるペアの低光/通常光画像で構成される現実世界の低光インスタンス セグメンテーション データセットをキャプチャします。驚くべきことに、画像の前処理なしで、非常に暗い場所でのインスタンスのセグメンテーションで満足のいくパフォーマンスを達成し (最先端の競合他社よりも AP が 4~% 高い)、将来の研究の新しい機会を開きます。
Existing instance segmentation techniques are primarily tailored for high-visibility inputs, but their performance significantly deteriorates in extremely low-light environments. In this work, we take a deep look at instance segmentation in the dark and introduce several techniques that substantially boost the low-light inference accuracy. The proposed method is motivated by the observation that noise in low-light images introduces high-frequency disturbances to the feature maps of neural networks, thereby significantly degrading performance. To suppress this ``feature noise", we propose a novel learning method that relies on an adaptive weighted downsampling layer, a smooth-oriented convolutional block, and disturbance suppression learning. These components effectively reduce feature noise during downsampling and convolution operations, enabling the model to learn disturbance-invariant features. Furthermore, we discover that high-bit-depth RAW images can better preserve richer scene information in low-light conditions compared to typical camera sRGB outputs, thus supporting the use of RAW-input algorithms. Our analysis indicates that high bit-depth can be critical for low-light instance segmentation. To mitigate the scarcity of annotated RAW datasets, we leverage a low-light RAW synthetic pipeline to generate realistic low-light data. In addition, to facilitate further research in this direction, we capture a real-world low-light instance segmentation dataset comprising over two thousand paired low/normal-light images with instance-level pixel-wise annotations. Remarkably, without any image preprocessing, we achieve satisfactory performance on instance segmentation in very low light (4~% AP higher than state-of-the-art competitors), meanwhile opening new opportunities for future research.
updated: Fri Sep 08 2023 18:45:06 GMT+0000 (UTC)
published: Thu Apr 27 2023 16:02:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト