arXiv reaDer
局所的に制御可能な偏光投影を使用した偏光ベースのビジョンの欺瞞
Fooling Polarization-based Vision using Locally Controllable Polarizing Projection
偏光は、表面形状、材料、照明、表示ジオメトリに関する豊富な情報をエンコードする光の基本的な特性です。コンピューター ビジョン コミュニティは、偏光を生成するシングル チップのモノクロ/カラー偏光センサーの出現により、反射除去、偏光からの形状、透明なオブジェクトのセグメンテーション、色の恒常性など、偏光ベースのビジョン アプリケーションの開花を目の当たりにしてきました。これまで以上に簡単にデータを取得できます。しかし、偏光ベースのビジョンは敵対的な攻撃に対して脆弱ですか?もしそうなら、これらの敵対的攻撃を人間の目で感知することなく物理世界で実現することは可能ですか?このホワイトペーパーでは、RGB ベースのビジョンよりも深刻な可能性がある偏光ベースのビジョンの脆弱性についてコミュニティに警告します。市販のLCDプロジェクターを採用することにより、局所的に制御可能な偏光投影を実現し、ガラスのセグメンテーションと色の恒常性のための最先端の偏光ベースのビジョンアルゴリズムをだますことに成功しました。 RGB ベースのビジョンに対する既存の物理的攻撃は、常に攻撃の有効性と目の想像力のトレードオフに悩まされていますが、偏光プロジェクションに基づく敵対的攻撃者は非接触であり、肉眼ではほとんど違いを認識できないため、視覚的に感知できません。悪質に操作された偏光と通常の照明。これは、単色と三色の両方の領域で、偏光ベースのビジョンに前例のないリスクをもたらし、十分な注意を払い、対策を検討する必要があります。
Polarization is a fundamental property of light that encodes abundant information regarding surface shape, material, illumination and viewing geometry. The computer vision community has witnessed a blossom of polarization-based vision applications, such as reflection removal, shape-from-polarization, transparent object segmentation and color constancy, partially due to the emergence of single-chip mono/color polarization sensors that make polarization data acquisition easier than ever. However, is polarization-based vision vulnerable to adversarial attacks? If so, is that possible to realize these adversarial attacks in the physical world, without being perceived by human eyes? In this paper, we warn the community of the vulnerability of polarization-based vision, which can be more serious than RGB-based vision. By adapting a commercial LCD projector, we achieve locally controllable polarizing projection, which is successfully utilized to fool state-of-the-art polarization-based vision algorithms for glass segmentation and color constancy. Compared with existing physical attacks on RGB-based vision, which always suffer from the trade-off between attack efficacy and eye conceivability, the adversarial attackers based on polarizing projection are contact-free and visually imperceptible, since naked human eyes can rarely perceive the difference of viciously manipulated polarizing light and ordinary illumination. This poses unprecedented risks on polarization-based vision, both in the monochromatic and trichromatic domain, for which due attentions should be paid and counter measures be considered.
updated: Fri Mar 31 2023 08:48:57 GMT+0000 (UTC)
published: Fri Mar 31 2023 08:48:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト