レンズレス イメージングは、その測定値が高度に多重化されているため、視覚的なプライバシーを提供できます。ただし、このようなカメラの 1 対多のシーン マッピングを逆転させるようにさまざまな敵対的攻撃を設計できるため、これだけではセキュリティの脆弱な形式になります。この作業では、(1) センサーでのダウンサンプリングと、(2) 可変パターンのプログラム可能なマスクを光学エンコーダーとして使用することにより、レンズレス イメージングによって提供されるプライバシーを強化します。低コストの LCD と Raspberry Pi コンポーネントからプロトタイプを作成します。総コストは約 100 米ドルです。この非常に低価格な点により、当社のシステムを幅広いアプリケーションに展開して活用することができます。私たちの実験では、まず、MNIST、CelebA (顔属性)、および CIFAR10 などのさまざまな分類タスクにシステムを適用することによって、システムの実行可能性と再構成可能性を示します。マスク パターンとデジタル分類子をエンドツーエンドで共同で最適化することにより、低次元でプライバシーを強化する埋め込みがセンサーで直接学習されます。次に、提案されたシステムが、可変マスク パターンを介して、(1) プレーンテキスト攻撃を介して、または (2) カメラ パラメーター リークが発生した場合に、システムを反転させようとする敵をどのように阻止できるかを示します。モデルベースの凸最適化と生成的ニューラル ネットワークに基づく攻撃の画質メトリクスがそれぞれ 55% と 26% 低下し、両方のリスクに対するシステムの防御を示しています。エンドツーエンドの最適化に必要な波動伝播とカメラ シミュレーター、トレーニング ソフトウェア、カメラとのインターフェイス用ライブラリをオープンソース化しています。
Lensless imaging can provide visual privacy due to the highly multiplexed characteristic of its measurements. However, this alone is a weak form of security, as various adversarial attacks can be designed to invert the one-to-many scene mapping of such cameras. In this work, we enhance the privacy provided by lensless imaging by (1) downsampling at the sensor and (2) using a programmable mask with variable patterns as our optical encoder. We build a prototype from a low-cost LCD and Raspberry Pi components, for a total cost of around 100 USD. This very low price point allows our system to be deployed and leveraged in a broad range of applications. In our experiments, we first demonstrate the viability and reconfigurability of our system by applying it to various classification tasks: MNIST, CelebA (face attributes), and CIFAR10. By jointly optimizing the mask pattern and a digital classifier in an end-to-end fashion, low-dimensional, privacy-enhancing embeddings are learned directly at the sensor. Secondly, we show how the proposed system, through variable mask patterns, can thwart adversaries that attempt to invert the system (1) via plaintext attacks or (2) in the event of camera parameters leaks. We demonstrate the defense of our system to both risks, with 55% and 26% drops in image quality metrics for attacks based on model-based convex optimization and generative neural networks respectively. We open-source a wave propagation and camera simulator needed for end-to-end optimization, the training software, and a library for interfacing with the camera.