シングルピクセルイメージング(SPI)は、従来のカメラの概念を超えた斬新で型破りな方法ですが、リアルタイムアプリケーションでは計算コストが高く、時間がかかる可能性があります。 SPI再構成問題を解決するための代替アプローチとして深層学習が提案されていますが、SPIに使用した場合のパフォーマンスと生成された基本パターンの詳細な分析は限られています。最大6.25%の圧縮率で64x64ピクセル画像上のSPI用に修正されたディープ畳み込みオートエンコーダネットワーク(DCAN)を提示し、トレーニング中にバイナリおよび直交性の正規化装置を適用します。これらのレギュラライザーを使用してDCANをトレーニングすると、バイナリまたは非バイナリ、および直交または非直交パターンの組み合わせを持つ複数の測定ベースを学習できます。結果として得られるDCANモデルの再構成品質、パターンの直交性、およびノイズに対するロバスト性を、従来のSPI再構成アルゴリズム(全変動最小化やフーリエ変換など)と比較します。当社のDCANモデルは、ノイズに対してロバストでありながら、リアルタイムイメージングに対応できる十分な速度の再構築時間(フレームあたり約3ミリ秒)を維持できるようにトレーニングできます。
Single-pixel imaging (SPI) is a novel, unconventional method that goes beyond the notion of traditional cameras but can be computationally expensive and slow for real-time applications. Deep learning has been proposed as an alternative approach for solving the SPI reconstruction problem, but a detailed analysis of its performance and generated basis patterns when used for SPI is limited. We present a modified deep convolutional autoencoder network (DCAN) for SPI on 64x64 pixel images with up to 6.25% compression ratio and apply binary and orthogonality regularizers during training. Training a DCAN with these regularizers allows it to learn multiple measurement bases that have combinations of binary or non-binary, and orthogonal or non-orthogonal patterns. We compare the reconstruction quality, orthogonality of the patterns, and robustness to noise of the resulting DCAN models to traditional SPI reconstruction algorithms (such as Total Variation minimization and Fourier Transform). Our DCAN models can be trained to be robust to noise while still having fast enough reconstruction times (~3 ms per frame) to be viable for real-time imaging.