ディープニューラルネットは、オプティカルフロー推定の問題に関する最先端のパフォーマンスを実現します。オプティカルフローは自動運転車のようないくつかの安全性が重視されるアプリケーションで使用されるため、これらの技術の堅牢性に関する洞察を得ることが重要です。最近、敵対的な攻撃が深いニューラルネットワークを簡単に欺いてオブジェクトを誤分類することが示されています。ただし、敵対攻撃に対するオプティカルフローネットワークの堅牢性は、これまで研究されていません。このホワイトペーパーでは、敵対的なパッチ攻撃をオプティカルフローネットワークに拡張し、そのような攻撃がパフォーマンスを低下させる可能性があることを示します。画像サイズの1%未満の小さなパッチを破損すると、オプティカルフローの推定に大きな影響を与える可能性があることを示しています。私たちの攻撃は、多くの場合、シーン内のオブジェクトの動きを完全に消去することさえあり、攻撃の範囲を大きく超えるノイズの多いフロー推定につながります。エンコーダーデコーダーアーキテクチャーを使用するネットワークはこれらの攻撃に非常に敏感ですが、空間ピラミッドアーキテクチャーを使用するネットワークはそれほど影響を受けないことがわかりました。機能マップを視覚化し、これらの攻撃に対して堅牢な従来のオプティカルフローテクニックと比較することにより、両方のアーキテクチャの攻撃の成功と失敗を分析します。また、印刷パターンを実際のシーンに配置することにより、このような攻撃が実用的であることを示しています。
Deep neural nets achieve state-of-the-art performance on the problem of optical flow estimation. Since optical flow is used in several safety-critical applications like self-driving cars, it is important to gain insights into the robustness of those techniques. Recently, it has been shown that adversarial attacks easily fool deep neural networks to misclassify objects. The robustness of optical flow networks to adversarial attacks, however, has not been studied so far. In this paper, we extend adversarial patch attacks to optical flow networks and show that such attacks can compromise their performance. We show that corrupting a small patch of less than 1% of the image size can significantly affect optical flow estimates. Our attacks lead to noisy flow estimates that extend significantly beyond the region of the attack, in many cases even completely erasing the motion of objects in the scene. While networks using an encoder-decoder architecture are very sensitive to these attacks, we found that networks using a spatial pyramid architecture are less affected. We analyse the success and failure of attacking both architectures by visualizing their feature maps and comparing them to classical optical flow techniques which are robust to these attacks. We also demonstrate that such attacks are practical by placing a printed pattern into real scenes.