ボケ効果は、写真の焦点が合っていない部分をぼかす自然な浅い被写界深度現象です。美的に美しい写真を追求するために、人々は通常、ボケ効果を写真の不可欠な部分と見なします。その自然な利点と普遍性、そして多くの視覚認識タスクがすでに「自然なボケ」現象によって悪影響を受ける可能性があるという事実のために、この作業では、新しい角度、つまり敵対的なボケからボケ効果を体系的に研究します計算された欺瞞的な情報をボケ世代に埋め込み、人間が気付くようなノイズアーティファクトのない自然な敵対的な例を生成することを目的とした攻撃(AdvBokeh)。この目的のために、最初に、1段階のトレーニング手順で、画像のボケのレベルを柔軟に合成、リフォーカス、および調整できる深度ガイドボケ合成ネットワーク(DebsNet)を提案します。 DebsNetを使用すると、ボケ生成プロセスを利用して、後続の視覚タスクに基づいて現実的なボケを生成する(つまり、逆に深度マップを調整する)ために必要な深度マップを攻撃できます。敵対的生成ネットワークの現実性をさらに向上させるために、深度誘導勾配ベースの攻撃を提案して勾配を正規化します。提案された方法を人気のある敵対的画像分類データセット、つまりNeurIPS-2017 DEVで検証し、提案された方法が4つの最先端(SOTA)画像分類ネットワーク、つまりResNet50、VGG、DenseNet、およびMobileNetV2に、高い成功率と高い画質で浸透できます。 AdvBokehによって得られた敵対的な例も、ブラックボックス設定で高レベルの転送可能性を示しています。さらに、AdvBokehから敵対的に生成された焦点ぼけぼけ画像を実際に利用して、SOTA焦点ぼけぼけシステム、すなわちIFANの性能を向上させることができる。
Bokeh effect is a natural shallow depth-of-field phenomenon that blurs the out-of-focus part in photography. In pursuit of aesthetically pleasing photos, people usually regard the bokeh effect as an indispensable part of the photo. Due to its natural advantage and universality, as well as the fact that many visual recognition tasks can already be negatively affected by the `natural bokeh' phenomenon, in this work, we systematically study the bokeh effect from a new angle, i.e., adversarial bokeh attack (AdvBokeh) that aims to embed calculated deceptive information into the bokeh generation and produce a natural adversarial example without any human-noticeable noise artifacts. To this end, we first propose a Depth-guided Bokeh Synthesis Network (DebsNet) that is able to flexibly synthesis, refocus, and adjust the level of bokeh of the image, with a one-stage training procedure. The DebsNet allows us to tap into the bokeh generation process and attack the depth map that is needed for generating realistic bokeh (i.e., adversarially tuning the depth map) based on subsequent visual tasks. To further improve the realisticity of the adversarial bokeh, we propose depth-guided gradient-based attack to regularize the gradient.We validate the proposed method on a popular adversarial image classification dataset, i.e., NeurIPS-2017 DEV, and show that the proposed method can penetrate four state-of-the-art (SOTA) image classification networks i.e., ResNet50, VGG, DenseNet, and MobileNetV2 with a high success rate as well as high image quality. The adversarial examples obtained by AdvBokeh also exhibit high level of transferability under black-box settings. Moreover, the adversarially generated defocus blur images from the AdvBokeh can actually be capitalized to enhance the performance of SOTA defocus deblurring system, i.e., IFAN.