arXiv reaDer
Exploring Simple and Transferable Recognition-Aware Image Processing
画像認識の最近の進歩は、前例のない規模でビジョン システムの展開を促進しています。その結果、視覚データは人間だけでなく機械によっても消費されることが多くなりました。既存の画像処理方法は、人間の知覚を向上させるためにのみ最適化されますが、結果の画像は機械によって正確に認識されない場合があります。これは望ましくない場合があります。たとえば、画像が検索エンジンや推奨システムによって不適切に処理される可能性があります。この作業では、処理された画像の機械認識を改善するための簡単なアプローチを調べます。認識損失を画像処理ネットワーク上で直接最適化するか、中間入力変換モデルを介して最適化します。興味深いことに、認識品質を向上させる処理モデルの能力は、さまざまなアーキテクチャ、認識されたカテゴリ、タスク、およびトレーニング データセットのモデルで評価されたときに転送できます。これにより、処理された画像をインターネットにアップロードする場合など、将来の認識モデルの知識がない場合でも、これらの方法を適用できます。認識タスクとして ImageNet 分類と PASCAL VOC 検出を組み合わせた複数の画像処理タスクの実験を行います。これらのシンプルでありながら効果的な方法を使用すると、強力な転写性と最小限の画質低下で、大幅な精度向上を実現できます。ユーザー調査を通じて、精度の向上がブラックボックスクラウドモデルに移行できることをさらに示しています。最後に、異なるモデルの決定境界の類似性を実証することにより、この転送可能性現象を説明しようとします。コードは で入手できます。
Recent progress in image recognition has stimulated the deployment of vision systems at an unprecedented scale. As a result, visual data are now often consumed not only by humans but also by machines. Existing image processing methods only optimize for better human perception, yet the resulting images may not be accurately recognized by machines. This can be undesirable, e.g., the images can be improperly handled by search engines or recommendation systems. In this work, we examine simple approaches to improve machine recognition of processed images: optimizing the recognition loss directly on the image processing network or through an intermediate input transformation model. Interestingly, the processing model's ability to enhance recognition quality can transfer when evaluated on models of different architectures, recognized categories, tasks and training datasets. This makes the methods applicable even when we do not have the knowledge of future recognition models, e.g., when uploading processed images to the Internet. We conduct experiments on multiple image processing tasks paired with ImageNet classification and PASCAL VOC detection as recognition tasks. With these simple yet effective methods, substantial accuracy gain can be achieved with strong transferability and minimal image quality loss. Through a user study we further show that the accuracy gain can transfer to a black-box cloud model. Finally, we try to explain this transferability phenomenon by demonstrating the similarities of different models' decision boundaries. Code is available at .
updated: Sat Sep 10 2022 23:28:03 GMT+0000 (UTC)
published: Mon Oct 21 2019 07:36:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト