arXiv reaDer
Transferable Recognition-Aware Image Processing
画像認識の最近の進歩は、前例のない規模での視覚システムの展開を刺激しました。その結果、視覚データは現在、人間だけでなく機械によっても消費されることがよくあります。既存の画像処理方法は、人間の知覚を改善するために最適化するだけですが、結果の画像は機械によって正確に認識されない場合があります。これは望ましくない場合があります。たとえば、画像が検索エンジンやレコメンデーションシステムによって不適切に処理される可能性があります。この作業では、処理された画像の機械解釈可能性を改善するための簡単なアプローチを提案します。画像処理ネットワーク上で直接、または中間変換モデルを介して認識損失を最適化します。興味深いことに、認識品質を向上させる処理モデルの機能は、さまざまなアーキテクチャ、認識されたカテゴリ、タスク、およびトレーニングデータセットのモデルで評価されたときに伝達されます。これにより、処理済みの画像をインターネットにアップロードする場合など、将来の認識モデルの知識がない場合でもソリューションを適用できます。 ImageNet分類とPASCALVOC検出を認識タスクとして、複数の画像処理タスクの実験を行います。私たちの簡単な方法で、強力な転送可能性と最小限の画質損失で実質的な精度の向上を達成できます。ユーザー調査を通じて、精度の向上がブラックボックスのサードパーティクラウドモデルに移行できることをさらに示しています。最後に、さまざまなモデルの決定境界の類似性を示すことにより、この転送可能性の現象を説明しようとします。コードはで入手できます。
Recent progress in image recognition has stimulated the deployment of vision systems at an unprecedented scale. As a result, visual data are now often consumed not only by humans but also by machines. Existing image processing methods only optimize for better human perception, yet the resulting images may not be accurately recognized by machines. This can be undesirable, e.g., the images can be improperly handled by search engines or recommendation systems. In this work, we propose simple approaches to improve machine interpretability of processed images: optimizing the recognition loss directly on the image processing network or through an intermediate transforming model. Interestingly, the processing model's ability to enhance recognition quality can transfer when evaluated on models of different architectures, recognized categories, tasks and training datasets. This makes the solutions applicable even when we do not have the knowledge of future recognition models, e.g., if we upload processed images to the Internet. We conduct experiments on multiple image processing tasks, with ImageNet classification and PASCAL VOC detection as recognition tasks. With our simple methods, substantial accuracy gain can be achieved with strong transferability and minimal image quality loss. Through a user study we further show that the accuracy gain can transfer to a black-box, third-party cloud model. Finally, we try to explain this transferability phenomenon by demonstrating the similarities of different models' decision boundaries. Code is available at .
updated: Tue Oct 06 2020 14:32:36 GMT+0000 (UTC)
published: Mon Oct 21 2019 07:36:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト