arXiv reaDer
Bridging the Gap Between Computational Photography and Visual Recognition
 理想的ではない状況で取得された劣化画像に適用される画像の復元と強化の最新技術は何ですか?シーンコンテンツを分類するための手動分析または自動視覚認識の画像解釈性を向上させる前処理ステップとして、このようなアルゴリズムを適用できますか?画像の視覚的品質を回復または向上させるためのコンピューター写真の分野で重要な進歩がありましたが、そのような技術の能力は、視覚認識タスクに有用な方法で常に変換されていません。その結果、視覚的な外観と認識を改善するという共同問題のために設計されたアルゴリズムの開発が急務となっています。これは、多くの現実世界のシナリオでの視覚認識ツールの展開を可能にする要素です。これに対処するために、困難な条件下でキャプチャされたビデオ画像で構成される大規模なベンチマークとしてUG ^ 2データセットと、視覚品質と自動オブジェクト認識に対するアルゴリズムの影響をテストするために設計された2つの拡張タスクを紹介します。さらに、人間の評価のための新しい心理物理学に基づく評価体制や物体認識パフォーマンスのための定量的な測定の現実的なセットを含む、個々のアルゴリズムの進歩だけでなく、そのようなタスクの共同改善を評価するための一連のメトリックを提案します。 CVPR 2018で開催されたIARPAスポンサーのUG ^ 2チャレンジワークショップの一環として作成された、画像の復元または強化のための6つの新しいアルゴリズムを紹介します。提案された評価体制の下で、これらのアルゴリズムと深層学習ベースのクラシックなベースラインアプローチ。観察された結果から、私たちはコンピューター写真と視覚認識の橋渡しの初期段階にあり、この分野で多くの革新の機会を残していることが明らかです。
What is the current state-of-the-art for image restoration and enhancement applied to degraded images acquired under less than ideal circumstances? Can the application of such algorithms as a pre-processing step to improve image interpretability for manual analysis or automatic visual recognition to classify scene content? While there have been important advances in the area of computational photography to restore or enhance the visual quality of an image, the capabilities of such techniques have not always translated in a useful way to visual recognition tasks. Consequently, there is a pressing need for the development of algorithms that are designed for the joint problem of improving visual appearance and recognition, which will be an enabling factor for the deployment of visual recognition tools in many real-world scenarios. To address this, we introduce the UG^2 dataset as a large-scale benchmark composed of video imagery captured under challenging conditions, and two enhancement tasks designed to test algorithmic impact on visual quality and automatic object recognition. Furthermore, we propose a set of metrics to evaluate the joint improvement of such tasks as well as individual algorithmic advances, including a novel psychophysics-based evaluation regime for human assessment and a realistic set of quantitative measures for object recognition performance. We introduce six new algorithms for image restoration or enhancement, which were created as part of the IARPA sponsored UG^2 Challenge workshop held at CVPR 2018. Under the proposed evaluation regime, we present an in-depth analysis of these algorithms and a host of deep learning-based and classic baseline approaches. From the observed results, it is evident that we are in the early days of building a bridge between computational photography and visual recognition, leaving many opportunities for innovation in this area.
updated: Wed Feb 19 2020 19:05:12 GMT+0000 (UTC)
published: Mon Jan 28 2019 01:34:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト