arXiv reaDer
Bounding the Probability of Error for High Precision Recognition
 処理の早い段階で、いくつかの変数を高精度で推定することが重要ですが、おそらく比較的低いリコール率でモデルを検討します。いくつかの変数がほぼ確実に識別できる場合、それらを条件付けることができ、さらに推論を効率的に行うことができます。具体的には、正しく翻訳されたドキュメントワードのサブセットを非常に高い精度で識別することでブートストラップできる光学式文字認識(OCR)システムを検討します。この「クリーンセット」は、その後、ドキュメント固有のトレーニングデータとして使用されます。現在の多くのOCRシステムは、各文字または単語のIDの信頼性の尺度を生成しますが、非常に高い値であっても、これらの信頼性の値をしきい値処理すると、依然としてエラーが発生します。非常に高い精度で正しい単語のセットを識別するための新しい手法を紹介します。事後確率を推定するのではなく、ワーストケースの近似分析を使用して、非常に一般的な仮定の下で特定の単語が誤っている確率を制限しました。その結果、モデルのパラメーターはほとんど無関係であり、ノイズの多いドキュメントであっても、非常に自信がある単語のサブセットを識別することができます。 10個のドキュメントのセットでは、1つのエラーを犯すことなく、平均で約6%の単語を識別できます。このように非常に高い精度で単語リストを作成できるため、このようなクリーンな単語リストに依存するモデルファミリを使用できます。
We consider models for which it is important, early in processing, to estimate some variables with high precision, but perhaps at relatively low rates of recall. If some variables can be identified with near certainty, then they can be conditioned upon, allowing further inference to be done efficiently. Specifically, we consider optical character recognition (OCR) systems that can be bootstrapped by identifying a subset of correctly translated document words with very high precision. This "clean set" is subsequently used as document-specific training data. While many current OCR systems produce measures of confidence for the identity of each letter or word, thresholding these confidence values, even at very high values, still produces some errors. We introduce a novel technique for identifying a set of correct words with very high precision. Rather than estimating posterior probabilities, we bound the probability that any given word is incorrect under very general assumptions, using an approximate worst case analysis. As a result, the parameters of the model are nearly irrelevant, and we are able to identify a subset of words, even in noisy documents, of which we are highly confident. On our set of 10 documents, we are able to identify about 6% of the words on average without making a single error. This ability to produce word lists with very high precision allows us to use a family of models which depends upon such clean word lists.
updated: Thu Jul 02 2009 16:09:47 GMT+0000 (UTC)
published: Thu Jul 02 2009 16:09:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト