この作業では、マルチタスク学習(MTL)ベースのネットワークを探索して、ドキュメントイメージのフォントタイプ、フォントサイズ、フォント強調、スキャン解像度分類などのドキュメント属性分類を実行します。これらのタスクを実行するために、セグメント化された単語レベル、またはドキュメントからランダムに切り抜かれた均一サイズのパッチのいずれかを操作します。さらに、パッチと単語のMTLとマルチインスタンス(MI)の組み合わせに基づくハイブリッド畳み込みニューラルネットワーク(CNN)アーキテクチャ「MTL + MI」を使用して、同じドキュメント属性の分類のための共同学習を実現します。 。この論文の貢献は3つあります。まず、セグメント化された単語画像とパッチに基づいて、完全なドキュメント画像を分類するためのMTLベースのネットワークを提示します。次に、同じドキュメント属性を分類するために、MTLとMI(セグメント化された単語とパッチを使用)ベースの結合CNNアーキテクチャ(「MTL + MI」)を提案します。第三に、単語および/またはパッチのマルチタスク分類に基づいて、完全なドキュメント画像のドキュメントの属性の分類を実行するために、各単語および/またはパッチの事後確率に基づくインテリジェントな投票システムを提案します。
In this work, we adhere to explore a Multi-Tasking learning (MTL) based network to perform document attribute classification such as the font type, font size, font emphasis and scanning resolution classification of a document image. To accomplish these tasks, we operate on either segmented word level or on uniformed size patches randomly cropped out of the document. Furthermore, a hybrid convolution neural network (CNN) architecture "MTL+MI", which is based on the combination of MTL and Multi-Instance (MI) of patch and word is used to accomplish joint learning for the classification of the same document attributes. The contribution of this paper are three fold: firstly, based on segmented word images and patches, we present a MTL based network for the classification of a full document image. Secondly, we propose a MTL and MI (using segmented words and patches) based combined CNN architecture ("MTL+MI") for the classification of same document attributes. Thirdly, based on the multi-tasking classifications of the words and/or patches, we propose an intelligent voting system which is based on the posterior probabilities of each words and/or patches to perform the classification of document's attributes of complete document image.