arXiv reaDer
Glyce: Glyph-vectors for Chinese Character Representations
 中国語のようなロゴ言語のNLPタスクがそれらの言語でのグリフ情報の使用から利益を得るはずであることは直感的です。ただし、グリフには絵文字の豊富な証拠がなく、文字データに対する標準のコンピュータビジョンモデルの一般化能力が弱いため、グリフ情報を利用する効果的な方法はまだ見つかっていません。このホワイトペーパーでは、中国語の文字表現用のグリフベクトルであるGlyceを提示することで、このギャップに対処します。私たちは次の3つの主要な革新を行います。(1)歴史的な中国の文字(ブロンズウェアの文字、シールの文字、繁体字中国語など)を使用して、文字の絵文字の証拠を充実させます。 (2)漢字画像処理に合わせたCNN構造(tianzege-CNNと呼ばれる)を設計します。 (3)モデルの一般化能力を高めるために、画像分類をマルチタスク学習設定の補助タスクとして使用します。グリフベースのモデルは、中国語のNLPタスクの広い範囲で一貫してword / char IDベースのモデルよりも優れていることを示しています。タグ付け(NER、CWS、POS)、文のペアの分類、単一の文の分類タスク、依存関係の解析、セマンティックロールのラベル付けなど、中国のさまざまなNLPタスクに新しい最先端の結果を設定できます。たとえば、提案されたモデルは、NERのOntoNotesデータセットで80.6のF1スコア、BERTに対して+1.5を達成しています。テキスト分類のFudanコーパスで99.8%のほぼ完全な精度を達成します。にあるコード。
It is intuitive that NLP tasks for logographic languages like Chinese should benefit from the use of the glyph information in those languages. However, due to the lack of rich pictographic evidence in glyphs and the weak generalization ability of standard computer vision models on character data, an effective way to utilize the glyph information remains to be found. In this paper, we address this gap by presenting Glyce, the glyph-vectors for Chinese character representations. We make three major innovations: (1) We use historical Chinese scripts (e.g., bronzeware script, seal script, traditional Chinese, etc) to enrich the pictographic evidence in characters; (2) We design CNN structures (called tianzege-CNN) tailored to Chinese character image processing; and (3) We use image-classification as an auxiliary task in a multi-task learning setup to increase the model's ability to generalize. We show that glyph-based models are able to consistently outperform word/char ID-based models in a wide range of Chinese NLP tasks. We are able to set new state-of-the-art results for a variety of Chinese NLP tasks, including tagging (NER, CWS, POS), sentence pair classification, single sentence classification tasks, dependency parsing, and semantic role labeling. For example, the proposed model achieves an F1 score of 80.6 on the OntoNotes dataset of NER, +1.5 over BERT; it achieves an almost perfect accuracy of 99.8% on the Fudan corpus for text classification. Code found at
updated: Thu May 21 2020 09:05:11 GMT+0000 (UTC)
published: Tue Jan 29 2019 06:15:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト