arXiv reaDer
SpanBERT: スパンの表現と予測による事前訓練の改善
SpanBERT: Improving Pre-training by Representing and Predicting Spans
テキストのスパンをより良く表現し、予測するために設計された事前学習法であるSpanBERTを提示する。我々のアプローチは、(1)ランダム・トークンではなく、連続するランダム・スパンをマスキングし、(2)スパン境界表現を訓練して、マスキングされたスパン内の個々のトークン表現に頼らずに、マスキングされたスパンの内容全体を予測することによって、BERTを拡張している。SpanBERTは、一貫してBERTと我々のより調整されたベースラインを上回り、質問への回答や共参照解決などのスパン選択タスクで大幅に向上した。特に、BERT-largeと同じ訓練データとモデルサイズで、我々の単一モデルは、SQuAD 1.1と2.0でそれぞれ94.6%と88.7%のF1を獲得した。また、OntoNotesの共参照解決タスク(79.6% F1)、TACRED関係抽出ベンチマークでの強力なパフォーマンス、さらにはGLUEでの改善を示している。
We present SpanBERT, a pre-training method that is designed to better represent and predict spans of text. Our approach extends BERT by (1) masking contiguous random spans, rather than random tokens, and (2) training the span boundary representations to predict the entire content of the masked span, without relying on the individual token representations within it. SpanBERT consistently outperforms BERT and our better-tuned baselines, with substantial gains on span selection tasks such as question answering and coreference resolution. In particular, with the same training data and model size as BERT-large, our single model obtains 94.6% and 88.7% F1 on SQuAD 1.1 and 2.0, respectively. We also achieve a new state of the art on the OntoNotes coreference resolution task (79.6% F1), strong performance on the TACRED relation extraction benchmark, and even show gains on GLUE.
updated: Sat Jan 18 2020 03:53:04 GMT+0000 (UTC)
published: Wed Jul 24 2019 15:43:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト