機械学習手法は、履歴データの転記に役立つことが証明されています。ただし、精度の高い方法で得られた結果であっても、手動による検証と修正が必要です。このような手動レビューは時間もコストもかかるため、このホワイトペーパーの目的は、レビューをより効率的にすることでした。以前は、機械学習を使用して、1950 年ノルウェーの国勢調査からの 230 万件の手書き職業コードを高精度 (97%) で転記しました。モデルの信頼度が最も低い 90,000 (3%) のコードを手動でレビューしました。これら 90,000 個のコードを人間のレビュー担当者に割り当て、コメント ツールを使用してコードをレビューしました。レビュー担当者の合意を評価するために、いくつかのコードが複数のレビュー担当者に割り当てられました。次に、レビュー結果を分析して、精度の向上と労力の関係を理解しました。さらに、ワークフローを改善するためにレビュー担当者にインタビューしました。レビュー担当者はラベルの 62.8% を修正し、31.9% のケースでモデル ラベルに同意しました。画像の約 0.2% にはラベルを割り当てることができませんでしたが、5.1% についてはレビュー担当者が不確かであるか、無効なラベルを割り当てました。 9,000 枚の画像が複数のレビュー担当者によって独立してレビューされ、その結果、86.43% が同意し、8.96% が不同意という結果になりました。私たちの自動転写は最も頻度の高いコードに偏っており、最も頻度の低いコードでは誤分類の度合いが高いことが分かりました。インタビュー結果によると、レビュー担当者は内部品質管理を行っており、カスタム ツールが適切であると判断したことがわかりました。したがって、必要なレビュー担当者は 1 人だけですが、不確実性については報告する必要があります。
Machine learning methods have proven useful in transcribing historical data. However, results from even highly accurate methods require manual verification and correction. Such manual review can be time-consuming and expensive, therefore the objective of this paper was to make it more efficient. Previously, we used machine learning to transcribe 2.3 million handwritten occupation codes from the Norwegian 1950 census with high accuracy (97%). We manually reviewed the 90,000 (3%) codes with the lowest model confidence. We allocated those 90,000 codes to human reviewers, who used our annotation tool to review the codes. To assess reviewer agreement, some codes were assigned to multiple reviewers. We then analyzed the review results to understand the relationship between accuracy improvements and effort. Additionally, we interviewed the reviewers to improve the workflow. The reviewers corrected 62.8% of the labels and agreed with the model label in 31.9% of cases. About 0.2% of the images could not be assigned a label, while for 5.1% the reviewers were uncertain, or they assigned an invalid label. 9,000 images were independently reviewed by multiple reviewers, resulting in an agreement of 86.43% and disagreement of 8.96%. We learned that our automatic transcription is biased towards the most frequent codes, with a higher degree of misclassification for the lowest frequency codes. Our interview findings show that the reviewers did internal quality control and found our custom tool well-suited. So, only one reviewer is needed, but they should report uncertainty.