arXiv reaDer
BERTベースの感情分析:ソフトウェアエンジニアリングの視点
BERT-Based Sentiment Analysis: A Software Engineering Perspective
感情分析は、ソフトウェアエンジニアリングで使用されるツールに、APIレコメンデーションシステムおよび使用される関連ライブラリとともに適切なリードを提供できます。これに関連して、SentiCR、SentiStrength-SEなどの既存のツールは、そのような戦略の展開の目的を完全に無効にする低いf1スコアを示したため、パフォーマンスを改善するための十分な余地があります。最近の進歩は、トランスフォーマーベースの事前トレーニング済みモデル(BERT、RoBERTa、ALBERTなど)がテキスト分類タスクでより良い結果を示したことを示しています。このコンテキストに続いて、本研究では、GitHubコメント、Jiraコメント、およびStackOverflow投稿の文を分析するためにさまざまなBERTベースのモデルを調査します。このホワイトペーパーでは、感情分析のためにBERTベースのモデルを分析するための3つの異なる戦略を紹介します。最初の戦略では、BERTベースの事前トレーニング済みモデルを微調整します。 2番目の戦略では、アンサンブルモデルがBERTバリアントから開発され、3番目の戦略では圧縮モデル(Distil BERT)が使用されます。実験結果は、BERTベースのアンサンブルアプローチと圧縮されたBERTモデルが、3つのデータセットすべてのF1メジャーの一般的なツールよりも6〜12%向上することを示しています。
Sentiment analysis can provide a suitable lead for the tools used in software engineering along with the API recommendation systems and relevant libraries to be used. In this context, the existing tools like SentiCR, SentiStrength-SE, etc. exhibited low f1-scores that completely defeats the purpose of deployment of such strategies, thereby there is enough scope for performance improvement. Recent advancements show that transformer based pre-trained models (e.g., BERT, RoBERTa, ALBERT, etc.) have displayed better results in the text classification task. Following this context, the present research explores different BERT-based models to analyze the sentences in GitHub comments, Jira comments, and Stack Overflow posts. The paper presents three different strategies to analyse BERT based model for sentiment analysis, where in the first strategy the BERT based pre-trained models are fine-tuned; in the second strategy an ensemble model is developed from BERT variants, and in the third strategy a compressed model (Distil BERT) is used. The experimental results show that the BERT based ensemble approach and the compressed BERT model attain improvements by 6-12% over prevailing tools for the F1 measure on all three datasets.
updated: Fri Jul 02 2021 13:16:19 GMT+0000 (UTC)
published: Fri Jun 04 2021 16:28:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト