arXiv reaDer
GLIB: Towards Automated Test Oracle for Graphically-Rich Applications
ゲームなどのグラフィックが豊富なアプリケーションは、ソフトウェアアプリケーションとエンドユーザーの間の架け橋となるグラフィカルユーザーインターフェイス(GUI)の魅力的な視覚効果を備えたユビキタスです。ただし、このようなGUIの複雑さからさまざまなタイプのグラフィカルな不具合が発生する可能性があり、ソフトウェアの互換性の問題の主要な要素の1つになっています。 NetEase Inc.のゲーム開発チームからのバグレポートに関する調査では、GUIレンダリング中にグラフィックの不具合が頻繁に発生し、ビデオゲームなどのグラフィックが豊富なアプリケーションの品質が大幅に低下することが示されています。このようなアプリケーションの既存の自動テスト手法は、主にさまざまなGUIテストシーケンスの生成に焦点を当てており、テストシーケンスがクラッシュを引き起こす可能性があるかどうかを確認します。これらの手法では、グラフィックの不具合を引き起こすバグなど、クラッシュしないバグをキャプチャするために、常に人間の注意を払う必要があります。このホワイトペーパーでは、グラフィックが豊富なアプリケーションでクラッシュしないバグを検出するためのテストオラクルを自動化する最初のステップを紹介します。具体的には、ゲームのGUIの不具合を検出するために、コードベースのデータ拡張手法に基づくGLIBを提案します。 20の実際のゲームアプリ(バグレポートが利用可能)でGLIBの評価を実行し、その結果、GLIBはゲームのGUIグリッチなどのクラッシュしないバグを検出する際に100%の精度と99.5%のリコールを達成できることが示されています。別の14の実際のゲーム(バグレポートなし)にGLIBを実際に適用すると、GLIBがGUIの不具合を効果的に発見できることがさらに実証され、GLIBによって報告された53のバグのうち48が確認され、修正されています。
Graphically-rich applications such as games are ubiquitous with attractive visual effects of Graphical User Interface (GUI) that offers a bridge between software applications and end-users. However, various types of graphical glitches may arise from such GUI complexity and have become one of the main component of software compatibility issues. Our study on bug reports from game development teams in NetEase Inc. indicates that graphical glitches frequently occur during the GUI rendering and severely degrade the quality of graphically-rich applications such as video games. Existing automated testing techniques for such applications focus mainly on generating various GUI test sequences and check whether the test sequences can cause crashes. These techniques require constant human attention to captures non-crashing bugs such as bugs causing graphical glitches. In this paper, we present the first step in automating the test oracle for detecting non-crashing bugs in graphically-rich applications. Specifically, we propose GLIB based on a code-based data augmentation technique to detect game GUI glitches. We perform an evaluation of GLIB on 20 real-world game apps (with bug reports available) and the result shows that GLIB can achieve 100% precision and 99.5% recall in detecting non-crashing bugs such as game GUI glitches. Practical application of GLIB on another 14 real-world games (without bug reports) further demonstrates that GLIB can effectively uncover GUI glitches, with 48 of 53 bugs reported by GLIB having been confirmed and fixed so far.
updated: Thu Jul 15 2021 22:39:34 GMT+0000 (UTC)
published: Sat Jun 19 2021 14:50:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト