画面上の意味のあるUI要素のローカリゼーションと分類を含むユーザーインターフェイス(UI)に注釈を付けることは、スクリーンリーダーやデバイスの音声制御などの多くのモバイルアプリケーションにとって重要なステップです。メニュー、検索、後方矢印などのオブジェクトアイコンに注釈を付けることは、画面に明示的なラベルがないこと、画像との類似性、およびさまざまな形状があるため、特に困難です。既存の研究では、ビュー階層またはピクセルベースの方法を使用してタスクに取り組んでいます。ピクセルベースのアプローチは、モバイルプラットフォームのビュー階層機能が不完全または不正確であることが多いため、より一般的ですが、リソースIDやコンテンツの説明などのビュー階層の説明情報が省略されています。ピクセルとビュー階層機能の両方の利点を組み合わせ、最先端のオブジェクト検出技術を活用する、新しいディープラーニングベースのマルチモーダルアプローチを提案します。提供されるユーティリティを示すために、Ricoで最も一般的に使用される29個のアイコンに手動で注釈を付けて高品質のUIデータセットを作成します。これは、72kのUIスクリーンショットで構成される大規模なモバイルデザインデータセットです。実験結果は、マルチモーダルアプローチの有効性を示しています。私たちのモデルは、広く使用されているオブジェクト分類ベースラインだけでなく、ピクセルベースのオブジェクト検出モデルよりも優れています。私たちの研究は、UI要素に注釈を付けるためにビュー階層とピクセル機能を組み合わせる方法に光を当てています。
Annotating user interfaces (UIs) that involves localization and classification of meaningful UI elements on a screen is a critical step for many mobile applications such as screen readers and voice control of devices. Annotating object icons, such as menu, search, and arrow backward, is especially challenging due to the lack of explicit labels on screens, their similarity to pictures, and their diverse shapes. Existing studies either use view hierarchy or pixel based methods to tackle the task. Pixel based approaches are more popular as view hierarchy features on mobile platforms are often incomplete or inaccurate, however it leaves out instructional information in the view hierarchy such as resource-ids or content descriptions. We propose a novel deep learning based multi-modal approach that combines the benefits of both pixel and view hierarchy features as well as leverages the state-of-the-art object detection techniques. In order to demonstrate the utility provided, we create a high quality UI dataset by manually annotating the most commonly used 29 icons in Rico, a large scale mobile design dataset consisting of 72k UI screenshots. The experimental results indicate the effectiveness of our multi-modal approach. Our model not only outperforms a widely used object classification baseline but also pixel based object detection models. Our study sheds light on how to combine view hierarchy with pixel features for annotating UI elements.