arXiv reaDer
Sketch2Code: Transformation of Sketches to UI in Real-time Using Deep Neural Network
  ユーザーインターフェイス(UI)のプロトタイピングは、アプリケーション開発の初期段階で必要な手順です。グラフィカルユーザーインターフェイス(UI)のスケッチをコード化されたUIアプリケーションに変換することは、UIデザイナーによって実行される、インスパイアされていないが時間のかかるタスクです。 UIデザインを簡単に実装するための人間の努力に代わる自動化システムは、この手順を大幅にスピードアップします。そのようなシステムを提案する作品は、主に、手書きのスケッチではなく、UIワイヤーフレームを入力として使用することに焦点を当てています。この論文では、このようなスケッチのカスタムデータベースでトレーニングされたディープニューラルネットワークを使用して、入力スケッチ内のUI要素を検出する新しいアプローチを提案します。スケッチ内のオブジェクトの検出は、ディープニューラルネットワークモデルが提供しようとする特定のソリューションを必要とする独特の視覚認識タスクです。ネットワークからの出力は、プラットフォームに依存しないUI表現オブジェクトです。 UI表現オブジェクトは、プロパティと一緒に認識されるUI要素を表すキーと値のペアの辞書です。これは、さまざまなプラットフォーム用のコードを作成するUIパーサーによってさらに消費されます。組み込みのプラットフォーム非依存により、モデルは単一のトレーニングで複数のプラットフォーム用のUIプロトタイプを作成できます。 2つの訓練されたモデルを必要としないこの2ステップのアプローチは、他の方法よりも改善され、時間効率の高い結果(平均時間:129ミリ秒)を高い精度で提供します。
User Interface (UI) prototyping is a necessary step in the early stages of application development. Transforming sketches of a Graphical User Interface (UI) into a coded UI application is an uninspired but time-consuming task performed by a UI designer. An automated system that can replace human efforts for straightforward implementation of UI designs will greatly speed up this procedure. The works that propose such a system primarily focus on using UI wireframes as input rather than hand-drawn sketches. In this paper, we put forward a novel approach wherein we employ a Deep Neural Network that is trained on our custom database of such sketches to detect UI elements in the input sketch. Detection of objects in sketches is a peculiar visual recognition task that requires a specific solution that our deep neural network model attempts to provide. The output from the network is a platform-independent UI representation object. The UI representation object is a dictionary of key-value pairs to represent the UI elements recognized along with their properties. This is further consumed by our UI parser which creates code for different platforms. The intrinsic platform-independence allows the model to create a UI prototype for multiple platforms with single training. This two-step approach without the need for two trained models improves over other methods giving time-efficient results (average time: 129 ms) with good accuracy.
updated: Sun Oct 20 2019 08:59:11 GMT+0000 (UTC)
published: Sun Oct 20 2019 08:59:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト