異なるディープラーニングフレームワークを使用したニューラルネットワークのトレーニングは、同じニューラルネットワークアーキテクチャと、学習率や最適化アルゴリズムの選択などの同一のトレーニングハイパーパラメータを使用しているにもかかわらず、大幅に異なる精度レベルにつながる可能性があります。現在、標準化された深層学習モデルを構築する能力は、一連のニューラルネットワークと、既存の深層学習フレームワーク間の違いを明らかにする対応するトレーニングハイパーパラメーターベンチマークの可用性によって制限されています。このホワイトペーパーでは、CrossedWiresと呼ばれるモデルとハイパーパラメーターの生きたデータセットを紹介します。これは、2つの一般的なディープラーニングフレームワークであるPyTorchとTensorflowのセマンティックの違いを明らかにします。 CrossedWiresデータセットは現在、3つの異なるコンピュータービジョンアーキテクチャ(VGG16、ResNet50、DenseNet121)を使用してCIFAR10画像でトレーニングされたモデルで構成されています。ハイパーパラメータ最適化を使用して、3つのモデルのそれぞれが、HyperSpace検索アルゴリズムによって提案された400セットのハイパーパラメータでトレーニングされました。 CrossedWiresデータセットには、構文的に同等のモデルと同一のハイパーパラメーターの選択で0.681と異なるテスト精度を持つPyTorchモデルとTensforflowモデルが含まれています。ここに示されている340GBのデータセットとベンチマークには、1200のハイパーパラメータの選択肢すべてのパフォーマンス統計、トレーニングカーブ、モデルの重みが含まれており、合計で2400のモデルになります。 CrossedWiresデータセットは、一般的な深層学習フレームワーク全体で構文的に同等のモデル間の意味の違いを研究する機会を提供します。さらに、この調査から得られた洞察により、深層学習フレームワークの信頼性と再現性を向上させるアルゴリズムとツールの開発が可能になります。データセットは、PythonAPIおよび直接ダウンロードリンクを介してhttps://github.com/maxzvyagin/crossedwiresから無料で入手できます。
The training of neural networks using different deep learning frameworks may lead to drastically differing accuracy levels despite the use of the same neural network architecture and identical training hyperparameters such as learning rate and choice of optimization algorithms. Currently, our ability to build standardized deep learning models is limited by the availability of a suite of neural network and corresponding training hyperparameter benchmarks that expose differences between existing deep learning frameworks. In this paper, we present a living dataset of models and hyperparameters, called CrossedWires, that exposes semantic differences between two popular deep learning frameworks: PyTorch and Tensorflow. The CrossedWires dataset currently consists of models trained on CIFAR10 images using three different computer vision architectures: VGG16, ResNet50 and DenseNet121 across a large hyperparameter space. Using hyperparameter optimization, each of the three models was trained on 400 sets of hyperparameters suggested by the HyperSpace search algorithm. The CrossedWires dataset includes PyTorch and Tensforflow models with test accuracies as different as 0.681 on syntactically equivalent models and identical hyperparameter choices. The 340 GB dataset and benchmarks presented here include the performance statistics, training curves, and model weights for all 1200 hyperparameter choices, resulting in 2400 total models. The CrossedWires dataset provides an opportunity to study semantic differences between syntactically equivalent models across popular deep learning frameworks. Further, the insights obtained from this study can enable the development of algorithms and tools that improve reliability and reproducibility of deep learning frameworks. The dataset is freely available at https://github.com/maxzvyagin/crossedwires through a Python API and direct download link.