arXiv reaDer
DLBC: A Deep Learning-Based Consensus in Blockchains for Deep Learning Services
 人工知能アプリケーションの増加に伴い、ディープニューラルネットワーク(DNN)が新たな課題になりました。ただし、優れたディープラーニングモデルをトレーニングするには、膨大な計算コストとエネルギー消費が発生します。最近、ブロックチェーンが広く使用されており、その動作中に、Proof of Work(PoW)コンセンサスのために膨大な量の計算リソースが無駄になっています。このホワイトペーパーでは、ハッシュ値を計算する代わりに、有用な作業の証拠として、深層学習トレーニングでマイナーの計算能力を活用するDLBCを提案します。さまざまな制限に対処することにより、有用な作業メカニズムの最近の証明とは区別されます。具体的には、DLBCは複数のタスク、より大きなモデルおよびトレーニングデータセットを処理し、タスクの難しさ(モデルの複雑さ、ネットワークの負荷、データサイズ、キューの長さなど)を考慮する包括的なランキングメカニズムを導入します。また、堅牢性を改善するためにDNN透かし[1]を適用しました。セクションVでは、デジタル署名の平均オーバーヘッドはそれぞれ1.25、0.001、0.002、0.98秒であり、ネットワークの平均オーバーヘッドはそれぞれ3.77、3.01、0.37、0.41秒です。透かしの埋め込みには3エポックかかり、透かしの削除には30エポックかかります。透かしを削除するこのペナルティは、攻撃者が正直なマイナーからDLモデルを盗み、改善し、再送信することを防ぎます。
With the increasing artificial intelligence application, deep neural network (DNN) has become an emerging task. However, to train a good deep learning model will suffer from enormous computation cost and energy consumption. Recently, blockchain has been widely used, and during its operation, a huge amount of computation resources are wasted for the Proof of Work (PoW) consensus. In this paper, we propose DLBC to exploit the computation power of miners for deep learning training as proof of useful work instead of calculating hash values. it distinguishes itself from recent proof of useful work mechanisms by addressing various limitations of them. Specifically, DLBC handles multiple tasks, larger model and training datasets, and introduces a comprehensive ranking mechanism that considers tasks difficulty(e.g., model complexity, network burden, data size, queue length). We also applied DNN-watermark [1] to improve the robustness. In Section V, the average overhead of digital signature is 1.25, 0.001, 0.002 and 0.98 seconds, respectively, and the average overhead of network is 3.77, 3.01, 0.37 and 0.41 seconds, respectively. Embedding a watermark takes 3 epochs and removing a watermark takes 30 epochs. This penalty of removing watermark will prevent attackers from stealing, improving, and resubmitting DL models from honest miners.
updated: Fri Jan 31 2020 03:44:56 GMT+0000 (UTC)
published: Mon Apr 15 2019 22:28:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト