じぶんメモ

プログラミングのメモ、日常のメモとか。

2017-11-28から1日間の記事一覧

【ゼロから作るDeep Learning】要点まとめ 第6章

6章 - 学習に関するテクニック 勾配法の種類 勾配法の種類はSGD, Momentum, AdaGrad, Adamがある。(AdaGrad,Adamが学習スピードが早い) 重みパラメータと活性化関数での出力値 重みパラメータの初期値は小さくすることで過学習を防げるが、0にすると各層で…