-
網絡梯度下降
查看全部 -
全部訓練損失
查看全部 -
三種激勵函數：Sigmoid，tanh，ReLU
查看全部 -
神經網絡包含
查看全部 -
邏輯回歸模型
查看全部 -
神經元
線性組合
非線性處理
查看全部 -
網絡結構
激勵函數
損失函數
梯度下降
查看全部 -
用激勵函數正向運算輸入值得到損失，若損失過大，用梯度下降函數對W,b進行調整
重復正向運算，知道損失達到最小
查看全部 -
左邊利用輸入值通過每一層網絡的結構計算出下一層輸出
直到結束，計算出損失
右邊通過損失函數不斷更新W，b,知道計算出最小的損失函數
查看全部 -
觀察神經網絡過程形成較為直觀的理解
梯度下降逆向更新W,b
一邊正向一邊逆向，重復這個流程
訓練過程
左邊成為正向傳播
通過輸入值按照每一層網絡的結構計算出下一層的輸出
直到結束，結束的時候計算出整個網絡的損失
右側是一個參數(W,b)調校的過程
通常會用到左邊的W，b參數，而這些參數通常是會緩存的，這樣會提高我們的運算效率（z^n,W^n,b^n）
實際上是逐步更新參數的過程
然后用新的參數載重復上面的過程
知道我們的損失函數趨向于一個最小值
參數全部算好然后一次性更新
查看全部 -
神經網絡的梯度下降——反向傳播
通過運算結果，逆向調節每一層的W,b,從而使整個神經鏈條達到一種最佳的狀態
通過w,b的線性運算和激勵函數的操作，在每一層上通過這兩部得到下一層的輸入值
倒數第二層不需要調校
查看全部 -
神經網絡的網絡向量化
神經網絡的向前傳播、運算、預測——神經網絡的網絡向量化，對向量化進行計算的過程
查看全部 -
邏輯回歸中的梯度下降
w和b決定函數的樣子
w和b同步更新
α是學習的速率，避免計算太快，錯過合適的W,
w=w-a*(損失函數對w進行求導)
查看全部 -
單次訓練損失
全部訓練損失(就是把單次訓練損失加起來)
查看全部 -
激勵函數：
作用：提供規?；姆蔷€性能力
包括：Sigmoid、tanh、ReLU等
Sigmoid函數適用于結果為判斷是非的場合，但由于其對稱中心在(0, 0.5)，還需要進行數據中心化，由此提出了其改進函數tanh
Sigmiod和tanh的缺點是當數值很大或很小時，結果變化比較平緩，由此提出了ReLU函數，
而ReLU函數作為最普遍使用的激勵函數，我們有時會使用斜率為負但是絕對值比正數小的線
查看全部
舉報