-
輸入單個節點的處理也可以有一個預測輸出，通過選定損失函數對預測結果進行評估，并進行反向學習進一步修改線性組合的參數W和b
查看全部 -
邏輯回歸是一種最簡化的網絡結構
查看全部 -
神經網絡比普通的函數具有結構性的順序——網絡結構
深層網絡比淺層網絡的所需結點數要少，而且理解力會更強
線性結構可以解決線性問題，非線性就可以解決非線性問題
神經元結構
查看全部 -
課程安排1
查看全部 -
圖像、語音：密集型矩陣，非零值
文本：稀疏型矩陣，零值居多，需要預處理
查看全部 -
神經網絡
起源：
????20世紀中葉
查看全部 -
神經網絡的主要組件
查看全部 -
梯度下降同步更新神經元線性部分的參數W和b，J(W,b)為損失函數
查看全部 -
正向傳播-->網絡向量化
反向傳播-->網絡梯度下降
對a^n求導，輸出dW^n、db^n、dz^n，得到da^n-1
y-->a^n-->a^n-1-->……-->a（x層不需要調教）
訓練過程：正向傳播計算損失-->反向傳播更新參數-->反復以上步驟
注意：傳播按層進行，中間沒有交叉，所有層全部算好后再一次性更新參數
查看全部 -
梯度下降是通過一種漸進性的方式來調整函數的形態（W，b），使學習結果與實際結果一致。
通過正向運算得到y^，此時W、b是初始值，y^與真實y值有差異，通過損失函數反向調整參數W、b。用損失函數分別對W、b求導，同步更新W、b，使在損失函數變化方向上漸進減小直到Global Minimum（全局最小值），此時W、b趨向于穩定。如果損失函數趨近于全局最小值，則預測y值與真實y值差異最小。
查看全部 -
損失函數判斷學習產生的函數值和訓練集給出的函數值之間的差異性。
不使用歐幾里得距離（預測值與真實值做差）而使用log函數是因為，通過激勵函數學習出的平面并不是凸函數平面，在后期做梯度下降（與是否是凸函數有關）時有多個局部極小值時，學習結果不準確。
-->使用log變成凸函數。
查看全部 -
激勵函數的作用是提供規?；姆蔷€性化能力，模擬神經元被激發后非線性狀態的變化。
Sigmoid：區間[0,1]
優點：整個區間段可導。
缺點：不是原點中心對稱，對稱點(0,0.5)-->數據中心化(0,0)
tanh：區間[-1,1]
優點：sigmoid函數平移后得到，中心對稱。
缺點：趨向于較大或較小時，導數為0，函數變化平緩，神經網絡學習效率受影響，學習周期變長。
ReLU（較為普遍）：
缺點：小于0時，導數為0，出現問題-->可改為斜率較小的斜線
查看全部 -
圖像、語音：密集型矩陣，非零值
文本：稀疏型矩陣，零值居多，需要預處理
查看全部 -
權重 偏置值查看全部
-
：=? ?同步更新
查看全部
舉報