亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

常用的激勵函數

sigmoid

tanh

ReLU

單個細胞結構

神經網絡的感覺

從這門課幫助我理解了神經網絡

對bp神經網絡的多輪單個樣本更新權重和閾值的迭代代碼實現，參考吳恩達機器學習
??def?loss(self,x,y,lamba=0.01):????????
??????n_train,n_features=x.shape???????
???????#前向傳播????????
??????mulIToH=sigmoid(np.dot(x,self.weightIToH_)+self.b1)#隱藏層輸出結果n_train*self.wHN_???????
??????mulHToO=sigmoid(np.dot(mulIToH,self.weightHToO_)+self.b2)#輸出層輸出結果n_train*self.oN_???????
??????loss=-np.sum(y*np.log(mulHToO)+(1-y)*np.log(1-mulHToO))/n_train?????
??????loss+=0.5*lamba*(np.sum(self.weightIToH_*self.weightIToH_)+np.sum(self.weightHToO_*self.weightHToO_))/n_train??????
??????#backward后向傳播過程??????
??????errorOut=mulHToO-y#n_train*self.oN_?????
??????dWeightHToO=np.dot(mulIToH.T,errorOut)+lamba*self.weightHToO_????????
??????db2=np.sum(errorOut,axis=0)????????
??????for?temp?in?range(mulIToH.shape[1]):????????????
??????????mulIToH.T[temp]=derivativeOfSigmoid(mulIToH.T[temp])????????
??????errorHidden=np.dot(errorOut,self.weightHToO_.T)*mulIToH.T????????
??????dWeightIToH=np.dot(x.T,errorHidden)+lamba*self.weightIToH_????????
??????db1=np.sum(errorHidden,axis=0)???????
??????dWeightHToO/=n_train???????
??????dWeightIToH/=n_train?????
??????db2/=n_train??????
??????db1/=n_train???
?????return?loss,dWeightIToH,dWeightHToO,db1,db2

講解這個訓練過程，以及網絡向量化（正向傳播）、網絡梯度下降（網絡反向傳播），是為了我們在使用框架時（使用現成的神經網絡算法時），明白神經網絡的執行機制。

因此，老師沒有講解例子，自己來編寫這些代碼。

可能后續會有課程，使用這些框架。

比如：老師的另一門免費課：

使用python實現線性回歸？

實際上，我在寫程序的時候，沒有使用損失函數，LOST的計算，直接使用

y' - y （y'是網絡模擬出輸出，y為原始數據）來判斷網絡誤差。

為了反向調整w、b的值，修改正向傳播的計算公式：

z = wT*x+b

輸入幾個x，w的第一緯就是幾；比如這里有3個x，則w就是3行；

該層有幾個細胞，w的第二維就是幾；比如這里隱含層有4個細胞，則w就是4列。

然后，w轉置后，與x相乘；

該層有幾個細胞，b的第一維就是幾；這里b是4行1列。

輸出層，也是，一個細胞，四個輸入；則w是4行1列，b是1行1列。

邏輯回歸梯度下降法

為了找到局部最小或者全局最小值，對損失函數進行求導。

求損失函數導數

w、b同步更新

最終找到最小值

單次訓練損失

三種激勵函數：
1，Sigmoid函數，當x趨向于負無窮時，函數趨向于0；當x趨向于正無窮時，函數趨向于1.

優點是：在整個區間上是可導的。

缺點是：不是以原點對稱的，對稱點是（0,0.5）。使用其做完函數計算后，

經常需要再做一步數據中心化。

2，tanh函數

將Sigmoid函數平移后，產生以（0,0）點中心對稱的函數tanh函數。

兩個函數的缺點：

當數據極大、或者極小時，函數變化比較平緩。從圖中也能看出來。

函數變化比較小，神經網絡的效能受到影響。如果網絡比較大，

則訓練周期就會比較長。

3，ReLU函數，近幾年出現的線性函數。效率比較高。很多機器學習的框架，默認使用該函數。

課程的安排

神經網絡主要功能是分類識別。分類識別主要分為①圖像（最終可能實現自動駕駛）；②語音（最終就是導致語音助手）；③文本（最終可能就是導致新聞推送服務）。

神經網絡興起的原因：①環境：2進制創新；②能力：軟硬件；③需求：人的性價比。