-
起源
時間：20世紀中葉
實際上是一種仿生學產品
興起
環境：2進制創新
能力：軟硬件
需求：人的性價比
查看全部 -
分類：圖像、語音（密集型矩陣）
????????????文本（稀疏性矩陣）
查看全部 -
訓練學習：
網絡結構????激勵函數????損失函數????梯度下降
查看全部 -
神經網絡：
圖像-》自動駕駛
語音-》語音助手
文本-》新聞推送
查看全部 -
激勵函數圖
查看全部 -
訓練學習
網絡結構 激勵函數
損失函數 梯度下降
查看全部 -
魚查看全部
-
網絡結構
激勵函數
損失函數
梯度下降
查看全部 -
：=??
同步更新?W?和b
查看全部 -
Sigmoid函數：f(x)=1/[1+e^(-x)] ? ?//在進行1或0的判斷時使用，在整個區間段都是可導的；
tanh函數：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)] ?// 在標注不好的情況下可嘗試使用；
ReLU函數：f(x)=max(0,x) ?// 默認函數
查看全部 -
Sigmoid函數：f(x)=1/[1+e^(-x)] ? ?//在整個區間段都是可導的；
tanh函數：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)]
ReLU函數：f(x)=max(0,x) ?// 默認函數
查看全部 -
f(x)=1/[1+e^(-x)] ? ?//在整個區間段都是可導的
查看全部 -
三種激勵函數：
1，Sigmoid函數，當x趨向于負無窮時，函數趨向于0；當x趨向于正無窮時，函數趨向于1.
優點是：在整個區間上是可導的。
缺點是：不是以原點對稱的，對稱點是（0,0.5）。使用其做完函數計算后，
經常需要再做一步數據中心化。
2，tanh函數
激勵函數是對大腦中傳遞介質的模擬，非線性的變化
Sigmoid tanh ReLU
2.1sigmoid （0-1）優勢：整個函數可導，后期反向傳播
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?缺點：對稱點：0.50（數據中心化）-》tanh
? 趨向比較小或比較大時，變化平緩
?2.2ReLU
激勵函數：
作用：提供規?；姆蔷€性能力
包括：Sigmoid、tanh、ReLU等
Sigmoid函數適用于結果為判斷是非的場合，但由于其對稱中心在(0, 0.5)，還需要進行數據中心化，由此提出了其改進函數tanh
Sigmiod和tanh的缺點是當數值很大或很小時，結果變化比較平緩，由此提出了ReLU函數，
激勵函數的作用是提供規?；姆蔷€性化能力，模擬神經元被激發后非線性狀態的變化。
Sigmoid：區間[0,1]
優點：整個區間段可導。
缺點：不是原點中心對稱，對稱點(0,0.5)-->數據中心化(0,0)
tanh：區間[-1,1]
優點：sigmoid函數平移后得到，中心對稱。
查看全部 -
激勵函數：Sigmoid, tanh, ReLU
查看全部 -
分類識別（圖片就是一個像素的矩陣）：圖像是稀疏型矩陣、語音和文本是密集型矩陣，圖像和語音中的點大部分為非零值，而文本可能是零值居多，所以文本還有一些預處理要做。
每一個節點（神經元）的處理包括：
（1）將輸入x進行線性組合；
（2）將線性組合的結果通過激活函數g(z)轉化為非線性的結果，以處理非線性問題
網絡結構
激勵函數
損失函數
梯度下降
查看全部
舉報