你必需具備的數學知識

概率論

• 離散型和連續型隨機變量

• 主要分布（伯努利分布、二項式分布、正態分布、 指數分布、 泊松分布、Beta 和 Gamma 分布）

• 矩估計和最大似然估計

• 貝葉斯統計

• 相關性系數和協方差（Correlation and Covariance）

概率是機器學習算法中頻繁用到的。不過基礎的概率知識在統計學中已經包括了，而比較深入的概率知識其實在機器學習算法設計的時候并不經常用到。




線性代數

• 向量和矩陣

• 矩陣的行列式

• 特征向量和特征值

• 矩陣分解（如 SVD）

線性代數在深度學習領域有著舉足輕重的作用，它是深度學習各種算法的基本數學工具。尤其是矩陣的各種變換，因為大量機器學習算法都是在和矩陣打交道。




向左轉|向右轉









微積分

• 極限與導數

• 微分和積分

• 數值計算與最優化方法

比如，現在無比熱門的神經網絡，優化方法幾乎全是基于梯度下降，而梯度下降，其實就是鏈式求導。不過，理工科應該都學過這方面的課程。




最好要掌握：

離散數學：畢竟離散數學是描述計算機問題的基礎。許多算法的思想也是基于離散數學的。離散數學研究的一些問題對于描述計算機問題也有很大啟發。




隨機過程，實分析：機器學習往深里做肯定需要用這種，高級的數學語言去對問題進行描述。




泛函：泛函分析是一門非常抽象的課程。泛函的很多內容都是從數學分析，線性代數，實分析等抽象出來的，同時也是它們的推廣，泛函研究更廣泛更一般的空間，研究共性的問題。而數學分析，高等代數研究的是個性的問題，都很具體。




各種算法和理論用到的數學知識

下面我們一張圖來看典型算法和理論結論所用到的數學知識：




向左轉|向右轉









推薦書目

• 《An Introduction Statistical to Learning 》

• 《 The Elements of Statistical Learning 》

它們講述的都是統計學習，或者機器學習的方法。其中前一本可以看成是后一本的簡化版。它更通俗、更簡單一些，后面這個稍微有些難。這兩本書可以反復閱讀，每次都有不同的收獲。