深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。
深度學習的概念由Hinton等人于2006年提出?；谏钚哦染W(DBN)提出非監督貪心逐層訓練算法，為解決深層結構相關的優化難題帶來希望，隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。
深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。
同機器學習方法一樣，深度機器學習方法也有監督學習與無監督學習之分．不同的學習框架下建立的學習模型很是不同．例如，卷積神經網絡（Convolutional neural networks，簡稱CNNs）就是一種深度的監督學習下的機器學習模型，而深度置信網（Deep Belief Nets，簡稱DBNs）就是一種無監督學習下的機器學習模型。
深度不足會出現問題
在許多情形中深度2就足夠表示任何一個帶有給定目標精度的函數。但是其代價是：圖中所需要的節點數(比如計算和參數數量)可能變的非常大。理論結果證實那些事實上所需要的節點數隨著輸入的大小指數增長的函數族是存在的。
我們可以將深度架構看做一種因子分解。大部分隨機選擇的函數不能被有效地表示，無論是用深的或者淺的架構。但是許多能夠有效地被深度架構表示的卻不能被用淺的架構高效表示。一個緊的和深度的表示的存在意味著在潛在的可被表示的函數中存在某種結構。如果不存在任何結構，那將不可能很好地泛化。
大腦有一個深度架構
例如，視覺皮質得到了很好的研究，并顯示出一系列的區域，在每一個這種區域中包含一個輸入的表示和從一個到另一個的信號流(這里忽略了在一些層次并行路徑上的關聯，因此更復雜)。這個特征層次的每一層表示在一個不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據低層特征定義。
需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經元是同時活動的。給定大量的神經元，仍然有一個非常高效地(指數級高效)表示。
認知過程逐層進行，逐步抽象
人類層次化地組織思想和概念；
人類首先學習簡單的概念，然后用他們去表示更抽象的；
工程師將任務分解成多個抽象層次去處理；
學習/發現這些概念(知識工程由于沒有反省而失??？)是很美好的。對語言可表達的概念的反省也建議我們一個稀疏的表示：僅所有可能單詞/概念中的一個小的部分是可被應用到一個特別的輸入(一個視覺場景)。
核心思想
把學習結構看作一個網絡，則深度學習的核心思路如下：
①無監督學習用于每一層網絡的pre-train；
②每次用無監督學習只訓練一層，將其訓練結果作為其高一層的輸入；
③用自頂而下的監督算法去調整所有層

深度學習，按個人的理解主要就是多層神經網絡。而多層神經網絡目前效果比較好的是卷積神經網絡，目前在圖像和音頻信號上效果比較好，而在自然語言處理上效果沒有顯示出來。

深度學習從統計學的角度來說,就是在預測數據的分布，從數據中學得一個模型然后再通過這個模型去預測新的數據，這一點就要求測試數據和訓練數據必須是同分布。

深度學習，它是在一定的學習量的積累基礎之上的質的飛越，就是學習能力的質變和新實現。度學習的前提在于大數據技術的成熟和支撐。同時，深度學習是一種經驗的連接和運用。它是人類的經驗和智慧在機器中的再生和活化。