端到端指的是輸入是原始數據，輸出是最后的結果，非端到端的輸入端不是直接的原始數據，而是在原始數據中提取的特征，這一點在圖像問題上尤為突出，因為圖像像素數太多，數據維度高，會產生維度災難，所以原來一個思路是手工提取圖像的一些關鍵特征，這實際就是就一個降維的過程。那么問題來了，特征怎么提？特征提取的好壞異常關鍵，甚至比學習算法還重要，舉個例子，對一系列人的數據分類，分類結果是性別，如果你提取的特征是頭發的顏色，無論分類算法如何，分類效果都不會好，如果你提取的特征是頭發的長短，這個特征就會好很多，但是還是會有錯誤，如果你提取了一個超強特征，比如染色體的數據，那你的分類基本就不會錯了。這就意味著，特征需要足夠的經驗去設計，這在數據量越來越大的情況下也越來越困難。于是就出現了端到端網絡，特征可以自己去學習，所以特征提取這一步也就融入到算法當中，不需要人來干預了。

深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。
深度學習的概念由Hinton等人于2006年提出?；谏疃戎眯啪W絡(DBN)提出非監督貪心逐層訓練算法，為解決深層結構相關的優化難題帶來希望，隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。
深度學習是機器學習中一種基于對數據進行表征學習的方法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個像素強度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務（例如，人臉識別或面部表情識別）。
深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。