深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示
大腦有一個深度架構
例如，視覺皮質得到了很好的研究，并顯示出一系列的區域，在每一個這種區域中包含一個輸入的表示和從一個到另一個的信號流(這里忽略了在一些層次并行路徑上的關聯，因此更復雜)。這個特征層次的每一層表示在一個不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據低層特征定義。
需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經元是同時活動的。給定大量的神經元，仍然有一個非常高效地(指數級高效)表示。
認知過程逐層進行，逐步抽象
人類層次化地組織思想和概念；
人類首先學習簡單的概念，然后用他們去表示更抽象的；
工程師將任務分解成多個抽象層次去處理；
學習/發現這些概念(知識工程由于沒有反省而失??？)是很美好的。對語言可表達的概念的反省也建議我們一個稀疏的表示：僅所有可能單詞/概念中的一個小的部分是可被應用到一個特別的輸入(一個視覺場景）