作者：梅洪源
來源：知乎

現在實踐證明，對supervised-learning而言，效果較好的應該算是Recurrent Neural Network （RNN）吧，目前比較火的一類RNN是LSTM -- Long Short Term Memory。
對于這個model而言，最初的發明見于論文--Long Short Term Memory by Hochreiter and Schmidhuber，而之后較好的歸納和實現可以參考Frame Phoneme Classification with Bidirectional LSTM by Alex Graves，后者有比較清晰的back propagation的公式。
最近兩年這個model在speech，language以及multimodal with vision等方面可謂是大展宏圖，一再的刷新實驗結果，重要工作可以參考：
Speech recognition with Deep Recurrent Neural Networks by Graves
Sequence to Sequence Learning with Neural Networks by Sutskever
Show Attend and Tell by Kelvin Xu
至于具體的實現，希望避免造輪子的可以參考這個非常famous的github：karpathy (Andrej) · GitHub，Andrej Karpathy最近發了很多很有趣的RNN的fun project，可以borrow一些代碼。
希望自己造輪子的，可以選擇用Theano或者Torch，用畫data flow的方法來code整個structure，很簡潔實用，我個人一直用Theano，給個好評。：）
當然啦，至于你要研究什么問題，還是具體問題具體分析的好?？梢匀ニ阉延袥]有研究類似問題的paper，看看目前的最好的技術是什么。Deep Learning不一定是萬能的啦。