小知识点

1. dropout，让每个链接都可靠，冗余学习，学习慢但更可靠
   屏蔽一部分链接，其他链接乘以相应倍数

2. numpy技巧

   
   

   

3. 权重共享 统计不变性(statistic invariants)

   
   

   

   
   

   卷积计算 权重共享 与位置无关

4. 1*1 卷积作用
   加入非线性,跨通道信息交互,降维

5. TSNE可以在降维的同时保留临近结构

   
   

   

6. word2vec

• sample softmax

• 用余弦距离比不用L2

• 类比

1. LSTM RNN中解决梯度消失

   
   

   

作者：MWhite
链接：https://www.jianshu.com/p/e31ea507ad6e