IC693MDL645LT 第一个深度神经网络，其主要特点包括：
使用ReLU作为激活函数；
提出在全连接层使用Dropout避免过拟合。注：当BN提出后，Dropout就被BN替代了；
由于GPU显存太小，使用了两个GPU，做法是在通道上分组；。
使用局部响应归一化(Local Response Normalization --LRN)，在生物中存在侧抑制现象，即被激活的神经元会抑制周围的神经元。在这里的目的是让局部响应值大的变得相对更大，并抑制其它响应值相对比较小的卷积核。例如，某特征在这一个卷积核中响应值比较大，则在其它相邻卷积核中响应值会被抑制，这样一来卷积核之间的相关性会变小。LRN结合ReLU，使得模型提高了一点多个百分点；
IC693MDL645LT
IC693MDL645LT
豫公安备 41010502000017号