本文目录
caffe 中为什么bn层要和scale层一起使用
1) 输入归一化 x_norm = (x-u)/std, 其中u和std是个累计计算的均值和方差。
2）y=alpha×x_norm + beta，对归一化后的x进行比例缩放和位移。其中alpha和beta是通过迭代学习的。那么caffe中的bn层其实只做了第一件事，scale层做了第二件事，所以两者要一起使用。
一，在Caffe中使用Batch Normalization需要注意以下两点：
1. 要配合Scale层一起使用。
2. 训练的时候，将BN层的use_global_stats设置为false，然后测试的时候将use_global_stats设置为true。
二，基本公式梳理：
Scale层主要完成 top=alpha∗bottom+betatop=alpha∗bottom+beta的过程，则层中主要有两个参数alphaalpha与betabeta,求导会比较简单。∂y∂x=alpha;∂y∂alpha=x;∂y∂beta=1。 需要注意的是alphaalpha与betabeta均为向量，针对输入的channelschannels进行的处理，因此不能简单的认定为一个floatfloat的实数。
三，具体实现该部分将结合源码实现解析scalescale层:
在Caffe proto中ScaleParameter中对Scale有如下几个参数：
1，基本成员变量，基本成员变量主要包含了Bias层的参数以及Scale层完成对应通道的标注工作。
2，基本成员函数，主要包含了LayerSetup,Reshape ,Forward和Backward ，内部调用的时候bias_term为true的时候会调用biasLayer的相关函数。
3，Reshape 调整输入输出与中间变量，Reshape层完成许多中间变量的size初始化。
4，Forward 前向计算，前向计算，在BN中国紧跟着BN的归一化输出，完成乘以alpha与+bias的操作，由于alpha与bias均为C的向量，因此需要先进行广播。
5，Backward 反向计算，主要求解三个梯度，对alpha 、beta和输入的bottom(此处的temp)。
如何使用 caffe batch norm
如何在Caffe中配置每一个层的结构 最近刚在电脑上装好Caffe，由于神经网络中有不同的层结构，不同类型的层又有不同的参数，所有就根据Caffe官网的说明文档做了一个简单的总结。 1. Vision Layers 1.1 卷积层(Convolution)
