深度学习之参数初始化（一）——Xavier初始化

今天药忘吃喽~ 2022-01-24 00:11 315阅读 0赞

我们需要牢记**参数初始化**的目的是为了**让神经网络在训练过程中学习到有用的信息**，**这意味着参数梯度不应该为0**。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关——激活值饱和会导致该层状态梯度信息为0，然后导致下面所有层的参数梯度为0；**入激活值为0会导致对应参数梯度为0**。所以如果要保证参数梯度不等于0，那么参数初始化应该使得各层激活值不会出现饱和现象且激活值不为0。我们把这两个条件总结为参数初始化条件：

*      初始化必要条件一：各层激活值不会出现饱和现象。
 *      初始化必要条件二：各层激活值不为0。

下面讨论几种常见的初始化方式：

# 一、随机正态分布 #

用10层神经网络，每一层的参数都是随机正态分布

## 1.1 设均值为0，标准差为0.01 ##

tf.Variable(np.random.randn(node_in, node_out).astype('float32')) * 0.01

#10层神经网络
    data = tf.constant(np.random.randn(2000, 800).astype('float32'))
    layer_sizes = [800 - 50 * i for i in range(0, 10)]
    num_layers = len(layer_sizes)
     
    fcs = []
    for i in range(0, num_layers - 1):
        X = data if i == 0 else fcs[i - 1]
        node_in = layer_sizes[i]
        node_out = layer_sizes[i + 1]
        W = tf.Variable(np.random.randn(node_in, node_out).astype('float32')) * 0.01
        fc = tf.matmul(X, W)
        # fc = tf.contrib.layers.batch_norm(fc, center=True, scale=True,
        #                                   is_training=True)
        fc = tf.nn.tanh(fc)
        fcs.append(fc)
     
    #
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        print('input mean {0:.5f} and std {1:.5f}'.format(np.mean(data.eval()),
                                                          np.std(data.eval())))
        for idx, fc in enumerate(fcs):
            print('layer {0} mean {1:.5f} and std {2:.5f}'.format(idx + 1, np.mean(fc.eval()),
                                                                  np.std(fc.eval())))
        for idx, fc in enumerate(fcs):
            print(fc)
            plt.subplot(1, len(fcs), idx + 1)
            #绘制直方图30个bin
            plt.hist(fc.eval().flatten(), 30, range=[-1, 1])
     
            plt.xlabel('layer ' + str(idx + 1))
            plt.yticks([])#把y轴刻度关掉
        plt.show()

每一层输出值分布的直方图：

随着层数的增加，我们看到输出值迅速向0靠拢，在后几层中，几乎所有的输出值 x 都很接近0！回忆优化神经网络的back propagation算法，根据链式法则，gradient等于当前函数的gradient乘以后一层的gradient，这意味着输出值 x 是计算gradient中的乘法因子，直接导致gradient很小，使得参数难以被更新！

![70][]           ![70 1][]

## 1.2 将标准差改为1 ##

几乎所有的值集中在-1或1附近，神经元饱和了！注意到tanh在-1和1附近的gradient都接近0，这同样导致了gradient太小，参数难以被更新

![70 2][]      ![70 3][]

# 二、Xavier初始化 #

Xavier initialization 发音***/‘zeɪvɪr/***可以解决上面的问题！其初始化方式也并不复杂。Xavier初始化的基本思想是保持输入和输出的方差一致，这样就避免了所有输出值都趋向于0，使得网络中信息可以更好的流动。Xavier initialization是由Xavier Glorot et al.在2010年的《[Understanding the difficulty of training deep feedforward neural networks][]》这篇文章中提出的。

该文章首先通过实验分析标准初始化方法的问题；然后根据两个目标——状态方差和梯度方差保持不变推导出参数的特点，给出Xavier初始化方法的具体形式；最后通过实验验证Xavier初始化的效果确实不错。

论文讨论的是全连接神经网络，fan\_in指第i层神经元个数，fan\_out指第i+1层神经元个数。

**它有个缺陷：只适用于关于0对称、呈线性的激活函数，比如***sigmoid、tanh、softsign***。对于ReLU网络可采用**[Kaming初始化][Kaming]

该方法的公式理论说明见博客：[深度学习之参数初始化（一）——Xavier初始化][Xavier]

另一篇公式推导：[https://blog.csdn.net/shuzfan/article/details/51338178][https_blog.csdn.net_shuzfan_article_details_51338178]

## tensorflow实现： ##

tf.contrib.layers.variance_scaling_initializer（）

Tensorflow 官网的介绍为：

variance_scaling_initializer(
        factor=2.0,
        mode='FAN_IN', ## Count only number of input connections.
        uniform=False,
        seed=None,
        dtype=tf.float32
    )

返回一个不缩放方差而生成张量的初始化程序。在初始化深层网络时，保持输入方差的尺度恒定原则上是有利的，因此到达最后一层时不会爆炸或缩小。此初始化器使用以下公式：

if mode='FAN_IN': # Count only number of input connections.
        n = fan_in
      elif mode='FAN_OUT': # Count only number of output connections.
        n = fan_out
      elif mode='FAN_AVG': # Average number of inputs and output connections.
        n = (fan_in + fan_out)/2.0
    
        truncated_normal(shape, 0.0, stddev=sqrt(factor / n))

这段话可以理解为，通过使用这种初始化方法，我们能够保证输入变量的变化尺度不变，从而避免变化尺度在最后一层网络中爆炸或者弥散。

来自：[深度学习的Xavier初始化方法][Xavier 1]

三、代码

#10层神经网络
    data = tf.constant(np.random.randn(2000, 800).astype('float32'))
    layer_sizes = [800 - 50 * i for i in range(0, 10)]
    num_layers = len(layer_sizes)
     
    fcs = []
    for i in range(0, num_layers - 1):
        X = data if i == 0 else fcs[i - 1]
        node_in = layer_sizes[i]
        node_out = layer_sizes[i + 1]
        W = tf.Variable(np.random.randn(node_in, node_out).astype('float32'))/np.sqrt(node_in)
        fc = tf.matmul(X, W)
        # fc = tf.contrib.layers.batch_norm(fc, center=True, scale=True,
        #                                   is_training=True)
        fc = tf.nn.tanh(fc)
        fcs.append(fc)
     
    #
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        print('input mean {0:.5f} and std {1:.5f}'.format(np.mean(data.eval()),
                                                          np.std(data.eval())))
        for idx, fc in enumerate(fcs):
            print('layer {0} mean {1:.5f} and std {2:.5f}'.format(idx + 1, np.mean(fc.eval()),
                                                                  np.std(fc.eval())))
        for idx, fc in enumerate(fcs):
            print(fc)
            plt.subplot(1, len(fcs), idx + 1)
            #绘制直方图30个bin
            plt.hist(fc.eval().flatten(), 30, range=[-1, 1])
     
            plt.xlabel('layer ' + str(idx + 1))
            plt.yticks([])#把y轴刻度关掉
        plt.show()

输出值在很多层之后依然保持着良好的分布，

![70 4][]![70 5][]

另外还有这两种初始化方法：

*  [Kaming初始化][Kaming]是由Kaiming He et al.在2016年提出
 *  [Batch Normalization][]是由Sergey Ioffe et al.在2015年的提出。

原文：https://blog.csdn.net/fanzonghao/article/details/82851327

[70]: https://img-blog.csdn.net/20180926132605781?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhbnpvbmdoYW8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: /images/20220124/3c7f3a11517c4f19ab038c61289f53fb.png
[70 2]: https://img-blog.csdn.net/20180926134013688?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhbnpvbmdoYW8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 3]: /images/20220124/79133edd8413450a85cd0ddbf4403353.png
[Understanding the difficulty of training deep feedforward neural networks]: http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
[Kaming]: https://blog.csdn.net/VictoriaW/article/details/73166752
[Xavier]: https://blog.csdn.net/VictoriaW/article/details/73000632
[https_blog.csdn.net_shuzfan_article_details_51338178]: https://blog.csdn.net/shuzfan/article/details/51338178
[Xavier 1]: https://blog.csdn.net/u010185894/article/details/71104387
[70 4]: https://img-blog.csdn.net/20180926140858585?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhbnpvbmdoYW8=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 5]: /images/20220124/e42e50846a234f08a2f7ac8e8f36e85e.png
[Batch Normalization]: https://blog.csdn.net/VictoriaW/article/details/73558778