神经网络优化

  人工智能实践:Tensorflow笔记(6)

Posted by     Keyon                      on April 4, 2018

损失函数

神经元模型:用数学公式表示为:𝐟(∑𝒊𝒙𝒊𝒘𝒊 + 𝐛),f 为激活函数。神经网络是以神经元为基本单元构成的。

激活函数:引入非线性激活因素,提高模型的表达力。

常用的激活函数有 relu、sigmoid、tanh 等:

激活函数 relu: 在 Tensorflow 中,用 tf.nn.relu()表示

激活函数 sigmoid:在 Tensorflow 中,用 tf.nn.sigmoid()表示

激活函数 tanh:在 Tensorflow 中,用 tf.nn.tanh()表示

神经网络的复杂度:可用神经网络的层数和神经网络中待优化参数个数表示。

神经网路的层数:一般不计入输入层,层数 = n 个隐藏层 + 1 个输出层。

神经网路待优化的参数:神经网络中所有参数 w 的个数 + 所有参数 b 的个数。

损失函数(loss):用来表示预测值(y)与已知答案(y_)的差距。

常用的损失函数有均方误差自定义交叉熵等。

均方误差 mse:n 个样本的预测值 y 与已知答案 y_ 之差的平方和,再求平均值。

在 Tensorflow 中用 loss_mse = tf.reduce_mean(tf.square(y_ - y))

自定义损失函数:根据问题的实际情况,定制合理的损失函数。

自定义损失函数为:loss = ∑𝑛𝑓(y_, y)

用 Tensorflow 函数表示为:loss = tf.reduce_sum(tf.where(tf.greater(y,y_),COST(y-y_),PROFIT(y_-y)))

交叉熵(Cross Entropy):表示两个概率分布之间的距离。交叉熵越大,两个概率分布距离越远,两个概率分布越相异;交叉熵越小,两个概率分布距离越近,两个概率分布越相似。

交叉熵计算公式:𝐇(𝐲_ , 𝐲) = −∑𝐲_ ∗ 𝒍𝒐𝒈 𝒚

用 Tensorflow 函数表示为 ce= -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0)))

softmax 函数:将 n 分类的 n 个输出(y1,y2…yn)变为满足以下概率分布要求的函数。

softmax 函数表示为:

softmax 函数应用:在 n 分类中,模型会有 n 个输出,即 y1,y2…yn,其中 yi 表示第 i 种情况出现的可 能性大小。将 n 个输出经过 softmax 函数,可得到符合概率分布的分类结果。

在 Tensorflow 中,一般让模型的输出经过 sofemax 函数,以获得输出分类的概率分布,再与标准答案对比,求出交叉熵,得到损失函数,用如下函数实现:

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1)) 
cem = tf.reduce_mean(ce)

学习率

学习率 learning_rate:表示了每次参数更新的幅度大小。学习率过大,会导致待优化的参数在最小值附近波动,不收敛;学习率过小,会导致待优化的参数收敛缓慢。

在训练过程中,参数的更新向着损失函数梯度下降的方向。

参数的更新公式为:

学习率的设置:学习率过大,会导致待优化的参数在最小值附近波动,不收敛;学习率过小,会导致待优化的参数收敛缓慢。

指数衰减学习率:学习率随着训练轮数变化而动态更新。

学习率计算公式如下:

用 Tensorflow 的函数表示为:

global_step = tf.Variable(0, trainable=False)
learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,LEARNING_RATE_STEP, LEARNING_RATE_DECAY,staircase=True/False)

其中,LEARNING_RATE_BASE 为学习率初始值,LEARNING_RATE_DECAY 为学习率衰减率,global_step 记 录了当前训练轮数,为不可训练型参数。学习率 learning_rate 更新频率为输入数据集总样本数除以每次喂入样本数。若 staircase 设置为 True 时,表示 global_step/learning rate step 取整数,学习率阶梯型衰减;若 staircase 设置为 false 时,学习率会是一条平滑下降的曲线。

滑动平均

滑动平均:记录了一段时间内模型中所有参数 w 和 b 各自的平均值。利用滑动平均值可以增强模型的泛化能力。

滑动平均值(影子)计算公式:影子 = 衰减率 * 影子 +(1 - 衰减率)* 参数

用 Tesnsorflow 函数表示为:

ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step) 
#其中,MOVING_AVERAGE_DECAY 表示滑动平均衰减率,一般会赋接近 1 的值,global_step 表示当前训练了多少轮。
ema_op = ema.apply(tf.trainable_variables()) 
#其中,ema.apply()函数实现对括号内参数求滑动平均,tf.trainable_variables()函数实现把所有待训练参数汇总为列表。
with tf.control_dependencies([train_step, ema_op]):
	train_op = tf.no_op(name='train')
#其中,该函数实现将滑动平均和训练过程同步运行。
#查看模型中参数的平均值,可以用 ema.average()函数。

正则化

过拟合:神经网络模型在训练数据集上的准确率较高,在新的数据进行预测或分类时准确率较低,说明模型的泛化能力差。

正则化:在损失函数中给每个参数 w 加上权重,引入模型复杂度指标,从而抑制模型噪声,减小过拟合。

使用正则化后,损失函数 loss 变为两项之和:

其中,第一项是预测结果与标准答案之间的差距,如之前讲过的交叉熵、均方误差等;第二项是正则化计算结果。

正则化计算方法:

L1 正则化: 𝒍𝒐𝒔𝒔𝑳𝟏 = ∑𝒊 𝒘𝒊

用 Tesnsorflow 函数表示:loss(w) = tf.contrib.layers.l1_regularizer(REGULARIZER)(w)

L2 正则化: 𝒍𝒐𝒔𝒔𝑳𝟐 = ∑𝒊 𝒘𝒊 𝟐

用 Tesnsorflow 函数表示:loss(w) = tf.contrib.layers.l2_regularizer(REGULARIZER)(w)

用 Tesnsorflow 函数实现正则化:

tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w) 
loss = cem + tf.add_n(tf.get_collection('losses'))

matplotlib 模块:Python 中的可视化工具模块,实现函数可视化。

终端安装指令:sudo pip install matplotlib

函数 plt.scatter():利用指定颜色实现点(x,y)的可视化。

plt.scatter (x 坐标, y 坐标, c=”颜色”)
plt.show()

收集规定区域内所有的网格坐标点:

xx, yy = np.mgrid[起:止:步长, 起:止:步长] #找到规定区域以步长为分辨率的行列网格坐标点 
grid = np.c_[xx.ravel(), yy.ravel()] #收集规定区域内所有的网格坐标点

函数 plt.contour():告知 x、y 坐标和各点高度,用 levels 指定高度的点描上颜色。

plt.contour (x 轴坐标值, y 轴坐标值, 该点的高度, levels=[等高线的高度])
plt.show()

神经网络搭建八股

前向传播:由输入到输出,搭建完整的网络结构。

def forward(x, regularizer):
	w=
	b=
	y= 
	return y

第一个函数 forward()完成网络结构的设计,从输入到输出搭建完整的网络结构,实现前向传播过程。 该函数中,参数 x 为输入,regularizer 为正则化权重,返回值为预测或分类结果 y。

def get_weight(shape, regularizer):
	w = tf.Variable( )
	tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w)) 
	return w

第二个函数 get_weight() 对参数 w 设定。该函数中,参数 shape 表示参数 w 的形状,regularizer 表示正则化权重,返回值为参数 w。其中,tf.variable()给 w 赋初值, tf.add_to_collection() 表示将参数 w 正则化损失加到总损失 losses 中。

def get_bias(shape):
	b = tf.Variable(    )
	return b

第三个函数 get_bias()对参数 b 进行设定。该函数中,参数 shape 表示参数 b 的形状,返回值为参数 b。其中 tf.variable()表示给 w 赋初值。

反向传播:训练网络,优化网络参数,提高模型准确性。

def backward( ):
	x = tf.placeholder( )
	y_ = tf.placeholder( )
	y = forward.forward(x, REGULARIZER) 
	global_step = tf.Variable(0, trainable=False) 
	loss =

函数 backward()中,placeholder()实现对数据集 x 和标准答案 y_占位,forward.forward()实现前向传播的网络结构,参数 global_step 表示训练轮数,设置为不可训练型参数。

在训练网络模型时,常将正则化、指数衰减学习率和滑动平均这三个方法作为模型优化方法。

在 Tensorflow 中,正则化表示为:

首先,计算预测结果与标准答案的损失值。

1、MSE:

 y 与 y_的差距(loss_mse) = tf.reduce_mean(tf.square(y-y_))

2、交叉熵:

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))

y 与 y_的差距:

cem = tf.reduce_mean(ce) 

3、自定义:y 与 y_的差距

其次,总损失值为预测结果与标准答案的损失值加上正则化项。

loss = y 与 y_的差距 + tf.add_n(tf.get_collection('losses'))

在 Tensorflow 中,指数衰减学习率表示为:

learning_rate = tf.train.exponential_decay(
	LEARNING_RATE_BASE, 
	global_step,
	数据集总样本数 / BATCH_SIZE,
	LEARNING_RATE_DECAY,
	staircase=True)
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step)

在 Tensorflow 中,滑动平均表示为:

ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step) 
ema_op = ema.apply(tf.trainable_variables())
with tf.control_dependencies([train_step, ema_op]):
	train_op = tf.no_op(name='train')

其中,滑动平均和指数衰减学习率中的 global_step 为同一个参数。

用 with 结构初始化所有参数:

with tf.Session() as sess:
	init_op = tf.global_variables_initializer() 
		sess.run(init_op)
	for i in range(STEPS):
		sess.run(train_step,feed_dict={x: ,y_: })
			if i % 轮数 == 0:
			print

其中,with 结构用于初始化所有参数信息以及实现调用训练过程,并打印出 loss 值。

判断 python 运行文件是否为主文件:

if __name__=='__main__':
backward()

该部分用来判断 python 运行的文件是否为主文件。若是主文件,则执行backword() 函数。