Tensorflow框架

  人工智能实践:Tensorflow笔记(5)

Posted by     Keyon                      on March 28, 2018

张量、计算图、会话

基于 Tensorflow 的 NN:用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型。

张量:张量就是多维数组(列表),用“阶”表示张量的维度。

数据类型:Tensorflow 的数据类型有 tf.float32、tf.int32 等。

计算图(Graph):搭建神经网络的计算过程,是承载一个或多个计算节点的一张图,只搭建网络,不运算。

会话(Session):执行计算图中的节点运算。我们用 with 结构实现,语法如下:

with tf.Session() as sess:
    print sess.run()

神经网络

神经网络的参数:是指神经元线上的权重 w ,用变量表示,一般会先随机生成这些参数。生成参数的方法是让 w 等于 tf.Variable,把生成的方式写在括号里。

神经网络中常用的生成随机数/数组的函数有:

代码 注释
tf.random_normal() 生成正态分布随机数
tf.truncated_normal() 生成去掉过大偏离点的正态分布随机数
tf.random_uniform() 生成均匀分布随机数
tf.zeros 表示生成全 0 数组
tf.ones 表示生成全 1 数组
tf.fill 表示生成全定值数组
tf.constant 表示生成直接给定值的数组

神经网络的实现过程

  1. 准备数据集,提取特征,作为输入喂给神经网络(Neural Network,NN)。
  2. 搭建 NN 结构,从输入到输出(先搭建计算图,再用会话执行)( NN 前向传播算法 ➡️ 计算输出) 。
  3. 大量特征数据喂给 NN,迭代优化 NN 参数( NN 反向传播算法 ➡️ 优化参数训练模型)。
  4. 使用训练好的模型预测和分类。

前向传播:就是搭建模型的计算过程,让模型具有推理能力,可以针对一组输入给出相应的输出。

  • X:矩阵行数为输入特征的组数,列数为这组特征包含的元素种数。
  • W:矩阵行数为前面节点数,列数为后面节点数。

神经网络共有几层(或当前是第几层网络)都是指的计算层,输入不是计算层。

前向传播过程的 tensorflow 描述:

变量初始化、计算图节点运算都要用会话(with 结构)实现 。

with tf.Session() as sess:
sess.run()

变量初始化:在 sess.run 函数中用 tf.global_variables_initializer() 汇总所有待优化变量。

init_op = tf.global_variables_initializer()
sess.run(init_op)

计算图节点运算:在 sess.run 函数中写入待运算的节点。

用 tf.placeholder 占位,在 sess.run 函数中用 feed_dict 喂数据。

反向传播:训练模型参数,在所有参数上用梯度下降,使 NN 模型在训练数据上的损失函数最小。

损失函数(loss):计算得到的预测值 y 与已知答案 y_ 的差距。

均方误差(MSE):求前向传播计算结果与已知答案之差的平方再求平均。

1

用 tensorflow 函数表示为:

loss_mse = tf.reduce_mean(tf.square(y_ - y))

反向传播训练方法:以减小 loss 值为优化目标,有梯度下降、momentum 优化器、adam 优化器等优化方法。

这三种优化方法用 tensorflow 的函数可以表示为:

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)
train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)

学习率:决定每次参数更新的幅度。

总结

神经网络的搭建分四步完成:准备工作、前向传播、反向传播和循环迭代。

导入模块,生成模拟数据集:

	import 
	常量定义 
	生成数据集

前向传播:定义输入、参数和输出

	x=  	y_=
	w1=  	w2=
	a=  	y=

反向传播:定义损失函数、反向传播方法

	loss=
	train_step=

生成会话,训练 STEPS 轮:

with tf.session() as sess
	Init_op=tf. global_variables_initializer() 
	sess_run(init_op)
	STEPS=
	for i in range(STEPS):
		start=
		end=
		sess.run(train_step, feed_dict:)