张量、计算图、会话
基于 Tensorflow 的 NN:用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型。
张量:张量就是多维数组(列表),用“阶”表示张量的维度。
数据类型:Tensorflow 的数据类型有 tf.float32、tf.int32 等。
计算图(Graph):搭建神经网络的计算过程,是承载一个或多个计算节点的一张图,只搭建网络,不运算。
会话(Session):执行计算图中的节点运算。我们用 with 结构实现,语法如下:
with tf.Session() as sess:
print sess.run()
神经网络
神经网络的参数:是指神经元线上的权重 w ,用变量表示,一般会先随机生成这些参数。生成参数的方法是让 w 等于 tf.Variable,把生成的方式写在括号里。
神经网络中常用的生成随机数/数组的函数有:
代码 | 注释 |
---|---|
tf.random_normal() | 生成正态分布随机数 |
tf.truncated_normal() | 生成去掉过大偏离点的正态分布随机数 |
tf.random_uniform() | 生成均匀分布随机数 |
tf.zeros | 表示生成全 0 数组 |
tf.ones | 表示生成全 1 数组 |
tf.fill | 表示生成全定值数组 |
tf.constant | 表示生成直接给定值的数组 |
神经网络的实现过程:
- 准备数据集,提取特征,作为输入喂给神经网络(Neural Network,NN)。
- 搭建 NN 结构,从输入到输出(先搭建计算图,再用会话执行)( NN 前向传播算法 ➡️ 计算输出) 。
- 大量特征数据喂给 NN,迭代优化 NN 参数( NN 反向传播算法 ➡️ 优化参数训练模型)。
- 使用训练好的模型预测和分类。
前向传播:就是搭建模型的计算过程,让模型具有推理能力,可以针对一组输入给出相应的输出。
- X:矩阵行数为输入特征的组数,列数为这组特征包含的元素种数。
- W:矩阵行数为前面节点数,列数为后面节点数。
神经网络共有几层(或当前是第几层网络)都是指的计算层,输入不是计算层。
前向传播过程的 tensorflow 描述:
变量初始化、计算图节点运算都要用会话(with 结构)实现 。
with tf.Session() as sess:
sess.run()
变量初始化:在 sess.run 函数中用 tf.global_variables_initializer() 汇总所有待优化变量。
init_op = tf.global_variables_initializer()
sess.run(init_op)
计算图节点运算:在 sess.run 函数中写入待运算的节点。
用 tf.placeholder 占位,在 sess.run 函数中用 feed_dict 喂数据。
反向传播:训练模型参数,在所有参数上用梯度下降,使 NN 模型在训练数据上的损失函数最小。
损失函数(loss):计算得到的预测值 y 与已知答案 y_ 的差距。
均方误差(MSE):求前向传播计算结果与已知答案之差的平方再求平均。
用 tensorflow 函数表示为:
loss_mse = tf.reduce_mean(tf.square(y_ - y))
反向传播训练方法:以减小 loss 值为优化目标,有梯度下降、momentum 优化器、adam 优化器等优化方法。
这三种优化方法用 tensorflow 的函数可以表示为:
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)
train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)
学习率:决定每次参数更新的幅度。
总结
神经网络的搭建分四步完成:准备工作、前向传播、反向传播和循环迭代。
导入模块,生成模拟数据集:
import
常量定义
生成数据集
前向传播:定义输入、参数和输出
x= y_=
w1= w2=
a= y=
反向传播:定义损失函数、反向传播方法
loss=
train_step=
生成会话,训练 STEPS 轮:
with tf.session() as sess
Init_op=tf. global_variables_initializer()
sess_run(init_op)
STEPS=
for i in range(STEPS):
start=
end=
sess.run(train_step, feed_dict:)