张量、计算图、会话
基于 Tensorflow 的 NN：用张量表示数据，用计算图搭建神经网络，用会话执行计算图，优化线上的权重(参数)，得到模型。
张量：张量就是多维数组(列表)，用“阶”表示张量的维度。
数据类型：Tensorflow 的数据类型有 tf.float32、tf.int32 等。
计算图(Graph)：搭建神经网络的计算过程，是承载一个或多个计算节点的一张图，只搭建网络，不运算。
会话(Session)：执行计算图中的节点运算。我们用 with 结构实现，语法如下:
with tf.Session() as sess:
print sess.run()
神经网络
神经网络的参数：是指神经元线上的权重 w ，用变量表示，一般会先随机生成这些参数。生成参数的方法是让 w 等于 tf.Variable，把生成的方式写在括号里。
神经网络中常用的生成随机数/数组的函数有:
| 代码 | 注释 |
|---|---|
| tf.random_normal() | 生成正态分布随机数 |
| tf.truncated_normal() | 生成去掉过大偏离点的正态分布随机数 |
| tf.random_uniform() | 生成均匀分布随机数 |
| tf.zeros | 表示生成全 0 数组 |
| tf.ones | 表示生成全 1 数组 |
| tf.fill | 表示生成全定值数组 |
| tf.constant | 表示生成直接给定值的数组 |
神经网络的实现过程：
- 准备数据集，提取特征，作为输入喂给神经网络(Neural Network，NN)。
- 搭建 NN 结构，从输入到输出(先搭建计算图，再用会话执行)( NN 前向传播算法 ➡️ 计算输出) 。
- 大量特征数据喂给 NN，迭代优化 NN 参数( NN 反向传播算法 ➡️ 优化参数训练模型)。
- 使用训练好的模型预测和分类。
前向传播：就是搭建模型的计算过程，让模型具有推理能力，可以针对一组输入给出相应的输出。
- X：矩阵行数为输入特征的组数，列数为这组特征包含的元素种数。
- W：矩阵行数为前面节点数，列数为后面节点数。
神经网络共有几层(或当前是第几层网络)都是指的计算层，输入不是计算层。
前向传播过程的 tensorflow 描述：
变量初始化、计算图节点运算都要用会话(with 结构)实现 。
with tf.Session() as sess:
sess.run()
变量初始化：在 sess.run 函数中用 tf.global_variables_initializer() 汇总所有待优化变量。
init_op = tf.global_variables_initializer()
sess.run(init_op)
计算图节点运算：在 sess.run 函数中写入待运算的节点。
用 tf.placeholder 占位，在 sess.run 函数中用 feed_dict 喂数据。
反向传播：训练模型参数，在所有参数上用梯度下降，使 NN 模型在训练数据上的损失函数最小。
损失函数(loss)：计算得到的预测值 y 与已知答案 y_ 的差距。
均方误差(MSE)：求前向传播计算结果与已知答案之差的平方再求平均。
用 tensorflow 函数表示为：
loss_mse = tf.reduce_mean(tf.square(y_ - y))
反向传播训练方法：以减小 loss 值为优化目标，有梯度下降、momentum 优化器、adam 优化器等优化方法。
这三种优化方法用 tensorflow 的函数可以表示为：
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)
train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)
学习率：决定每次参数更新的幅度。
总结
神经网络的搭建分四步完成：准备工作、前向传播、反向传播和循环迭代。
导入模块，生成模拟数据集：
import
常量定义
生成数据集
前向传播：定义输入、参数和输出
x= y_=
w1= w2=
a= y=
反向传播：定义损失函数、反向传播方法
loss=
train_step=
生成会话，训练 STEPS 轮：
with tf.session() as sess
Init_op=tf. global_variables_initializer()
sess_run(init_op)
STEPS=
for i in range(STEPS):
start=
end=
sess.run(train_step, feed_dict:)
