关于TensorFlow、Keras及PyTorch的训练过程可视化方法

通过可视化训练过程，我们可以对神经网络训练更为方便的理解、调试与优化。本文将分别介绍三种主流的神经网络框架 (TensorFlow、PyTorch及Keras) 中的可视化方法。

TensorFlow训练过程可视化

Tensorboard是tensorflow内置的一个可视化工具，它通过将tensorflow程序输出的日志文件的信息可视化使得tensorflow程序的理解、调试和优化更加简单高效。 Tensorboard的可视化依赖于tensorflow程序运行输出的日志文件，因而tensorboard和tensorflow程序在不同的进程中运行。 TensorBoard给我们提供了极其方便而强大的可视化环境。它可以帮助我们理解整个神经网络的学习过程、数据的分布、性能瓶颈等等。

官方介绍：https://tensorflow.google.cn/guide/summaries_and_tensorboard

查看自己训练过程中的loss变化以及参数的变化过程，以及自己图运算的流程。

1. 查看损失

   # 查看损失
   tf.summary.scalar('scalar_loss', loss)

   

2. 查看参数的变化

   tf.summary.histogram('weights',w)
   tf.summary.histogram('bias',b)

   

3. 保存

   merged_summary = tf.summary.merge_all()
   # 得到输出到文件的对象
   writer = tf.summary.FileWriter('./result', sess.graph)
   for...
   	summary=sess.run(merged_summary)
   	writer.add_summary(summary, step)

4. 命令输入

   tensorboard --logdir ./result/

5. 打开google浏览器,输入：http://localhost:6006

6. 查看计算图

关于可视化的很好的总结：https://www.jianshu.com/p/bea7fc33cbf4

代码示例：

# -- encoding:utf-8 --
import numpy as np
import tensorflow as tf
import sys
# 1. 构造一个数据
np.random.seed(28)
N = 100
x = np.linspace(0, 6, N) + np.random.normal(loc=0.0, scale=2, size=N)
y = 14 * x - 7 + np.random.normal(loc=0.0, scale=5.0, size=N)
# 将x和y设置成为矩阵
# print(x)
x.shape = -1, 1
y.shape = -1, 1
# print(x)
# print(type(x))
# 2. 模型构建
# 定义一个变量w和变量b
# random_uniform：（random意思：随机产生数据， uniform：均匀分布的意思） ==> 意思：产生一个服从均匀分布的随机数列
# shape: 产生多少数据/产生的数据格式是什么； minval：均匀分布中的可能出现的最小值，maxval: 均匀分布中可能出现的最大值
w = tf.Variable(initial_value=tf.random_uniform(shape=[1], minval=-1.0, maxval=1.0), name='w')
b = tf.Variable(initial_value=tf.zeros([1]), name='b')
# 构建一个预测值
y_hat = w * x + b

# 构建一个损失函数
# 以MSE作为损失函数（预测值和实际值之间的平方和）
loss = tf.reduce_mean(tf.square(y_hat - y), name='loss')

# 以随机梯度下降的方式优化损失函数
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.05)
# 在优化的过程中，是让那个函数最小化
train = optimizer.minimize(loss, name='train')

# 全局变量更新
init_op = tf.global_variables_initializer()

# 运行
def print_info(r_w, r_b, r_loss):
    print("w={},b={},loss={}".format(r_w, r_b, r_loss))

tf.summary.scalar('scalar_loss', loss)
tf.summary.histogram('weights',w)
tf.summary.histogram('bias',b)

with tf.Session() as sess:
    # merge all summary
    merged_summary = tf.summary.merge_all()
    # 得到输出到文件的对象
    writer = tf.summary.FileWriter('./result', sess.graph)
    # 初始化
    sess.run(init_op)

    # 输出初始化的w、b、loss
    r_w, r_b, r_loss = sess.run([w, b, loss])
    print_info(r_w, r_b, r_loss)

    # 进行训练(n次)
    for step in range(100):
        # 模型训练
        sess.run(train)
        # 输出训练后的w、b、loss
        r_w, r_b, r_loss = sess.run([w, b, loss])
        summary=sess.run(merged_summary)
        writer.add_summary(summary, step)
        print_info(r_w, r_b, r_loss)

PyTorch训练过程可视化

Visdom是Facebook在2017年发布的一款针对PyTorch的可视化工具。Visdom由于其功能简单，一般会被定义为服务器端的matplot，也就是说我们可以直接使用python的控制台模式进行开发并在服务器上执行，将一些可视化的数据传送到Visdom服务上，通过Visdom服务进行可视化。

官方GitHub：https://github.com/facebookresearch/visdom

PyTorch亦可使用Tensorboard进行可以可视化，GitHub上已有大神进行了实现：https://github.com/lanpa/tensorboardX

Kreas训练过程可视化

在训练文件train.py中最后加入一下代码。

# Where H = model.fit_generator(...)
N = NUM_EPOCHS # Number of epochs
plt.style.use("ggplot")

plt.figure()
plt.plot(np.arange(0, N), H.history["loss"], label="train_loss")
plt.plot(np.arange(0, N), H.history["val_loss"], label="val_loss")
plt.plot(np.arange(0, N), H.history["acc"], label="train_acc")
plt.plot(np.arange(0, N), H.history["val_acc"], label="val_acc")

plt.title("Training Loss and Accuracy on Dataset")
plt.xlabel("Epoch #")
plt.ylabel("Loss/Accuracy")
plt.legend(loc="lower left")
plt.savefig("plot.png")