这是TensorFlow 2.1入门学习笔记的第二篇。上一篇刚把环境装好、把TensorFlow的基本张量操作跑通本来打算直接冲进模型搭建结果卡在了第一步我完全不知道自己的数据长什么样、训练过程发生了什么。后来才意识到在深度学习里不管你是做图像、文本还是结构化数据Matplotlib都是绕不开的一门基本功。所以我专门把数据可视化单独拿出来写一篇整理我用TensorFlow 2.1配合Matplotlib做过的那些图和踩过的坑。这篇笔记会包含绘图核心概念、训练过程中最常用的四类图、中文乱码和样式导出这类细节以及我实操中遇到过的各种疑难杂症。适合的对象是想入坑深度学习、已经在用TensorFlow但每次画图都要临时查文档的初学者也适合那些项目做到一半觉得“模型结果不太对但说不出哪里不对”的朋友。看完之后你能自己徒手画出数据分布、训练曲线和样本图像并且知道每一张图在什么场景下用、画完怎么保存、怎么避免内存爆炸。1. 入门TensorFlow为什么要先啃Matplotlib1.1 数据可视化是深度学习调试的“第一双眼睛”很多初学者有个误区觉得模型搭建才是深度学习的核心可视化只是锦上添花。但以我实际做项目的体验来看可视化在整条链路里占据的比重被严重低估了。你把一个数据集丢进tf.data管道然后开始训练如果你的输入数据分布有问题、标签有错位、特征数值范围爆炸这些情况模型不会直接报错给你看它只会默默地在训练几个epoch之后给你一个奇怪的loss。这时候如果没有可视化工具你根本不知道问题出在数据、模型还是优化器上。Matplotlib是Python数据可视化生态里最基础也最通用的一块地基。有人可能会问现在不是有TensorBoard吗TensorBoard确实是深度学习专用工具训练曲线、网络结构、嵌入向量可视化的能力都很专业。但TensorBoard的操作场景主要集中在浏览器里而且需要写tf.summary回调、启动服务端这个流程说重不重说轻也不轻。相比之下Matplotlib在你写Python脚本、跑Jupyter Notebook、做数据探索、出论文配图的时候依然是最顺手的选择。我自己的习惯是快速看数据分布用Matplotlib长期记录训练过程用TensorBoard两者搭配而不是二选一。深度学习过程中最基础的一个闭环是先看数据再定预处理方案然后跑模型接着看训练曲线又回到数据处理。这个循环里每一步都要可视化参与。比如你拿到一个图像分类数据集第一步是画出几张样本图确认图片内容有没有问题第二步是画标签分布直方图确认类别是否均衡第三步是在训练中记录loss曲线的形状判断收敛状态第四步是把模型预测错的样本画出来分析原因。这四个环节每一个都离不开Matplotlib。1.2 没有可视化的时候我糊里糊涂地调参我说一个自己踩过的真实例子当时还在用TensorFlow 2.1做一个简单的图像分类任务。模型结构不复杂就是卷积加全连接数据集也规规矩矩。结果训练的时候我发现验证集准确率一直在0.5上下浮动跟瞎猜差不多。我当时第一反应是模型结构写得不对于是反复改网络层数、换激活函数、调学习率折腾了整整两天毫无起色。后来一个偶然的机会我把训练集里的图像用Matplotlib画出来看了一眼当场就发现问题了图像数据在预处理阶段被归一化到了[-1, 1]区间但模型里输入层却用了sigmoid激活函数而且像素值在显示的时候没有反归一化图片全是黑的标签和内容完全对不上。那个瞬间挺崩溃的两天时间浪费在一件只要画一张图就能定位的破事上。从那以后我养成了习惯不管从哪儿来的数据第一步永远是画图确认数据本身没问题然后再进模型。还有一次是loss曲线在训练到第30个epoch之后突然变成nan。我拿着曲线图观察发现loss在第29到第30个epoch之间出现了一个垂直向上的跳变而不是一路缓慢上升这说明大概率是学习率太大导致梯度爆炸。如果只看终端里的数字很难注意到这种细节变化但画成曲线之后异常特征被放大了你一眼就能看出问题区间然后去查那个时间点附近我改了什么参数。可视化就是这样一种技能它不直接帮你调模型但它用极低的成本把诊断时间大大缩短。2. 先摸清Matplotlib的核心对象与绘图流程2.1 figure和axes画板与画布的关系Matplotlib里有两个概念是新手最容易搞混的figure和axes。我用一个生活化的类比来解释figure是一整块画板你可以在画板上放一张纸也可以放好几张纸axes就是画板上的某一张纸真正绘图、设置坐标轴、画标题的操作都是在这张纸上完成的。一个figure可以包含多个axes而一个axes就是一个独立的坐标系区域。初学者最常见的错误写法是只用plt.plot()而不管figure和axes。如果你只是在交互式环境里随手画个图这种写法没问题但一旦你的代码复杂度上来需要在同一个窗口里画多个子图、需要精确控制每个子图的位置、需要把某个图的坐标轴单独取出来设置不懂axes的概念就寸步难行。TensorFlow训练过程经常需要对比训练集和验证集的指标这时候一般都是在同一个窗口里并排画两个子图不会axes的子图操作基本没法干活。具体来说推荐的做法是使用plt.subplots()这个函数完成画板画布的创建。它同时返回figure对象和axes对象你可以指定行数和列数。比如要画一张训练loss和一张验证loss并排显示就可以用fig, axes plt.subplots(1, 2, figsize(12, 4))然后通过axes[0]和axes[1]分别操作左右两张图。这种显式管理的写法虽然代码比纯plt.plot()多几个字符但可读性和可控性完全不在一个档次。2.2 一套顺手的最小绘图模板我平时写Matplotlib代码不管画什么图基本都会先套用下面这个模板import matplotlib.pyplot as plt import numpy as np # 生成模拟数据比如训练过程中的loss记录 epochs np.arange(1, 11) train_loss np.array([0.8, 0.6, 0.45, 0.35, 0.28, 0.23, 0.19, 0.16, 0.14, 0.12]) # 创建画布 fig, axes plt.subplots(1, 1, figsize(8, 5)) # 绘图 axes.plot(epochs, train_loss, markero, linestyle-, linewidth2, labelTrain Loss) # 装饰 axes.set_xlabel(Epoch) axes.set_ylabel(Loss) axes.set_title(Training Loss Curve) axes.legend() axes.grid(True, linestyle--, alpha0.6) # 显示与保存 plt.tight_layout() plt.savefig(train_loss.png, dpi150, bbox_inchestight) plt.show()这个模板的核心思路是把绘图对象拆成四个步骤创建画布、绘制数据、装饰坐标轴与图例、输出图形。其中最容易忽略的是plt.tight_layout()它负责自动调整子图之间的间距和边距。如果你不调用这个函数在子图较多时坐标轴标签和标题经常挤在一起出来的图没法直接用在报告里。bbox_inchestight是保存时的一个常用参数它可以裁掉图片周围多余的空白让保存下来的文件更紧凑。2.3 pyplot与面向对象两种风格怎么选Matplotlib提供两套使用方式。第一套是pyplot状态机风格类似MATLAB的绘图习惯直接plt.plot()、plt.xlabel()、plt.show()每一步都在操作同一个“当前活动”的figure。这个风格写起来短适合在交互式命令行或者Notebook里快速验证想法。第二套是面向对象风格显式创建figure和axes然后调用axes.plot()去绘制。第二种方式代码更啰嗦但好处是你不会弄混当前画的是哪张图。在TensorFlow训练这种场景下我强烈建议直接用面向对象风格。原因是训练代码本身就很长如果你的绘图部分也是靠状态机一层层堆上去后面想改图就要在长代码里寻找“当前活动”的是哪个figure非常容易出bug。而如果你一开始就用fig, axes plt.subplots()后面所有操作都钉死在axes上代码逻辑一清二楚。尤其在多子图的情况下比如一张图放loss、一张图放accuracy用面向对象风格可以直接对不同的axes进行操作不需要用plt.subplot()切换来切换去。3. TensorFlow训练中最常用的四类图直接抄作业3.1 直方图预览数据分布拿到任何数据集第一件事我都建议画直方图。直方图能告诉你数据的数值分布范围、峰值位置、是否有长尾、是否双峰分布。这些信息直接决定你要不要做归一化、要不要做标准化、用哪种损失函数。以MNIST手写数字数据集为例它的像素值范围是0到255绝大多数像素集中在0附近也就是黑色背景。如果你不画直方图你想当然地认为图像数据是均匀分布的然后直接用tf.keras.layers.Rescaling(1./255)归一化其实也行但你不会知道这个数据到底有多稀疏。直方图的Matplotlib实现很简单import matplotlib.pyplot as plt import tensorflow as tf # 加载MNIST数据集 (x_train, y_train), (_, _) tf.keras.datasets.mnist.load_data() # 将三维数组展平成一维 pixels x_train.flatten() fig, axes plt.subplots(1, 1, figsize(8, 5)) axes.hist(pixels, bins50, colorsteelblue, edgecolorblack, alpha0.7) axes.set_xlabel(Pixel Value) axes.set_ylabel(Frequency) axes.set_title(MNIST Pixel Distribution) plt.tight_layout() plt.show()其中bins参数的设置值得单独说一下。bins直方图分箱数它决定直方图的平滑程度。如果bins太小画出来的柱状图过于粗糙看不出分布细节如果bins太大又会产生大量毛刺同样看不清主分布形状。经验法则是看样本量和取值范围取值范围是0到255的话取50到100个分箱通常足够。我一开始画图的时候习惯性用了bins10结果像素分布图只有两根孤零零的柱子周围的全被压没影了换到bins50才正常。3.2 散点图观察样本与类别散点图一般用来观察两个特征之间的关系在TensorFlow里最常见的使用场景是特征降维之后的可视化。比如你有一个高维特征向量想看看不同类别的样本在特征空间中是不是能分开这时候通常用PCA或者t-SNE把高维特征降到2维然后按类别着色画散点图。不过t-SNE每次运行结果会有随机性所以我会用固定随机种子保证可复现。散点图的绘制代码如下import matplotlib.pyplot as plt import numpy as np # 模拟三分类数据在二维空间中的分布 np.random.seed(42) class1 np.random.randn(50, 2) np.array([2, 2]) class2 np.random.randn(50, 2) np.array([-2, 2]) class3 np.random.randn(50, 2) np.array([0, -2]) fig, axes plt.subplots(1, 1, figsize(8, 6)) axes.scatter(class1[:, 0], class1[:, 1], cred, labelClass 0, alpha0.6, s20) axes.scatter(class2[:, 0], class2[:, 1], cblue, labelClass 1, alpha0.6, s20) axes.scatter(class3[:, 0], class3[:, 1], cgreen, labelClass 2, alpha0.6, s20) axes.set_xlabel(Feature 1) axes.set_ylabel(Feature 2) axes.set_title(Sample Distribution in 2D Feature Space) axes.legend() axes.grid(True, linestyle--, alpha0.4) plt.tight_layout() plt.show()这个图在你做分类任务的时候特别有价值。如果模型提取的特征把不同类别的样本清晰地分开成几团说明模型学到了不错的表征如果各类别完全重叠在一起说明特征还没学好或者模型容量不够。alpha参数是透明度当散点数量很大的时候透明度能避免后面的点被前面的点完全遮住让重叠区域也能看出来。3.3 训练曲线手动记录loss和accuracy训练曲线可能是整个TensorFlow项目里最常画的图。虽然model.fit()返回的History对象里自带训练记录但训练结束之后直接把这个记录画出来仍然是我的常规检查手段。这里的关键点是要分别画出训练集和验证集的曲线并且用不同颜色或线型区分这样才能看出模型是欠拟合还是过拟合。一个典型的训练循环记录代码长这样import matplotlib.pyplot as plt import tensorflow as tf # 构建一个简单模型 model tf.keras.Sequential([ tf.keras.layers.Dense(64, activationrelu, input_shape(784,)), tf.keras.layers.Dense(10, activationsoftmax) ]) model.compile(optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy]) # 训练并把历史记录保存下来 history model.fit(x_train.reshape(-1, 784) / 255.0, y_train, validation_data(x_test.reshape(-1, 784) / 255.0, y_test), epochs10, batch_size32, verbose0) # 画训练和验证的loss对比 fig, axes plt.subplots(1, 2, figsize(12, 4)) axes[0].plot(history.history[loss], labelTrain Loss, markero) axes[0].plot(history.history[val_loss], labelVal Loss, markers) axes[0].set_xlabel(Epoch) axes[0].set_ylabel(Loss) axes[0].set_title(Loss Curves) axes[0].legend() axes[0].grid(True, linestyle--, alpha0.6) axes[1].plot(history.history[accuracy], labelTrain Acc, markero) axes[1].plot(history.history[val_accuracy], labelVal Acc, markers) axes[1].set_xlabel(Epoch) axes[1].set_ylabel(Accuracy) axes[1].set_title(Accuracy Curves) axes[1].legend() axes[1].grid(True, linestyle--, alpha0.6) plt.tight_layout() plt.savefig(training_history.png, dpi150, bbox_inchestight) plt.show()画完图之后怎么看我一般会先看train loss和val loss的间距。如果train loss持续下降但val loss在某个epoch之后开始上升这就是过拟合的典型信号说明模型在训练集上学到了太多噪声如果两个loss都居高不下那可能是模型容量不足或者学习率设置不合理。另外曲线的波动幅度也值得关注如果loss曲线上下剧烈跳动学习率可能偏大需要适当调低。3.4 图像数据可视化mnist手写数字长什么样图像分类任务中把输入图像画出来是确认数据处理流程是否正确的重要一步。TensorFlow加载的图像数据是NumPy数组或者Tensor形状一般是(样本数, 高, 宽, 通道数)。对于MNIST这种灰度图形状是(60000, 28, 28)没有通道维度。画单张图像的时候直接用axes.imshow()灰度图记得加cmapgray否则Matplotlib会用默认的伪彩色映射显示图像看起来会非常奇怪。展示多张样本图时我习惯用subplots的网格布局import matplotlib.pyplot as plt import tensorflow as tf (x_train, y_train), (_, _) tf.keras.datasets.mnist.load_data() fig, axes plt.subplots(2, 5, figsize(10, 4)) axes axes.flatten() # 把二维的axes数组展平成一维 for i in range(10): axes[i].imshow(x_train[i], cmapgray, interpolationbicubic) axes[i].set_title(fLabel: {y_train[i]}) axes[i].axis(off) # 隐藏坐标轴 plt.tight_layout() plt.show()这里有一个小小的观念转变对图像数据做归一化后x_train里的像素值范围会变成0到1用imshow显示的时候Matplotlib会自动把最小值映射到黑色最大值映射到白色。如果你的图像归一化处理完之后显示为全白或者全黑往往不是图像数据真的有问题而是数值范围出了问题比如所有像素被归一化到了0到0.001之间Matplotlib统一按接近黑色的颜色渲染了。这种时候可以手动指定vmin0, vmax1来固定显示范围。interpolationbicubic这个参数是插值方式因为MNIST的图像分辨率很低28x28放大后容易出现锯齿用双三次插值可以让放大之后的图像边缘平滑一些。当然如果你要看原始像素的分布那就不要插值保持interpolationnearest就好。4. 这些绘图细节决定了图表能不能用在论文和报告里4.1 中文乱码与负号显示Matplotlib的中文显示问题大概是国内用户遇到最多的坑。默认情况下Matplotlib使用的字体不支持中文所以你在坐标轴标题里写“损失”、“准确率”这类中文词汇画图之后会变成一个个小方块。解决办法是手动指定一个支持中文的字体。我自己常用的配置是这样的import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] # Windows系统常见黑体 plt.rcParams[axes.unicode_minus] False # 解决负号显示为方块的问题不同操作系统的字体有差异Windows上可以用SimHei或Microsoft YaHeimacOS上可以用PingFang SC、Hiragino Sans GB或者Arial Unicode MSLinux上如果默认没有中文字体需要先安装fonts-noto-cjk然后在代码里把字体名设为Noto Sans CJK JP或者WenQuanYi Zen Hei。axes.unicode_minus这个参数容易被忽略但它同样重要。坐标轴上如果有负数值比如-1、-0.5这样的刻度默认情况下负号会显示成乱码。这是因为Matplotlib在渲染负号时使用了特定的字体符号而中文字体里通常没有这个符号。所以我会把这两行配置固定在每个脚本文件的开头省得到处踩坑。如果你希望字体配置在整个项目里统一生效可以在代码里写一个全局配置文件import matplotlib as mpl mpl.rcParams[font.sans-serif] [SimHei] mpl.rcParams[axes.unicode_minus] False这种做法适合写一次就不用再管的场景。需要注意的是rcParams设置要在任何绘图函数调用之前就完成否则有可能出现部分图生效、部分图不生效的情况排查起来很恼火。4.2 坐标轴、刻度、图例的微调一张图能不能让人一眼看清信息往往取决于细节。坐标轴的xlim和ylim默认是Matplotlib根据数据自动计算的但在某些场景下面需要手动指定。举个例子训练曲线的横坐标是epoch默认从0开始但有时候你跑了8个epoch中间的曲线在第5个epoch开始出现异常你想放大观察第4到第8个epoch的变化此时可以用axes.set_xlim(4, 8)把范围缩小异常细节会看得更清楚。刻度标签的调整也很常用。比如横坐标如果表示的是时间你想显示“第1轮、第2轮”可以直接传入字符串列表axes.set_xticks([0, 2, 4, 6, 8]) axes.set_xticklabels([Epoch 1, Epoch 3, Epoch 5, Epoch 7, Epoch 9])grid网格线对阅读曲线图帮助很大。添加网格线之后曲线上的点对应到横轴和纵轴的位置更容易判断。但要注意网格线的样式别太夸张我一般会设置linestyle--和alpha0.4让网格线保持低调不至于抢了主曲线的视觉重心。图例位置默认是bestMatplotlib会自动选择合适的位置但它自动选的位置不一定符合你的预期有时候会挡住关键曲线。这时候直接用axes.legend(locupper right)或者loclower left手动指定就好。如果你把图例放到了图外还可以使用bbox_to_anchor(1.02, 1)这种参数微调把它挪到坐标轴外侧去。4.3 样式切换与高质量导出Matplotlib内置了一些预定义样式一键切换整体视觉效果。我最常用的是plt.style.use(seaborn-v0_8)这个样式让图表的背景变成浅灰色网格曲线配色也更加柔和不需要手动调一堆参数就能做出比较好看的效果。需要注意的是不同Matplotlib版本里样式的名称会有变化比如老版本的seaborn在新版本中可能需要写成seaborn-v0_8。如果样式的名字写错Matplotlib可能会直接报错这时候可以用print(plt.style.available)看看当前环境支持哪些样式。保存图像是出图环节里最重要的一个操作。plt.savefig()有几个参数我认为必须掌握dpi控制分辨率普通展示用100到150就够论文投稿建议用300以上bbox_inchestight自动裁掉多余空白transparentTrue可以把背景设为透明适合在深色主题的PPT里使用。还有一点要注意的是savefig必须在show()之前或者之后调用这个顺序在不同环境下可能影响输出效果。我的习惯是先savefig再show确保保存的图片不被之后弹出的窗口干扰。导出格式的分析也不能忽略.png是位图体积大但兼容性好.pdf和.svg是矢量图放大不模糊适合论文排版。我当时第一次提交论文稿的时候傻乎乎地导出了300dpi的PNG图结果后续修改需要换配色重画倒是小事关键是矢量图在排版中更受审稿人欢迎。所以我现在凡是论文或报告用的图一律保存为.pdf或者.svg预览用的图才存成.png。5. 我在实践中踩过的坑与排查思路5.1 图不显示、闪退、白屏到底是谁的问题刚接触Matplotlib的时候最常见的现象是代码执行了但什么窗口都没弹出来或者直接在命令行卡住。这里要先区分你是在什么环境里运行代码。如果你在Jupyter Notebook里需要在代码块顶部加上%matplotlib inline这样图会直接渲染在输出窗口里而不是弹出新的GUI窗口。如果你不在Jupyter里而是像我一样跑一个.py脚本那plt.show()会阻塞运行并弹出窗口这是正常的你关掉窗口脚本才会继续执行。还有一种情况是在无图形界面的远程服务器上跑脚本没有图形环境plt.show()会直接报错或者不显示。解决办法很简单不调用plt.show()只调用plt.savefig()把图保存成文件然后通过其他方式查看。其实在很多自动化流水线里你根本不需要弹窗只要把图保存下来就行。白屏问题我也遇到过几次。有一次我在服务器上用Agg后端可视化明明保存了图片打开一看只有空白。检查后发现问题出在plt.savefig()被调用的时候figure对象已经被销毁了或者还没画完。也就是说你可能在函数结束之后没有返回figure对象或者把plt.close()提前执行了。排查思路是检查savefig和show的调用顺序以及figure对象的生命周期确保它在保存时仍然存活。5.2 训练曲线抖动严重怎么平滑训练曲线抖动在生产环境中太常见了。尤其是使用小batch size训练的时候每个batch的loss波动本来就比较大画出来的曲线像锯齿一样很难判断整体趋势。这里有两种处理方式一种是把batch_size调大让每个batch的梯度估计更稳定但这会影响显存占用和训练速度另一种是在画图的时候对曲线做平滑。平滑曲线的一种实现方式是指数移动平均EMA。核心思路是当前点的新值由旧历史值递归得到smoothed_value alpha * history_value (1 - alpha) * current_value其中alpha控制对历史值的信任程度。alpha越接近1曲线越平滑但滞后越明显。我实测下来alpha取0.8到0.95之间效果比较合适具体看你的数据波动幅度。除了EMA也可以用numpy的convolve实现移动平均比如设置窗口大小为5把相邻5个点的均值作为当前点的值。另外一个技巧是绘制置信带。在训练曲线的同时你可以多次重复实验计算每个epoch的均值和标准差然后用fill_between画出均值加减标准差的区域。这样你不仅能展示趋势还能展示实验的稳定性。这个做法在论文里特别有用因为审稿人想看到的不只是一条优美的曲线而是多次实验结果有没有统计意义。5.3 循环里画图内存爆掉在TensorFlow项目里我经常需要在循环里逐批绘制数据样本或者实时绘制训练结果。比如每个epoch画一次loss曲线跑100个epoch就画100张图。如果每次循环里创建了新的figure但忘记关闭内存占用会快速上升最后导致程序崩溃。这个坑我踩过之后养成了几个好习惯。第一每次创建fig之后用完了在循环末尾调用plt.close(fig)手动释放图形资源。第二如果在循环中反复画同样的内容尽量不要每次创建新的figure而是创建一次然后更新现有对象的数据。更新方式是对axes上的Line2D对象调用set_ydata()方法再配合plt.pause(0.001)实现简单的动态更新效果。第三如果确实需要批量保存多张图可以考虑在循环里保存完就立刻close内存占用能维持在稳定水平。我自己的一个监控训练过程的工具方法大致是这样import matplotlib.pyplot as plt def plot_training_curve(epoch, loss_history, val_loss_history, save_path): fig, axes plt.subplots(1, 1, figsize(8, 5)) axes.plot(range(1, epoch 1), loss_history[:epoch], labelTrain Loss) axes.plot(range(1, epoch 1), val_loss_history[:epoch], labelVal Loss) axes.set_xlabel(Epoch) axes.set_ylabel(Loss) axes.legend() axes.grid(True, linestyle--, alpha0.5) plt.savefig(save_path, dpi150, bbox_inchestight) plt.close(fig)这个函数在每次epoch结束后被调用保存的图片文件名里带着当前epoch编号既可以随时查看进度又不增加内存负担。要注意的是如果epoch数量很大频繁保存图片会产生大量文件记得写个定时清理策略。结尾一点个人体会写到这儿Matplotlib在TensorFlow入门阶段最常用的功能基本都覆盖了。我在实际使用中最大的体会是可视化这件事优先级应该提到很高它看起来不像是直接推进模型效果的技术但它极大地压缩了我debug的时间。以前我花两个小时对着终端里飘过的训练日志发呆现在只需要扫一眼曲线图问题出在数据还是模型、是欠拟合还是过拟合心里大概就有数了。最后再分享一个实用习惯把所有绘图相关的代码单独拆成一个visualization.py模块里面放上统一的中文字体配置、样式设置、图片保存路径和几个常用绘图函数。这样每个模型的训练代码里只需要调用函数不用每次把一堆rcParams和subplots的代码复制来复制去代码整洁得多也更容易维护。如果你刚开始学TensorFlow我真心建议除了模型和loss也把Matplotlib当成核心技能来练它会在整个深度学习项目周期里反复帮到你。