简介CycleGAN的Keras实现资源包面向具备一定深度学习基础、期望上手无配对图像转换的开发者与研究者。代码完整实现了循环一致性生成对抗网络涵盖两个生成器、两个判别器、循环一致性损失与对抗损失的定义并提供了基于ResNet的生成器结构、数据加载器以及预测脚本可直接用于风格迁移、季节转换、物体变换等无监督图像转换场景。训练过程中生成器与判别器交替优化配合循环一致性约束保证转换可逆代码中均已给出对应实现与参数配置。资源共7个文件包括4个Python脚本和3个数据集压缩包压缩包总大小约477MB数据涵盖马与斑马、苹果与橘子、莫奈油画与实景照片等经典任务便于直接对照训练。目前已有547人学习下载适合用于理解CycleGAN的运行机制、复现图像转换实验或在此基础上进行二次开发与改进。1. CycleGAN的Keras实现不配对的风格迁移怎么落地做图像风格迁移的开发者大概都撞过一堵墙手里攒了几百张街景照片想转成油画笔触却找不齐“同一场景同时存在照片和油画”的配对数据自己动手拍几十对成本高到离谱。CycleGAN 就是为这个场景设计的——它只需要两个彼此无关的图片集合就能学出 A→B 的映射靠的核心是“转个圈还得变回来”的循环一致性约束解决了生成对抗网络GAN在无配对数据下的训练难题。这份 Keras 实现把两个生成器、两个判别器、循环损失和完整训练循环压缩成几个结构清晰的脚本不用从论文逐行复现公式改改数据路径就能跑。训练结束后用脚本批量转换图片权重直接存成 h5 文件二次加载非常方便。适合两类人一类是想快速上手 GAN 又不想啃底层 TensorFlow 代码的深度学习初学者另一类是手里有风格迁移、灰度上色、去雾这类任务想先跑通一个可复现的 Keras 基线再动手改的开发者。2. 架构设计与技术选型循环一致性如何替代配对数据2.1 CycleGAN 的核心机制两个生成器加两个判别器CycleGAN 解决的是 unpaired image-to-image translation 问题。传统条件 GAN比如 pix2pix要求成对的输入输出训练集和测试集都必须像素级对齐到了真实场景里同一只猫的照片和同一只猫的卡通画几乎不可能手工配平。CycleGAN 把约束从“像素对应”换成了“集合对应”训练时只需要两个目录trainA 放一类图trainB 放另一类图两张图之间没有任何一一对应关系。网络结构上CycleGAN 包含两个生成器 G 和 F以及两个判别器 D_X、D_Y。G 负责把 X 域的图迁移到 Y 域F 负责把 Y 域迁回 X 域D_Y 判断输入是真 Y 还是假 Y即 G(x)D_X 判断输入是真 X 还是假 X即 F(y)。如果只用对抗损失G 完全可以随机地把 X 映射成 Y 域的某张图训练几轮之后模式坍缩就来了。循环一致性损失就是为了掐死这条捷径要求 F(G(x)) 仍然等于 xG(F(y)) 仍然等于 y。这个约束把映射限定在“内容保持不变、风格发生改变”的解空间里等于用自监督的方式替代了对配对数据的依赖。完整的目标函数是三部分加权求和对抗损失让生成图尽量骗过判别器循环损失保证内容不丢身份损失约束颜色分布。身份损失项写成 L_id E_y[||G(y) − y||_1] E_x[||F(x) − x||_1]作用是防止生成器把整体色调改得离谱。我在实际训练里会把身份的权重设得比循环损失小一档开 50 个 epoch 左右就关掉否则生成器会偷懒直接复制输入。训练时一个 step 里的前向路径一共有六条G 接收真实 X 生成假 YF 接收真实 Y 生成假 XF 再接收假 Y 生成循环 XG 再接收假 X 生成循环 Y外加两条身份映射路径G 直接接收真实 YF 直接接收真实 X。六条路径共享四个模型的参数梯度回传要用 GradientTape(persistentTrue) 一次性算完这也是这份代码里最容易看晕的地方第 4 章会逐段拆。2.2 技术选型为什么用 Keras 而不是 PyTorch 或裸 TensorFlow选 Keras 写 CycleGAN最主要的原因是函数式 API 特别适合这种“四模型联动”的结构。两个生成器和两个判别器各自是独立模型但训练时需要在同一个 step 里同时更新两组梯度用 keras.Model 把它们组装进一个计算图改起来比手写底层会话时代舒服太多。InstanceNormalization 这类自定义层在 Keras 里实现也很直接继承 Layer 重写 build 和 call 两个方法就行不需要自己维护参数名和初始化逻辑。版本上我建议直接用 TensorFlow 2.x 自带的 tf.kerasPython 3.7 以上。第三方独立 keras 包在新版里已经和 tf.keras 越走越远没必要引入额外的兼容成本。依赖方面只需要 tensorflow、numpy 和 Pillow图片读取走 tf.image 原生 API连 opencv 都可以省掉。整个工程跑在单卡上256x256 输入、batch_size1 的显存占用大约 4 到 6 GB入门到中端显卡都带得动。训练到 200 个 epoch看图片数量和机器性能大概 10 到 20 个小时出结果如果只跑 128x128 输入并把 ResNet 块从 9 个减到 6 个时间能砍一半。这里有个常见的认知偏差需要纠正很多人觉得 Keras 是“给新手用的玩具”不利于做研究。实际这个项目里自定义层、GradientTape、tf.function 都能在 Keras 框架内正常使用训练逻辑的可读性反而比纯 TensorFlow 更好。对生成对抗网络这种调参极其频繁的任务代码能让人一眼看清“谁在更新谁”比炫技重要得多。优化器用的是 Adam学习率 2e-4beta_1 固定 0.5。beta_1 从 TensorFlow 默认的 0.9 降到 0.5 是 GAN 训练里的常见操作动量太大会让判别器的更新滞后损失曲线来回震荡。学习率也不是一成不变前 100 个 epoch 保持 2e-4后 100 个 epoch 线性衰减到 0让生成器在后期做精细调整。Batch size 设 1 不是偷懒CycleGAN 生成器里用的是 Instance Normalization 而不是 Batch Normalization对 batch 内统计量不敏感所以 batch1 不会像其他网络那样导致训练不稳定小 batch 能省显存还让每个 step 的更新更频繁配合图像池做判别器的历史采样稳定性反而更好。如果你之前只跑过分类网络第一次接触这种四模型联动的工程建议不要改任何超参直接用默认配置跑通一遍再说。3. 工程结构与数据准备先摸清目录再跑第一条命令3.1 目录结构每个文件负责什么拿到工程后先别急着执行 train.py花两分钟把目录过一遍后面定位问题会快很多。常见的组织方式如下cyclegan_keras/ ├── config.py # 超参与路径配置 ├── train.py # 训练主入口 ├── test.py # 推理加载权重批量转换图片 ├── models/ │ ├── generator.py # 构建生成器 G / F │ ├── discriminator.py # 构建判别器 D_X / D_Y │ └── layers.py # InstanceNorm 等自定义层 ├── utils/ │ ├── data_loader.py # 图片读取、随机裁剪、翻转、归一化 │ └── image_pool.py # 判别器训练用的历史生成图像池 ├── weights/ # 训练好的 h5 权重落在这里 └── data/ ├── trainA/ # 源域图片 └── trainB/ # 目标域图片config.py 是唯一需要手工改的配置文件里面集中管 IMG_SIZE、EPOCHS、BATCH_SIZE、各种损失权重和数据路径。train.py 只做三件事加载数据、构建四个模型、跑训练循环模型结构全部从 models 目录导入所以你想换生成器结构不用动训练脚本。test.py 独立于训练流程读取 weights 下已经保存的 h5 文件做推理不会误触发训练。models/generator.py 里同一个 build_generator 函数会被调用两次分别生成 G 和 F两套权重完全独立靠函数返回值区分。models/layers.py 是最容易让新手懵的文件里面除了 InstanceNormalization 之外通常还会放一个反射填充的封装因为 Keras 内置的 ZeroPadding2D 在后端实现上和论文里的 reflection padding 有细微差别源码里一般会用 Lambda 手动拼。utils/image_pool.py 实现的是论文里的一个细节判别器训练时用的假图不直接来自当前 step而是从过去 50 张生成图里随机抽避免判别器只记住最近一种分布。3.2 数据加载与增强286→256 的随机裁剪是精髓数据目录的命名约定是 trainA 放源域、trainB 放目标域两个目录的图片数量不需要相等但每个域建议至少 100 张以上并且覆盖多种光照和角度。循环一致性约束本质上在学一个双向映射数据太少时映射会被低维特征主导生成的图会反复出现同样的纹理。格式上 jpg 和 png 都支持但要注意 data_loader 里读取时用的解码函数必须和图片实际格式一致。数据加载和增强的代码基本围绕一个预处理函数展开# utils/data_loader.py def preprocess(path): img tf.io.read_file(path) img tf.image.decode_jpeg(img, channels3) # png 图换成 decode_png img tf.cast(img, tf.float32) img (img / 127.5) - 1.0 # 归一到 [-1, 1]对应 tanh return img def random_jitter(img): # 先放大到 286x286再随机裁剪回 256x256最后做左右翻转 img tf.image.resize(img, (286, 286)) img tf.image.random_crop(img, size(256, 256, 3)) if tf.random.uniform(()) 0.5: img tf.image.flip_left_right(img) return img def load_dataset(path_a, path_b, batch_size1): files_a glob.glob(path_a /*.jpg) glob.glob(path_a /*.png) files_b glob.glob(path_b /*.jpg) glob.glob(path_b /*.png) ds_a tf.data.Dataset.from_tensor_slices(files_a) ds_a ds_a.map(preprocess, num_parallel_calls4) ds_a ds_a.map(random_jitter, num_parallel_calls4) ds_a ds_a.batch(batch_size).prefetch(1) # ds_b 与 ds_a 同理最后用 Dataset.zip((ds_a, ds_b)) 组合 return tf.data.Dataset.zip((ds_a, ds_b))这里有几个参数值得解释。归一化到 [-1, 1] 不是随手写的生成器最后一层是 tanh 激活输出范围就是 [-1, 1]数据范围不对齐的话生成器永远学不会输出有效图像。随机裁剪先放大到 286 再裁回 256这个 30 像素的余量是关键的数据增强不做增强时生成器很容易记住图像边缘的位置分布随机裁剪相当于告诉网络风格是全局的不是贴在固定位置的。最后一个细节是 batch_size 默认 1配合 InstanceNorm 使用训练时 tf.data 的 prefetch(1) 能盖掉一部分数据读取的延迟。跑训练之前建议先做一步验证单独执行 load_dataset 并打印一个 batch 出来确认图片不是全黑的。数据预处理出错时错误往往不会在第一步暴露而是潜伏到第几百个 step 才以 NaN 损失的形式炸出来提前看一眼能省半天排查时间。4. 核心模块拆解一个 Batch 从输入到损失的完整链路4.1 生成器七层卷积下采样 九个 ResNet 块 反卷积上采样生成器的结构是典型的 Encoder-Decoder 加跳跃残差先下采样提取特征中间用 9 个 ResNet 块做非线性变换最后上采样回到原分辨率。因为生成器里用了 Instance Normalization所以要先把自定义层写出来这是整个项目里唯一真正需要自己实现的层# models/layers.py class InstanceNormalization(Layer): def __init__(self, epsilon1e-5): super(InstanceNormalization, self).__init__() self.epsilon epsilon def build(self, input_shape): self.scale self.add_weight( namescale, shapeinput_shape[-1], initializerones, trainableTrue) self.offset self.add_weight( nameoffset, shapeinput_shape[-1], initializerzeros, trainableTrue) def call(self, x): mean, var tf.nn.moments(x, axes[1, 2], keepdimsTrue) return tf.nn.batch_normalization( x, mean, var, self.offset, self.scale, self.epsilon)这段代码的关键在 tf.nn.moments 的 axes[1, 2]只对每个样本的宽高维度统计均值和方差不跨样本统计。所以 batch_size 无论是 1 还是 8每个样本都用自己的统计量做归一化这正是 CycleGAN 在单卡小 batch 下依然稳定的原因。生成器主体代码如下# models/generator.py def conv7s1(x, filters): x ZeroPadding2D(3)(x) x Conv2D(filters, 7, strides1, use_biasFalse)(x) x InstanceNormalization()(x) return Activation(relu)(x) def conv3s2(x, filters): x ZeroPadding2D(1)(x) x Conv2D(filters, 3, strides2, use_biasFalse)(x) x InstanceNormalization()(x) return Activation(relu)(x) def deconv3s2(x, filters): x ZeroPadding2D(1)(x) x Conv2DTranspose(filters, 3, strides2, use_biasFalse)(x) x InstanceNormalization()(x) return Activation(relu)(x) def res_block(x, filters128): res x res ZeroPadding2D(1)(res) res Conv2D(filters, 3, use_biasFalse)(res) res InstanceNormalization()(res) res Activation(relu)(res) res ZeroPadding2D(1)(res) res Conv2D(filters, 3, use_biasFalse)(res) res InstanceNormalization()(res) return Add()([x, res]) def build_generator(input_shape(256, 256, 3), num_res9): input_img Input(shapeinput_shape) x conv7s1(input_img, 32) # 256 - 256通道 32 x conv3s2(x, 64) # 256 - 128 x conv3s2(x, 128) # 128 - 64 for _ in range(num_res): # 在 64x64x128 特征图上叠残差块 x res_block(x, 128) x deconv3s2(x, 64) # 64 - 128 x deconv3s2(x, 32) # 128 - 256 x ZeroPadding2D(3)(x) x Conv2D(3, 7, strides1, activationtanh)(x) return Model(input_img, x)参数说明输入 256x256x3 的 RGB 图前两个下采样把空间尺寸逐级减半、通道数翻倍特征图浓缩到 64x64x128 后由 9 个残差块处理。残差块内部是“卷积 → 归一化 → ReLU → 卷积 → 归一化”再加回输入每个块的输出和输入形状完全一致所以可以连续叠 9 个而不改变尺寸。最后一层用 tanh 把输出压到 [-1, 1]和前面数据预处理的归一化范围对齐。这里值得注意的细节是策略上用 ZeroPadding2D 替代了常见的不填充卷积。7x7 卷积核加 padding3 保持尺寸不变3x3 卷积核 stride2 加 padding1 做下采样整个过程特征图尺寸变化非常干净256 → 128 → 64 → 64 → 128 → 256。Conv2DTranspose 上采样列数也是 3、步长 2与下采样严格对称。4.2 判别器70x70 PatchGAN输出一张概率图判别器的设计思路和分类网络完全不同。它不输出一个 0 到 1 的标量而是输出一张特征图每个点代表原图上一个 patch 的真假概率# models/discriminator.py def build_discriminator(input_shape(256, 256, 3)): input_img Input(shapeinput_shape) x Conv2D(64, 4, strides2, paddingsame)(input_img) x LeakyReLU(alpha0.2)(x) x Conv2D(128, 4, strides2, paddingsame)(x) x InstanceNormalization()(x) x LeakyReLU(alpha0.2)(x) x Conv2D(256, 4, strides2, paddingsame)(x) x InstanceNormalization()(x) x LeakyReLU(alpha0.2)(x) x Conv2D(512, 4, strides1, paddingsame)(x) x InstanceNormalization()(x) x LeakyReLU(alpha0.2)(x) x Conv2D(1, 4, strides1, paddingsame)(x) return Model(input_img, x)输入 256x256 的图经过三层 stride2 的下采样变成 32x32最后一层 stride1 的卷积把通道压成 1输出形状是 32x32x1。这 32x32 个点每个点的感受野大约是原图 70x70 的区域所以叫 70x70 PatchGAN。它不要求整张图全局一致只关注局部纹理是否真实这样生成器不需要为了骗过判别器而记住整张图的全局分布训练压力小很多。激活函数用 LeakyReLU(alpha0.2) 而不是 ReLU是为了避免负区间的梯度完全消失。第一层不带 InstanceNormalization 是原论文就有的做法低频颜色信息对判别器来说是重要的判定依据归一化会把这类信号洗掉。判别器内部所有卷积都不加 bias原因是后面接了 InstanceNormalization归一化会把 bias 抵消掉加了反而浪费参数。4.3 训练主循环GradientTape 与损失加权训练逻辑是整个项目里信息密度最高的部分核心是一个自定义的训练步函数# train.py 核心片段 tf.function def train_step(real_x, real_y): with tf.GradientTape(persistentTrue) as tape: # 生成器前向 fake_y generator_G(real_x, trainingTrue) cycle_x generator_F(fake_y, trainingTrue) fake_x generator_F(real_y, trainingTrue) cycle_y generator_G(fake_x, trainingTrue) # 判别器判定 dY_real discriminator_Y(real_y, trainingTrue) dY_fake discriminator_Y(fake_y, trainingTrue) dX_real discriminator_X(real_x, trainingTrue) dX_fake discriminator_X(fake_x, trainingTrue) # 生成器损失对抗 循环 身份 g_adv mae_loss(dY_fake, 1.0) mae_loss(dX_fake, 1.0) g_cycle lambda_cycle * (mae_loss(real_x, cycle_x) mae_loss(real_y, cycle_y)) g_identity lambda_identity * ( mae_loss(real_y, generator_G(real_y, trainingTrue)) mae_loss(real_x, generator_F(real_x, trainingTrue))) g_total g_adv g_cycle g_identity # 判别器损失 d_loss 0.5 * (mae_loss(dY_real, 1.0) mae_loss(dY_fake, 0.0) mae_loss(dX_real, 1.0) mae_loss(dX_fake, 0.0)) # 一次性算两组梯度 g_grads tape.gradient( g_total, generator_G.trainable_variables generator_F.trainable_variables) d_grads tape.gradient( d_loss, discriminator_X.trainable_variables discriminator_Y.trainable_variables) g_optimizer.apply_gradients( zip(g_grads, generator_G.trainable_variables generator_F.trainable_variables)) d_optimizer.apply_gradients( zip(d_grads, discriminator_X.trainable_variables discriminator_Y.trainable_variables)) return g_total, d_loss这里最容易被忽略的是 GradientTape(persistentTrue) 的用法。默认情况下 tape 只能调用一次 gradient()但这里需要分别对生成器和判别器求两组梯度所以必须开 persistent 模式。损失函数 mae_loss 就是 K.mean(K.abs(real - generated))没有花哨的改动。判别器损失前三层是 0.5 的系数含义是 D_X 和 D_Y 各占一半。身份损失在同一个 step 里又额外跑了两次生成器前向G 吃真实 Y、F 吃真实 X这属于论文里的标准做法但要注意它会显著拖慢训练。显存紧张时可以先关掉身份损失生成器训练速度会明显提升代价是颜色分布的稳定性下降。默认超参配置如下超参默认值说明lr2e-4Adam 基础学习率beta_10.5GAN 训练常用动量避免震荡lambda_cycle10循环损失权重论文默认值lambda_identity5身份损失权重batch_size1InstanceNorm 下不受影响epochs200前 100 轮固定 lr后 100 轮线性衰减每执行一个 train_step判别器和生成器各更新一次。训练逻辑里还有一个容易看漏的点判别器训练用的假图一般不是当前 step 生成的而是从 image_pool 里抽历史图源码里在喂给判别器之前会先过一遍 pool 的 query 方法。这个小改动对稳定性影响很大去掉的话训练中期判别器容易过拟合到最近的生成分布。5. 避坑与排查训练不收敛、黑图、显存溢出的修复记录5.1 五个高频翻车现场第一个坑损失曲线乱跳数值从 1.2 瞬间飙到 8000 再掉回 0.5。现象是训练日志像心脏病发完全看不出收敛趋势。原因九成是数据没有归一化到 [-1, 1]输入还是 0 到 255 的整数生成器输出的 tanh 范围和数据分布对不上另一成是 Adam 的 beta_1 用了默认 0.9。解决方法是确认 preprocess 里做了 (img / 127.5) - 1.0并把优化器参数显式写成 Adam(learning_rate2e-4, beta_10.5)。第二个坑生成图全黑或全灰训练几十个 epoch 还是一张纯色图。这种现象多半是判别器太强生成器的梯度被彻底压制也可能是数据本身有大量全黑图片比如相机没盖镜头盖拍的图混进了训练集。解决方法是先检查数据集里有没有异常样本再考虑把判别器的学习率单独调低到生成器的三分之一或者给判别器第一层加一点 Dropout 削弱它的能力。第三个坑生成图上出现明显的棋盘格纹理尤其是边缘区域。原因是 Conv2DTranspose 在做上采样时卷积核和步长不匹配产生重叠区域权重不均。解决方法是把反卷积换成 UpSampling2D Conv2D 的组合或者干脆用 stride 整除 kernel size 的配置棋盘格会明显减轻。这是图像生成任务里最经典的血泪教训任何用转置卷积做上采样的网络都可能踩到。第四个坑显存溢出 OOM。256x256 输入、batch1按理说显存压力不大但实际跑起来会发现一个 step 里有六条前向路径梯度图全部驻留在显存里。解决方法是把 train_step 用 tf.function 包起来减少 Python 层开销训练中期关掉身份损失省掉两次前向再不够就把输入降到 128x128 并把 ResNet 块减到 6 个显存和训练时间都能砍掉一半。第五个坑模式坍缩所有输入图生成出来的结果几乎一样。现象是循环损失降得很低但生成图完全没风格差异。原因是生成器找到了最省事的捷径——把输入直接复制到输出循环一致性损失照样是 0。解决方法是调低 lambda_cycle 权重或者提前关掉身份损失同时盯 TensorBoard 里生成图的标准差方差趋近于 0 就是坍缩的前兆。5.2 一条通用的排查流程GAN 训练本身就带着玄学属性换数据源、换驱动版本都可能改变行为所以排查要按固定顺序走不要靠感觉乱试。第一步把数据量砍到每个域 20 张跑 5 个 epoch 验证整条链路通不通。这一步的目的不是练出好模型而是确认前向、反向、权重保存、测试脚本都能正常执行。第二步TensorBoard 里把 g_adv、g_cycle、d_loss 分开记录不要只看总损失总损失降了但对抗损失涨了说明生成器和判别器在打架。第三步每 5 个 epoch 保存一组固定的转换结果对比图定点观察比看曲线更直接。第四步两个方向的生成器都要看G 和 F 的收敛状态往往不同步只盯着一个方向容易误判整体训练状态。最后补一个习惯换数据或者改代码之前先把随机种子固定下来。生成对抗网络训练对初始噪声极其敏感同样的代码跑两次结果都不一样不固定种子的话你根本分不清效果变好是因为改了代码还是纯属运气。固定种子之后每次改动的效果差异才真正可归因。6. 二次开发指南改成你自己的图像迁移任务6.1 改输入尺寸、通道数与生成器结构最常见的改造是把 256x256 换成 128x128。只需要把 config 里的 IMG_SIZE 改成 128同时把 build_generator 的 num_res 从 9 减到 6ResNet 块加在 32x32x128 的特征图上。判别器把最深层通道从 512 降到 256参数量和显存都会明显下降。做灰度图任务时生成器最后一层 Conv2D 输出通道改成 1数据预处理里 decode_jpeg 的 channels 参数同步改 1其余逻辑不用动。6.2 换损失函数与训练策略如果发现纯像素级 MAE 循环损失导致图像偏模糊可以把循环损失换成感知损失用预训练分类网络提取多层特征在特征空间算 MAE。这个改动只需在损失函数里加一个特征提取模型不需要动训练循环。训练策略上把固定学习率换成余弦退火或者给生成器加指数滑动平均都能在后期收敛阶段提升生成质量代价是训练时间略微增加。6.3 验证与导出部署改造完成后不要只看损失曲线生成图像的验证必须落到人工定性检查加定量指标两条腿。定量可以算 FID定性就是每个 epoch 结束时把验证集里固定几张图的转换结果拼成一张大图肉眼扫一遍纹理和颜色是否自然。确认效果没问题后用 tf.saved_model.save 把生成器单独导出部署到服务端时只需要 G 一个模型判别器和 F 都可以丢掉。从那以后我每次搭生成对抗网络项目都会强制走一遍“最小数据跑通 → 定点保存中间产物 → 固定随机种子再调损失”的流程绝不在全量数据上直接开跑。这个习惯帮我省掉过无数次返工希望帮到你。本文还有配套的精品资源点击获取