人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载本篇技术指南以 examples/csmsc/vits 为例系统讲解如何在 PaddleSpeech 中基于 CSMSCChinese Standard Mandarin Speech Copus即 BZNSYP 中文普通话语料从零训练 VITS 端到端语音合成模型并完成数据预处理、模型训练、波形合成、静态模型推理与移动端 Lite 部署的全流程。读完本文你将掌握 VITS 在中文单说话人 TTS 场景下的完整工程实践能力包括 dump 目录结构与 metadata.jsonl 规范、conf/default.yaml中生成器/判别器/损失/优化器的每个关键配置项、run.sh各 stage 的调用链以及如何使用官方预训练模型快速合成语音。一、VITS 与 CSMSC为什么用这个组合VITSVariational Inference with adversarial Training for end-to-end Text-to-Speech论文 arXiv:2106.06103是一种基于条件变分自编码器VAE与对抗训练的端到端 TTS 模型。与传统的声学模型 声码器两阶段方案不同VITS 将文本到语音的映射直接建模为条件潜变量上的生成过程输入 phoneme 序列即可一次性输出 22.05 kHz 的原始波形无需单独训练声码器。CSMSC中文标准普通话语音库又称 BZNSYP由北京数据堂Data Baker发布是一个约 12 小时的单人中文朗读语料采样率 22050 Hz是 PaddleSpeech 中验证中文单说话人 TTS 的基准数据集。本示例即采用 VITS 直接建模该语料并使用 MFAMontreal Forced Aligner产生的音素对齐结果作为训练辅助信息仅用音素不需要时长。从源码结构看PaddleSpeech 对 VITS 的支持分为两层模型实现位于 paddlespeech/t2s/models/vits核心是 vits.py 中的VITS(nn.Layer)与VITSInference两个类以及text_encoder.py、posterior_encoder.py、flow.py、duration_predictor.py、wavenet/wavenet.py等子模块训练/预处理/合成脚本位于 paddlespeech/t2s/exps/vits包括train.py、preprocess.py、normalize.py、synthesize.py、synthesize_e2e.py、inference.py。二、数据集与 MFA 对齐结果准备2.1 下载 CSMSC 语料从 CSMSC 官方网站下载原始语料下载后解压到本地目录。本文按示例约定假设数据路径为~/datasets/BZNSYP。2.2 获取或训练 MFA 对齐结果VITS 训练需要 phoneme 序列。PaddleSpeech 使用 MFAMontreal Forced Aligner对 CSMSC 做音素对齐其中MFA 产生的时长在本示例中不需要仅使用其音素序列。有两种方式获取对齐结果直接下载官方对齐结果baker_alignment_tone.tar.gzPaddleSpeech 发布的带声调 BZNSYP MFA 对齐包解压后得到目录本文约定其路径为./baker_alignment_tone自行训练 MFA 模型参考仓库中的 examples/other/mfa 示例其中提供了从文本规整到 MFA 对齐的完整脚本链。三、环境准备source path.sh 与目录约定进入示例目录后所有脚本通过 path.sh 统一注入环境变量MAIN_ROOT指向仓库根目录examples/csmsc/vits的上三层BIN_DIR指向paddlespeech/t2s/exps/vits即训练、预处理、合成脚本所在目录同时把MAIN_ROOT与MAIN_ROOT/utils加入PATH把MAIN_ROOT加入PYTHONPATH并设置LC_ALLC、PYTHONIOENCODINGUTF-8以避免中文环境下编码问题。因此所有run.sh、local/*.sh中的${BIN_DIR}/train.py、${MAIN_ROOT}/utils/parse_options.sh等引用都能正确解析。四、run.sh一键走完预处理 → 训练 → 合成 → 推理 → 部署run.sh 是本示例的总入口通过source ${MAIN_ROOT}/utils/parse_options.sh支持--stage/--stop-stage参数控制执行范围该写法不能与$1、$2位置参数混用。脚本开头的关键变量gpus0,1,2,3 stage0 stop_stage100 conf_pathconf/default.yaml train_output_pathexp/default ckpt_namesnapshot_iter_153.pdz add_blanktrue各 stage 的含义如下Stage执行内容调用的脚本0数据预处理MFA 时长提取、特征抽取、统计量计算、归一化local/preprocess.sh1模型训练checkpoint 保存在train_output_path/checkpoints/local/train.sh2从metadata.jsonl合成测试集波形local/synthesize.sh3端到端合成从纯文本文件直接合成波形local/synthesize_e2e.sh4静态图模型推理local/inference.sh7导出 Paddle-Lite 模型仅 ARM 端支持 VITSlocal/export2lite.sh8Paddle-Lite 模型预测local/lite_predict.sh例如只执行数据预处理./run.sh --stage 0 --stop-stage 0注意run.sh 中 stage 5paddle2onnx 导出与 stage 6onnxruntime 推理当前被注释注释说明 Paddle2ONNX 仍缺少部分算子stage 7 的 Lite 导出要求使用 Paddle-Lite develop 版本TTS 模型支持由 Paddle-Lite PR #10128 引入且 VITS 目前只能在 ARM 端运行。五、数据预处理从原始音频到 dump 目录5.1 预处理调用链./local/preprocess.sh ${conf_path} ${add_blank}内部按 4 个子阶段执行生成 durations.txt调用utils/gen_duration_from_textgrid.py输入./baker_alignment_toneMFA 对齐的 TextGrid 结果依据配置生成durations.txt特征抽取调用BIN_DIR/preprocess.py参数包括--datasetbaker、--rootdir~/datasets/BZNSYP/、--dumpdirdump、--dur-filedurations.txt、--config${config_path}、--num-cpu20、--cut-silTrue其中--cut-sil表示裁剪静音段统计量计算调用utils/compute_statistics.py对dump/train/raw/metadata.jsonl的feats字段计算均值与标准差得到归一化所需的dump/train/feats_stats.npy归一化对 train / dev / test 三份 raw metadata 分别调用normalize.py将特征归一化并建立dump/phone_id_map.txt、dump/speaker_id_map.txtdev 与 test 复用 train 的统计量--feats-statsdump/train/feats_stats.npy并传入--add-blank${add_blank}控制是否在音素序列首尾添加空白音素、--skip-wav-copy跳过波形拷贝以节省磁盘。5.2 dump 目录结构预处理完成后当前目录下生成dump文件夹dump ├── dev │ ├── norm │ └── raw ├── phone_id_map.txt ├── speaker_id_map.txt ├── test │ ├── norm │ └── raw └── train ├── feats_stats.npy ├── norm └── raw数据集被划分为train、dev、test三部分每部分含raw与norm两个子目录raw保存每个句子的波形与线性谱特征norm保存归一化后的特征归一化统计量只从训练集计算存放于dump/train/feats_stats.npy每个子目录内都有metadata.jsonl这是一个表状文件逐行记录phones、text_lengths、feats、feats_lengths、线性谱特征路径、原始波形路径、speaker以及每个句子的 id是后续训练与合成脚本读取数据的索引。六、模型训练train.py 与 default.yaml 深度解读6.1 训练入口CUDA_VISIBLE_DEVICES${gpus} ./local/train.sh ${conf_path} ${train_output_path}local/train.sh 先编译单调对齐monotonic_align扩展cd ${MAIN_ROOT}/paddlespeech/t2s/models/vits/monotonic_align python3 setup.py build_ext --inplace cd -再调用${BIN_DIR}/train.py其完整参数如下usage: train.py [-h] [--config CONFIG] [--train-metadata TRAIN_METADATA] [--dev-metadata DEV_METADATA] [--output-dir OUTPUT_DIR] [--ngpu NGPU] [--phones-dict PHONES_DICT] Train a VITS model. optional arguments: -h, --help show this help message and exit --config CONFIG config file to overwrite default config. --train-metadata TRAIN_METADATA training data. --dev-metadata DEV_METADATA dev data. --output-dir OUTPUT_DIR output dir. --ngpu NGPU if ngpu 0, use cpu. --phones-dict PHONES_DICT phone vocabulary file.参数说明--configyaml 格式配置文件用于覆盖默认配置默认配置见 conf/default.yaml--train-metadata/--dev-metadata应指向dump中train与dev的 norm 子目录下的 metadata 文件--output-dir实验输出目录checkpoint 保存在该目录下的checkpoints/中--ngpu使用的 GPU 数量ngpu 0时使用 CPU--phones-dict音素词典文件路径。从 train.py 源码可见训练时先根据paddle.is_compiled_with_cuda()与args.ngpu决定设备多卡时调用paddle.distributed.init_parallel_env()并用seed_everything(config.seed)固定随机种子多进程训练所必需单说话人场景使用vits_single_spk_batch_fn作为 collate 函数多说话人提供了--speaker-dict则切换为vits_multi_spk_batch_fn。本示例的 CSMSC 为单说话人配置中spks: -1即不启用说话人嵌入。6.2 default.yaml 核心配置逐项解析conf/default.yaml 头部注释明确说明该配置在 4 张 32GB 显存的 V100 GPU 上验证完整训练约需 2 周但约 10 万步的模型即可产生合理结果。下面按模块解读。特征提取设置fs: 22050 # 采样率 sr n_fft: 1024 # FFT 点数samples n_shift: 256 # Hop sizesamples约 12.5ms win_length: null # 窗长samples约 50ms为 null 时等于 fft_size window: hann # 窗函数模型设置model生成器部分generator_type: vits_generatorhidden_channels: 192 # 隐层通道数 spks: -1 # 说话人数量-1 表示单说话人 global_channels: -1 # 全局说话人通道数 segment_size: 32 # 训练时随机裁剪的片段长度 text_encoder_attention_heads: 2 text_encoder_ffn_expand: 4 text_encoder_blocks: 6 # 文本编码器 FFN 块数 text_encoder_positionwise_layer_type: conv1d text_encoder_positionwise_conv_kernel_size: 3 text_encoder_positional_encoding_layer_type: rel_pos # 相对位置编码 text_encoder_self_attention_layer_type: rel_selfattn # 相对自注意力 text_encoder_activation_type: swish text_encoder_normalize_before: True text_encoder_dropout_rate: 0.1 text_encoder_positional_dropout_rate: 0.0 text_encoder_attention_dropout_rate: 0.1 use_macaron_style_in_text_encoder: True use_conformer_conv_in_text_encoder: False text_encoder_conformer_kernel_size: -1 decoder_kernel_size: 7 # 解码器卷积核尺寸 decoder_channels: 512 decoder_upsample_scales: [8, 8, 2, 2] # 上采样倍数序列 decoder_upsample_kernel_sizes: [16, 16, 4, 4] decoder_resblock_kernel_sizes: [3, 7, 11] decoder_resblock_dilations: [[1, 3, 5], [1, 3, 5], [1, 3, 5]] use_weight_norm_in_decoder: True posterior_encoder_kernel_size: 5 posterior_encoder_layers: 16 posterior_encoder_stacks: 1 posterior_encoder_base_dilation: 1 posterior_encoder_dropout_rate: 0.0 use_weight_norm_in_posterior_encoder: True flow_flows: 4 # 归一化流的流数量 flow_kernel_size: 5 flow_base_dilation: 1 flow_layers: 4 flow_dropout_rate: 0.0 use_weight_norm_in_flow: True use_only_mean_in_flow: True stochastic_duration_predictor_kernel_size: 3 stochastic_duration_predictor_dropout_rate: 0.5 stochastic_duration_predictor_flows: 4 stochastic_duration_predictor_dds_conv_layers: 3这部分与源码 vits.py 中定义的默认参数一一对应涵盖文本编码器FFN/相对位置/自注意力/swish 激活、波形解码器类 HiFi-GAN 的上采样 resblock、后验编码器、归一化流normalizing flow与随机时长预测器stochastic duration predictor五大组件。判别器部分discriminator_type: hifigan_multi_scale_multi_period_discriminatorscales: 1 scale_downsample_pooling: AvgPool1D scale_downsample_pooling_params: kernel_size: 4 stride: 2 padding: 2 scale_discriminator_params: in_channels: 1 out_channels: 1 kernel_sizes: [15, 41, 5, 3] channels: 128 max_downsample_channels: 1024 max_groups: 16 bias: True downsample_scales: [2, 2, 4, 4, 1] nonlinear_activation: leakyrelu nonlinear_activation_params: negative_slope: 0.1 use_weight_norm: True use_spectral_norm: False follow_official_norm: False periods: [2, 3, 5, 7, 11] # 周期判别器的周期集合 period_discriminator_params: in_channels: 1 out_channels: 1 kernel_sizes: [5, 3] channels: 32 downsample_scales: [3, 3, 3, 3, 1] max_downsample_channels: 1024 bias: True nonlinear_activation: leakyrelu nonlinear_activation_params: negative_slope: 0.1 use_weight_norm: True use_spectral_norm: False即多尺度 多周期Multi-Scale Multi-PeriodHiFi-GAN 判别器。损失设置generator_adv_loss_params: average_by_discriminators: False loss_type: mse # mse 或 hinge discriminator_adv_loss_params: average_by_discriminators: False loss_type: mse feat_match_loss_params: average_by_discriminators: False average_by_layers: False include_final_outputs: True mel_loss_params: fs: 22050 fft_size: 1024 hop_size: 256 win_length: null window: hann num_mels: 80 # Mel 滤波器组数量 fmin: 0 fmax: null log_base: null # null 表示自然对数损失加权系数lambda_adv: 1.0 # 对抗损失缩放系数 lambda_mel: 45.0 # Mel 损失缩放系数 lambda_feat_match: 2.0 # 特征匹配损失缩放系数 lambda_dur: 1.0 # 时长损失缩放系数 lambda_kl: 1.0 # KL 散度损失缩放系数数据加载与优化器batch_size: 64 num_workers: 4 generator_optimizer_params: beta1: 0.8 beta2: 0.99 epsilon: 1.0e-9 weight_decay: 0.0 generator_scheduler: exponential_decay generator_scheduler_params: learning_rate: 2.0e-4 gamma: 0.999875 discriminator_optimizer_params: beta1: 0.8 beta2: 0.99 epsilon: 1.0e-9 weight_decay: 0.0 discriminator_scheduler: exponential_decay discriminator_scheduler_params: learning_rate: 2.0e-4 gamma: 0.999875 generator_first: False # 是否先生成器后判别器其他训练设置num_snapshots: 10 # 最多保留的 checkpoint 快照数 max_epoch: 1000 # 最大训练轮数 save_interval_epochs: 1 # 每多少轮保存一次 checkpoint eval_interval_epochs: 1 # 每多少轮评估一次网络 seed: 777 # 随机种子从 train.py 的 import 可以看到训练时实际使用的损失组件GeneratorAdversarialLoss、DiscriminatorAdversarialLoss、FeatureMatchLoss、KLDivergenceLoss、MelSpectrogramLoss与配置中的损失系数一一对应同时使用AdamW优化器、Snapshot快照扩展与VisualDL可视化扩展。七、波形合成metadata 合成与端到端文本合成7.1 从 metadata.jsonl 合成synthesize.pyCUDA_VISIBLE_DEVICES${gpus} ./local/synthesize.sh ${conf_path} ${train_output_path} ${ckpt_name}./local/synthesize.sh调用${BIN_DIR}/synthesize.py逐条读取dump/test/norm/metadata.jsonl并合成波形输出到${train_output_path}/test。其完整参数usage: synthesize.py [-h] [--config CONFIG] [--ckpt CKPT] [--phones_dict PHONES_DICT] [--ngpu NGPU] [--test_metadata TEST_METADATA] [--output_dir OUTPUT_DIR] Synthesize with VITS optional arguments: -h, --help show this help message and exit --config CONFIG Config of VITS. --ckpt CKPT Checkpoint file of VITS. --phones_dict PHONES_DICT phone vocabulary file. --ngpu NGPU if ngpu 0, use cpu. --test_metadata TEST_METADATA test metadata. --output_dir OUTPUT_DIR output dir.实际脚本中固定使用--test_metadatadump/test/norm/metadata.jsonl与--output_dir${train_output_path}/testcheckpoint 取${train_output_path}/checkpoints/${ckpt_name}。7.2 从文本文件端到端合成synthesize_e2e.pyCUDA_VISIBLE_DEVICES${gpus} ./local/synthesize_e2e.sh ${conf_path} ${train_output_path} ${ckpt_name}./local/synthesize_e2e.sh调用${BIN_DIR}/synthesize_e2e.py直接从纯文本合成波形无需预先对齐。完整参数usage: synthesize_e2e.py [-h] [--config CONFIG] [--ckpt CKPT] [--phones_dict PHONES_DICT] [--lang LANG] [--inference_dir INFERENCE_DIR] [--ngpu NGPU] [--text TEXT] [--output_dir OUTPUT_DIR] Synthesize with VITS optional arguments: -h, --help show this help message and exit --config CONFIG Config of VITS. --ckpt CKPT Checkpoint file of VITS. --phones_dict PHONES_DICT phone vocabulary file. --lang LANG Choose model language. zh or en --inference_dir INFERENCE_DIR dir to save inference models --ngpu NGPU if ngpu 0, use cpu. --text TEXT text to synthesize, a utt_id sentence pair per line. --output_dir OUTPUT_DIR output dir.参数说明--config、--ckpt、--phones_dict对应 VITS 预训练模型中的 3 个文件--lang模型语言zh或en--test_metadata应为dump中test的 norm 子目录下的 metadata 文件--text待合成文本文件每行格式为utt_id sentence一句话一个 id 对--output_dir合成音频输出目录--ngpuGPU 数量为 0 时使用 CPU。实际脚本还会额外传入--amvits_csmsc与--add-blank${add_blank}见 synthesize_e2e.sh文本文件固定使用${BIN_DIR}/../../assets/sentences.txt。八、静态图推理与移动端部署8.1 静态图推理inference.py./local/inference.sh ${train_output_path} ${add_blank}inference.py将训练好的动态图模型导出为静态推理模型到${train_output_path}/inference并用--text指定的文本默认assets/sentences.txt在pd_infer_out目录生成合成音频。它对应的正是synthesize_e2e.py中可选参数--inference_dir的产物。8.2 Paddle-Lite 导出与预测run.sh 中 stage 7/8 分别调用export2lite.sh与lite_predict.sh./local/export2lite.sh ${train_output_path} inference pdlite vits_csmsc arm CUDA_VISIBLE_DEVICES${gpus} ./local/lite_predict.sh ${train_output_path}注意两点脚本注释明确说明必须使用 Paddle-Lite develop 版本编译后才能导出和运行 TTS 模型VITS 模型目前只能在 ARM 端arm运行。Paddle2ONNXstage 5与 onnxruntimestage 6因算子缺失尚未就绪相关代码在 run.sh 中被注释。九、使用官方预训练模型快速合成官方预训练模型下载链接vits_csmsc_ckpt_1.4.0.zipadd_blanktrue解压后包含 3 个文件vits_csmsc_ckpt_1.4.0 ├── default.yaml # 训练 vits 时使用的默认配置 ├── phone_id_map.txt # 训练 vits 时的音素词典 └── snapshot_iter_150000.pdz # 模型参数与优化器状态说明README 中指出该 checkpoint 效果并非最佳建议自行训练以获得更优结果。使用预训练模型对sentences.txt合成语音的命令source path.sh add_blanktrue FLAGS_allocator_strategynaive_best_fit \ FLAGS_fraction_of_gpu_memory_to_use0.01 \ python3 ${BIN_DIR}/synthesize_e2e.py \ --configvits_csmsc_ckpt_1.4.0/default.yaml \ --ckptvits_csmsc_ckpt_1.4.0/snapshot_iter_150000.pdz \ --phones_dictvits_csmsc_ckpt_1.4.0/phone_id_map.txt \ --output_direxp/default/test_e2e \ --text${BIN_DIR}/../../assets/sentences.txt \ --add-blank${add_blank}其中两个 FLAGS 环境变量用于限制显存占用naive_best_fit 内存分配策略 仅使用 1% 显存--add-blank必须与预训练模型的add_blanktrue保持一致。合成文本示例可参考 paddlespeech/t2s/assets/sentences.txt。十、从源码理解 VITS 的训练与推理流程在 vits.py 中VITS.forward第 221 行实现训练前向文本经文本编码器得到音素级表征后验编码器把线性谱编码为潜变量通过归一化流flow与随机时长预测器完成隐空间建模再由解码器上采样还原波形VITS.inference第 375 行则在给定文本与可选说话人 id 后直接生成波形对应VITSInference第 539 行的推理封装。训练脚本通过VITSEvaluator/VITSUpdater组织判别器与生成器的交替更新配合lambda_adv / lambda_mel / lambda_feat_match / lambda_dur / lambda_kl五个系数组合出最终损失。这一条件 VAE 对抗训练 随机时长预测的结构正是 VITS 相比两阶段 TTS 的关键差异它不再依赖外置声码器而是把文本到波形的映射端到端学出来。十一、常见问题与工程建议add_blank 一致性预处理、训练、合成、预训练模型推理各环节的--add-blank/add_blank必须保持一致CSMSC 官方预训练模型为true否则音素词典与模型输入不匹配资源需求本示例配置按 4×V100 32GB 设计完整训练约 2 周但 10 万步左右的 checkpoint 已能产生合理结果batch_size: 64、max_epoch: 1000等可按硬件调整monotonic_align 编译首次训练前会执行setup.py build_ext --inplace编译 Cython 扩展需保证编译工具链可用CPU 训练/推理所有脚本都支持--ngpu 0回退到 CPUtrain.py 中通过paddle.is_compiled_with_cuda()判断部署限制ONNX/Paddle2ONNX 链路因算子缺失尚未支持Lite 导出需要 develop 版 Paddle-Lite 且仅支持 ARM。至此你已完整掌握在 PaddleSpeech 中基于 CSMSC 训练、合成与部署 VITS 的整个工程链路可以据此迁移到其他中文语料或进一步研究 paddlespeech/t2s/models/vits 的模型实现细节。赞分享人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载相关推荐vitest-browser-react 全指南在 Vitest Browser Mode 中渲染与测试 React 组件vitest browser react 全指南在 Vitest Browser Mode 中渲染与测试 React 组件 vitest browser re人工智能语音音频Solana 集群基准测试实战从 Multinode 测试网搭建到 TPS 压测与调试Solana 集群基准测试实战从 Multinode 测试网搭建到 TPS 压测与调试 本文围绕 Solana 仓库中的集群基准测试文档 docs/src/人工智能语音音频PaddleSpeech CSMSC 中文语音合成全量配方指南从数据预处理、模型训练到声码器与端到端部署PaddleSpeech CSMSC 中文语音合成全量配方指南从数据预处理、模型训练到声码器与端到端部署 本文以 PaddleSpeech 仓库中 examp人工智能语音音频NLP媒体生成上一篇终极指南如何10分钟快速上手NNG消息传递框架下一篇AWS SDK for JavaScript v3 在 React Native 中的入门实战构建跨平台 S3 Bucket 管理应用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考