这次我们来看一个非常具体的方向AI 漫剧的完整生产链路。如果你经常刷短视频平台应该已经看到过一批 AI 漫剧账号。它们的形态很统一“动态漫画画面 角色配音 剧情文案”画面用 Stable Diffusion 系列模型生成二次元风格图像再经过视频生成、配音合成、剪辑包装输出成品。这套 99 集的 AI 漫剧教程主打零基础入门课程介绍中明确由清华团队带队制作内容覆盖剧本、分镜、视频、配音、剪辑、人物一致性六大模块是当前 B 站上体系化程度较高的 AI 漫剧教程之一。这篇文章不只是做课程导读而是把 AI 漫剧的完整生产链路拆开讲清楚。包括每个环节对应的核心技术、常用工具、硬件门槛、人物一致性的主流做法、批量生产时的文件组织方式以及最容易踩的坑。无论你是否跟进这套课程只要想自己做 AI 漫剧这套流程都通用。适合的读者很明确准备入局 AI 漫剧的创作者、短视频内容生产者、想用 ComfyUI 图生视频 TTS 搭建流水线的技术爱好者以及想了解“人物一致性到底怎么解决”的 AI 绘画玩家。1. 核心能力速览先说这套课程和 AI 漫剧这个生产方向的能力画像方便你快速判断要不要深入。能力项说明课程形态99 集零基础系统性教程B 站可学习内容模块剧本创作、分镜设计、静态画面生成、视频生成、配音、剪辑、人物一致性技术底座Stable Diffusion / ComfyUI 工作流、图生视频模型、TTS 语音合成、剪辑工程硬件门槛静态画面生成 6-8GB 显存起步视频生成和模型训练按实际模型要求评估是否支持 CPU部分环节可 CPU 运行TTS、简单图像修复模型推理建议 NVIDIA GPU是否支持一键启动正式课程内容以工具组合为主ComfyUI 等工具有一键包/手动启动两种方式是否提供 API课程不是软件产品但生产链中的工具普遍提供 HTTP API是否支持批量任务可以分镜批量出图、台词批量配音都是常见工业化做法适合人群零基础想入门 AI 漫剧的创作者、懂一点 AI 绘画想补齐全流程的技术用户从课程标题能看出两个关键点一是“零基础”二是“完整链路”。99 集的体量说明它不是单点工具教学而是把一条内容生产流水线从头串到尾。这对想入行 AI 漫剧的人来说价值比零散的单工具教程高不少。2. AI 漫剧全流程生产链路拆解AI 漫剧的本质是把传统动画制作流程中的“绘制 - 上色 - 动画 - 配音 - 合成”替换成 AI 生成。整个流程可以分成六个环节。2.1 剧本创作剧本是整条流水线的起点直接影响后续分镜和画面生成的效率。传统漫剧编剧需要写人物小传、剧情大纲、分场分段、台词。AI 漫剧的剧本创作有两个特殊要求场景描述要具体。AI 图像生成需要画面描述剧本里必须包含人物位置、环境、氛围、光线、镜头景别等信息。台词要和角色绑定。配音环节需要按角色拆分台词剧本阶段就标注好每个台词所属角色后面批量处理会省大量时间。推荐的工作方式用大语言模型如 ChatGPT、Claude、DeepSeek、Kimi先产出剧情大纲再人工细化人物设定让模型按“一集 3-5 分钟、每集多个分镜”的格式生成场景文本。模型输出后必须人工过一遍重点检查逻辑连贯性和台词风格统一性。2.2 分镜设计分镜是把文字剧本变成“镜头语言”的环节。课程中这部分的内容通常包括景别远景、中景、近景、特写、运镜方式推、拉、摇、移、角色动作、画面构图。AI 漫剧的分镜不需要画得多专业但需要产出两类内容分镜描述表每条记录包含镜头编号、景别、画面内容、角色动作、台词、时长。参考图提示词把分镜描述转写成图像生成模型能理解的 prompt。一个标准的分镜条目可以这样组织镜头 12 | 中景 | 女主角站在窗边侧逆光看向窗外表情失落 角色动作右手握着窗帘 台词「我们还会再见吗」 建议时长3 秒这段文字后续会被拆成两路一路进图像生成一路进配音队列。所以分镜表的结构化程度越高后面批量处理越顺。2.3 角色设计与静态画面生成这是 AI 漫剧里最核心、也最容易出问题的环节。先要确定角色设定每个主要角色要有统一的人设描述包括发型、发色、眼睛颜色、服装、配饰、体型。最稳妥的做法是生成一套角色参考图包含正面、侧面、半身、全身、不同表情。这些参考图是全流程人物一致性的基础。静态画面生成常用工具是 Stable Diffusion WebUI 或 ComfyUI。图片生成时要注意的点分辨率建议按发布平台规格设置竖屏短视频用 832x1216 或 896x1152 这类接近 9:16 的比例。采样步数、CFG、采样器参数会影响风格稳定性和生成速度。每张关键帧图至少生成 4-8 张候选图挑选动作、表情最符合分镜的一张。2.4 视频生成静态画面生成之后要把它变成“能动”的视频片段。当前主流路线是图生视频把一张关键帧作为首帧输入让模型根据提示词或运动描述生成 3-10 秒的片段。AI 漫剧和完全写实的 AI 视频不同它需要保持二次元画风稳定。这里有几个经验性原则运动幅度宁小勿大。动作幅度越大角色面部和肢体越容易变形。单镜头时长不宜过长。建议单次生成 3-5 秒后期剪辑拼接。首帧质量决定视频质量。图生视频模型对首帧的依赖非常高首帧人物崩了视频大概率也崩。人物特写镜头要多生成几个版本因为特写下表情和口型最容易出现违和感。如果本地显存有限也可以先用云端视频生成服务或排队任务把重计算放到远端。2.5 配音配音环节的技术栈是 TTS。AI 漫剧的配音可以走两条路线标准 TTS 音色直接使用现成 TTS 服务或模型适合旁白、路人角色。角色音色定制用目标音色的参考音频让模型学习声音特征再按台词合成。开源工具中常见的是 GPT-SoVITS、Fish-Speech 一类方案。配音要特别注意情绪和语速。分镜表里的台词建议带上情绪标记例如“失落地说”“兴奋地喊”TTS 模型对带情绪描述文本的处理效果更好。另外要按角色分开生成音频文件方便后期混音和调整音量。2.6 剪辑合成最后一个环节是把视频片段、配音、音效、字幕合成完整成片。常用工具是剪映CapCut和 Adobe Premiere Pro。课程里会涉及的基础操作包括多轨道时间线、对口型时间对齐、转场、字幕压制、音效叠加、音量标准化。AI 漫剧剪辑有一个特殊点视频片段往往是分段生成的每段之间的色调、角色位置可能略有差异。剪辑时常见思路是用转场动画掩盖切点或者提前在生成参数中固定种子和模型来减少差异。3. 适用场景与使用边界AI 漫剧这套生产流程适合谁适合准备做短视频号、连载漫画号、小说推广号的创作者。它最大的价值是把传统动画的高成本压缩到一个人或一个小团队可以完成的程度。它能解决的问题想把小说、网文改造成可视化内容但请不起动画团队。想保持固定角色人设做连续剧集但不想每一集重新画人物。想快速验证一个故事方向的市场反馈再做长线投入。它不适合什么场景对画面质量要求达到院线动画电影级别的项目AI 生成还需要大量人工精修。需要复杂肢体交互、高速打斗、镜头大幅度运动的动作戏。当前 AI 视频模型在这些场景下容易崩坏。完全不愿意做后期筛选和人工干预的“全自动”内容生产。AI 漫剧目前的正确姿势是“AI 批量生成 人工精选”。使用边界必须明确训练角色 LoRA 使用的角色图、参考图必须是你自己创作的或者已获得授权的素材不能拿他人作品直接训练。配音音色克隆只建议用于自己的声音或者获得明确授权的配音演员声音。未经授权克隆他人声音涉及肖像权和声音权益风险。剧本改编自小说、漫画、影视作品时需要确认版权改编授权。发布平台对 AI 生成内容的标注要求不同商用前应查看平台规则。4. 零基础入门的工具链与环境准备这套课程覆盖从零到一的全部环节工具链大体可以分成四条线。生产环节代表性工具/方案运行环境要求剧本/分镜大语言模型ChatGPT、Claude、DeepSeek、Kimi网页端即可无需显卡静态画面Stable Diffusion WebUI、ComfyUINVIDIA GPU 6GB 显存可从 SD1.5 起步视频生成图生视频模型、AnimateDiff 类工作流、云端视频服务本地需求差异大云端更稳定配音GPT-SoVITS、Fish-Speech、云端 TTS 服务本地 TTS 可 CPU 运行GPU 加速剪辑剪映、Premiere Pro普通办公电脑即可如果你是零基础第一台机器的推荐思路是先用云端或现有设备跑通最小流程确认自己真的要做再考虑升级显卡。安装 ComfyUI 的通用步骤如下实际命令以你下载的版本为准# 克隆或解压 ComfyUI 后进入目录安装依赖 cd ComfyUI # 使用虚拟环境隔离 Python 依赖 python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate # 安装 PyTorch 时注意对应 CUDA 版本 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 安装其余依赖 pip install -r requirements.txt # 启动服务 python main.py --listen 127.0.0.1 --port 8188启动后浏览器访问http://127.0.0.1:8188就是 ComfyUI 的 Web 工作流界面。如果你用的是打包整合包通常直接双击启动脚本即可不需要手动装依赖。这里提醒一个常见问题ComfyUI 的模型文件需要放到指定目录。一般结构是models/checkpoints/放主模型models/loras/放 LoRAmodels/controlnet/放 ControlNet 模型。文件名不匹配或目录不对工作流加载时会直接报错。5. 人物一致性保持的几种技术路线人物一致性是 AI 漫剧里最核心的技术难点。课程把这一块单独列为模块也是因为它的实际影响最大。同一角色上一集是一个长相下一集变成另一个人是 AI 漫剧最常见的翻车场景。目前业内常用的方案有四种可以组合使用。5.1 角色 LoRA 训练LoRA 是目前保持角色一致性的主流方案。先用 20-50 张同一角色的图像训练一个 LoRA 文件之后生成该角色时挂载这个 LoRA。推荐的做法是准备“角色三视图 表情差分 服装差分”的图集训练时固定一个底模风格LoRA 的权重一般设在 0.6-0.9 之间。权重太低角色特征不明显太高画面容易过拟合、风格发闷。训练 LoRA 需要一定的显卡显存。具体要求取决于底模和训练参数量一般建议 8GB 以上显存云端租卡也是常见方案。5.2 IP-Adapter 参考图控制如果不想训练 LoRAIP-Adapter 是更轻量的方案。把角色参考图喂给 IP-Adapter生成时模型会参考这张图的面部特征和服装风格。它的优点是即时生效不需要训练缺点是参考强度不好控制参考太强会直接复制构图参考太弱又不够像。做 AI 漫剧时通常结合使用IP-Adapter 控制“像谁”prompt 控制“在做什么”。5.3 ControlNet 姿态控制ControlNet 负责控制“动作”。用姿态骨架图约束角色的站立、行走、手势避免分镜里要求的动作走形。在 ComfyUI 中ControlNet 是一个独立节点组输入是姿态参考图输出是姿态控制后的生成结果。对于 AI 漫剧最常用的是 OpenPose 姿态控制尤其是在角色站立对白、走动等常见镜头中效果稳定。5.4 面部修复与局部重绘生成过程中面部崩坏是高频问题。常见补救手段是 afterdetailer 类面部修复插件或者用图生图 局部重绘只重绘脸部区域。流程是先按整体构图生成一张图再锁定脸部区域做高分辨率重绘。这样既保住了整体画面又能把五官细节拉回正常水平。5.5 种子与提示词规范一个容易被忽视的细节是固定随机种子能显著提升同批次画面的风格一致性。在同一集内设定相同的种子基础值画面色调会更统一。同时角色提示词要写成固定模板不能凭感觉换描述。比如“女主角”在每一条 prompt 里都需要完整的固定描述“银白色长发、蓝色瞳孔、白色连衣裙、蓝色发带”不能这次写“银发女孩”、下次写“白裙女生”。技术路线对比方案一致性强度使用成本适用场景角色 LoRA强需要训练主角、大篇幅角色IP-Adapter中即插即用配角、临时角色、快速验证ControlNet 姿态中需要姿态图肢体动作要求高的镜头面部重绘弱-中需二次处理面部崩坏补救固定 Prompt Seed弱几乎为零风格底色统一实际项目里主角用 LoRA IP-Adapter 双重夹逼配角只用 IP-Adapter表情特写加面部重绘。这是一套比较成熟的分级策略。6. 从分镜到视频的工作流落地静态图生成只是开始AI 漫剧要“动起来”还需要把分镜批量转成视频这一步的工作流设计直接决定生产效率。一个通用模板是把分镜表转成 JSON 文件逐条驱动生成{ episode: 3, scene_list: [ { id: E3S1, character: 女主, shot: 中景, prompt: 女主角站在窗边侧逆光银白色长发蓝色瞳孔表情失落, video_prompt: 角色缓慢转头看向窗外窗帘轻轻飘动, audio: 我们还会再见吗, duration: 3 }, { id: E3S2, character: 男主, shot: 近景, prompt: 男主角推门进入黑色短发红色外套表情担忧, video_prompt: 角色向前走两步停下镜头轻微推近, audio: 听说你要走我来送你。, duration: 4 } ] }批量生成图像时用 Python 脚本逐条读取分镜 JSON调用 ComfyUI API 提交任务import json import requests # 假设 ComfyUI API 地址实际以本地服务为准 API_URL http://127.0.0.1:8188/prompt def submit_comfyui_workflow(workflow: dict): payload {prompt: workflow} response requests.post(API_URL, jsonpayload, timeout30) return response.json() storyboard json.load(open(02_storyboard/storyboard_ep03.json, encodingutf-8)) for scene in storyboard[scene_list]: workflow { workflow_name: anime_scene_generate, scene_id: scene[id], prompt: scene[prompt], width: 832, height: 1216 } result submit_comfyui_workflow(workflow) print(f已提交 {scene[id]}任务ID: {result.get(prompt_id)})注意一点ComfyUI API 的请求格式是标准 JSON但不同工作流模板的 node id 和字段名不同。实际接入时先手动加载工作流再用“导出 API 格式”功能拿到可调用的 JSON 结构再写脚本。视频生成阶段同样可以批量提交但建议控制并发数。本地显存一次跑太多任务会出现 OOM云端服务要注意并发配额。7. 配音与批量合成方案配音环节的核心是“按角色拆台词、批量合成、混音对齐”。分镜表里每一条台词都需要带上角色和情绪标签。代码示意如下import json def synthesize_tts(text: str, role: str, emotion: str, output_path: str): # 调用本地 TTS 服务或云端 TTS API # 不同角色会加载不同的音色配置 print(f[TTS] role{role} emotion{emotion} text{text[:30]} - {output_path}) lines [ {id: E3S1, role: 女主, emotion: 失落, text: 我们还会再见吗}, {id: E3S2, role: 男主, emotion: 担忧, text: 听说你要走我来送你。}, ] for item in lines: out f./06_audio/{item[id]}_{item[role]}.mp3 synthesize_tts(item[text], item[role], item[emotion], out)批量配音有哪些实际经验每条台词单独生成一个音频文件文件名编号要与分镜 ID 对应方便剪辑阶段对号入座。旁白单独一个音色与角色音色区分开避免听觉疲劳。本地 TTS 模型如果支持情绪控制优先用带情绪标记的文本如果不支持就人工听一遍把完全不符合情绪的段落重新合成。长台词要分段生成避免 TTS 模型在长文本上出现语速失衡或吞字。配音和画面的对齐是 AI 漫剧最花时间的环节之一。因为 AI 视频生成时不会自带准确的语音同步剪辑阶段需要手动调整音频起点、时长让台词和角色口型、动作对上。剪映的时间线里做粗对齐再用音频波形做细调是目前成本比较低的做法。8. 批量任务与生产流水线组织AI 漫剧要长期更新效率取决于生产流水线的组织方式。这里给出一个可以落地的项目目录结构ai-comic-drama/ ├── 01_script/ # 剧本和台词 │ ├── outline_ep03.md │ └── dialogues_ep03.json ├── 02_storyboard/ # 分镜表与参考图 │ └── storyboard_ep03.json ├── 03_characters/ # 角色设定参考图 │ └── female_lead/ │ ├── front.png │ ├── side.png │ └── lora.safetensors ├── 04_images/ # AI 生成的静态画面 │ └── ep03/ ├── 05_video/ # 生成视频片段 │ └── ep03/ ├── 06_audio/ # 配音音频 │ └── ep03/ └── 07_edit/ # 剪辑工程文件和成品 └── ep03_v1.mp4这个结构的核心逻辑是输入素材归类、过程产物按集数分目录、成品独立存放。批量生产的建议每次生成都用 JSON 记录参数包括模型、采样器、步数、CFG、种子、prompt。参数记录是做版本回溯的基础。批量任务一定要写日志。每个任务的提交时间、完成状态、失败原因记录到文本或数据库否则几十张图生成完根本不知道哪个失败。失败重试要有策略。显存不足导致的失败等当前任务结束后再重试模型文件缺失导致的失败直接重试没有意义先修环境。一集内容建议分场景批次生成而不是一次性推全部任务。场景维度粒度一致便于对照分镜表检查。9. 资源占用与性能观察资源占用是 AI 漫剧生产中最实际的约束。不同环节的负载差异很大。静态图像生成环节显存占用主要取决于模型类型和分辨率。SD1.5 系列比 SDXL 系列更轻量。如果你只有 6-8GB 显存从 SD1.5 开始试跑如果 12GB 以上算力余量会宽裕很多。视频生成和 LoRA 训练对显存的需求更高具体数字需要按你实际使用的模型版本和推理参数来测。观察占用的方法NVIDIA 显卡用nvidia-smi命令查看显存使用情况。Windows 可以用任务管理器“性能”标签页查看 GPU 专用内存。连续提交多个任务时注意显存是否持续高位运行。如果 OOM降低批大小或分辨率。nvidia-smi # 观察 GPU Memory Usage 和温度判断是否接近显存上限突发任务排队时建议给每个任务增加显存监控。一个简单的办法是在脚本中定期调用nvidia-smi --query-gpumemory.used --formatcsv把输出写入日志。端口冲突也是常见问题。ComfyUI 默认 8188 端口、WebUI 默认 7860 端口如果本机多个服务同时运行建议显式指定端口python main.py --port 8189进程残留会导致端口占用重启服务前先清理残留进程# Windows PowerShell 查看占用端口的进程 netstat -ano | findstr 818810. 常见问题与排查方法问题现象可能原因排查方式解决方案同一角色每张图长得都不一样未使用 LoRA/IP-Adapter提示词不稳定检查角色固定描述是否一致训练角色 LoRA固定角色 prompt 模板角色动作扭曲、手脚崩坏ControlNet 姿态控制缺失或权重过低查看是否有姿态图检查 ControlNet 节点报错补姿态图调整 ControlNet 权重视频中角色面部变形运动幅度过大、单镜头时长过长缩短镜头降低运动幅度分 3-5 秒片段生成特写镜头多抽卡启动后页面打不开端口被占用或服务未启动查看启动日志检测端口换端口或重启服务显存 OOM 崩溃分辨率过高、批过大、视频模型过重nvidia-smi 查看显存占用降低分辨率/批大小换更轻模型LoRA 加载报错模型文件缺失或文件名不匹配检查 models/loras 目录按工作流实际路径放置文件TTS 合成声音不像参考音频过短或音质差换 5-10 秒干净人声样本准备高质量参考音频找安静环境录制台词和口型对不上剪辑阶段未对齐音频检查时间线音视频轨道手动调整音频起点用波形微调批量任务中途失败无日志、并发过高、网络超时查看任务日志和调用记录降低并发增加超时时间和失败重试这十个问题覆盖了从环境到生成再到后期的完整链路。项目中遇到新问题时优先按“日志 - 参数 - 模型文件 - 依赖环境”的顺序排查不要盲目重装重跑。11. 最佳实践与使用建议把 AI 漫剧做成可持续更新的内容有几条工程化建议值得从一开始就贯彻。第一次跑通最小流程不要追求完美。先用 3 个镜头、一共 20 秒的视频把整个链路走一遍确认剧本、出图、视频、配音、剪辑每个环节能串起来。很多新人一上来就做长剧本结果卡在人物一致性上几天没有产出。保留一套“最小可运行配置”。把验证过的模型组合、参数、工作流保存好。这套配置是你日后的“保底方案”新实验失败时返回这套配置重新起跑。文件命名要前后关联。分镜 ID、图片文件名、视频文件名、音频文件名统一使用同一套规则例如E3S1_女主_中景.png。剪辑阶段一看到文件名就知道内容是第几集第几镜查找和替换都会方便很多。批量任务必须有日志。每次生成记录参数、状态、输出路径。AI 生成有随机性如果一条 prompt 这次效果好、下次效果差日志能帮你定位是参数变了还是随机种子变了。接口服务要限制访问范围。本地部署 ComfyUI 或 TTS 服务时--listen只绑定 127.0.0.1不要默认开放到局域网或公网。如果确实需要远程调用放在受控网络环境内并做好鉴权。合规红线不要碰。训练或克隆角色、声音时确保人物形象、声音、剧本素材的授权链条清晰。发布前确认平台对 AI 内容的标注要求。对存疑的素材宁可不商用。12. 总结与下一步AI 漫剧的核心不是某一个工具而是把剧本、分镜、角色一致性、图生视频、配音、剪辑串成一条高效流水线。这套 99 集课程的价值在于把六个环节拆开逐个讲、再合起来带你做完整案例适合从零开始系统入局的人。如果你现在准备动手最先验证的不是剧本创作而是人物一致性它决定你的剧集能不能连续更新。先用一个角色生成 5 组不同场景的图对比面部和服装是否稳定再跑通视频生成和剪辑这是成本最低的验证路径。最容易踩的坑是“贪多”想一次把动作、表情、口型、多角色全做对。实际情况是每加一个要求生成难度就上一个台阶。建议从静态对白场景开始做先保证“人物像、画面稳、声音准”再逐步加入动作戏和复杂运镜。后续可以扩展的方向把分镜 JSON 和生成脚本沉淀成自己的自动化模板加入失败重试和参数版本管理训练多套角色 LoRA形成自己的角色库对接 TTS 接口做统一的音色管理。当单集生产时间稳定压下来之后AI 漫剧就会从“能生成”变成“能量产”。这套课程带你入门真正跑通后你会发现剩下的就是不断优化自己的流水线。