做 AI 短剧最让人头疼的不是画面不够精致而是角色前后不一致。第一镜里还是长发白衣的女主第三镜就变成了短发黑裙观众一眼就能看出是“拼接货”。这次分享的“豆包 即梦5.0 LibTV”组合核心就是解决多主体一致性问题把剧本、分镜、配音、剪辑串成一条可批量出片的链路。先说结论这套流程适合两类人一类是准备做 AI 短剧、漫剧、小说推文的创作者另一类是已经会单独用某个 AI 工具、但还没有形成标准化生产流程的团队。即梦5.0 负责视频画面生成豆包负责剧本和分镜文本的结构化输出LibTV 承担素材管理和成片辅助。三者合在一起才是一条完整的生产管线而不是单点工具。本文会直接走一遍从剧本到成片的完整流程包括账号和目录准备、豆包分镜脚本怎么写、即梦5.0 多主体一致性怎么调、配音怎么固定音色、片段怎么批量拼接和管理。文章后面还会给出一套项目目录结构、一份素材完整性检查脚本和一份常见问题排查表可以直接复制到自己的项目里用。1. 核心能力速览先把这套组合的能力边界讲清楚方便你做判断。能力项说明项目类型AI 短剧 / 漫剧 / 小说推文全流程生产链路核心工具豆包剧本、分镜文本、即梦5.0视频画面生成、LibTV素材管理与成片辅助主要解决痛点多主体一致性、角色漂移、画面与台词对不上、批量出片难支持主体数量多主体需要按“主体参考图 人物设定卡 分镜描述”组合控制画幅设置竖版 9:16短剧常用、横版 16:9漫剧解说常用需在生成入口手动指定硬件门槛画面生成在云端算力完成本地不需要专业显卡配音和剪辑环节普通办公电脑可运行启动方式网页端 / 客户端登录浏览器访问无需安装本地模型接口能力以网页端手动操作为主批量接口需求需查询对应开放平台的官方 API 文档批量任务手动流程支持批量生成工程化推荐用目录模板 脚本检查素材完整性适合场景AI 短剧、漫剧、小说推文、短视频连载、多角色剧情视频不适合场景对物理规律要求极高的写实特效大片、依赖真实演员表演的影视项目需要说明的是即梦5.0 的具体模型参数、生成分辨率上限、单次视频时长请以登录后的实际界面显示为准。不同账号、不同版本的权益可能会有差异本文不写死具体数字只讲方法。2. 适用场景与使用边界2.1 适合谁用个人创作者用豆包出剧本、用即梦5.0 出画面、用 LibTV 整理素材一天可以跑完一条 1 到 3 分钟的短剧样片。短视频矩阵团队需要维护多账号、多题材内容核心价值在于“人设卡 分镜描述”模板化换剧情不换角色。小说推文作者把小说章节改写成视频脚本用统一角色批量生成分镜效率比单独文生图再接图生视频高很多。漫剧作者多角色对话频繁对主体一致性的要求比单人物解说更高需要严格维护每个角色的参考图。2.2 不适合什么追求电影级画质和复杂特效的项目AI 视频生成工具仍然不够稳定。需要真实演员连续表演的内容AI 生成无法完全替代真人拍摄。没有版权授权的真实人物肖像、真人声音克隆这个边界必须卡死。2.3 合规使用提醒AI 短剧制作涉及三条红线第一如果剧本改编自已有小说、漫画、影视作品需要确认是否拥有改编授权。不要直接拿网上搬运的小说正文去批量生成视频。第二如果画面中出现真实人物形象或者配音使用真人声音克隆必须获得本人授权。商业发布前尤其要检查这一点。第三不同 AI 平台对生成内容的商用权限规定不同。发布前要查看即梦、豆包等平台的用户协议确认生成内容的权利归属和使用范围。3. AI短剧全流程总览先用文字把流程串起来后面每一段都会展开讲。阶段输入输出工具1. 剧本设计题材、角色设定、剧情梗概分场剧本豆包2. 分镜脚本分场剧本带景别、画面描述、台词的分镜表豆包结构化输出3. 角色参考角色人设卡每个主体的参考图即梦5.0 图像生成4. 画面生成分镜表 参考图分镜视频片段即梦5.0 视频生成5. 配音素材台词文本旁白、角色配音音频豆包语音 / TTS 工具6. 剪辑成片视频片段 音频 字幕成片LibTV / 剪映 / FFmpeg7. 批量管理多集素材多集成片目录 脚本整个链路里最需要花时间调试的是第 2 到第 4 步。因为分镜文本的质量直接决定画面生成能否对齐而参考图的质量直接决定多主体一致性。4. 环境准备与工具配置这套流程不走本地模型部署主要准备工作是账号、目录和稳定的网络。4.1 账号准备豆包用于生成剧本和分镜建议在网页端登录方便复制长文本。即梦用于生成角色参考图和分镜视频网页端或客户端均可。LibTV在本地安装用于素材管理和成片辅助具体界面以工具说明为准。如果你的目标是把流程从“手动一条”升级为“批量一百条”还要提前申请对应平台的开放平台接口权限。但这一步不是必须的普通创作者先把网页端流程跑通更重要。4.2 项目目录结构批量出片最容易出问题的地方不是生成而是素材文件乱。建议每个项目都建一套固定目录project_name/ ├── 01_script/ # 剧本、分镜表 ├── 02_reference/ # 角色参考图 ├── 03_shots/ # 分镜视频片段 ├── 04_audio/ # 配音、BGM ├── 05_subtitle/ # 字幕文件 ├── 06_output/ # 成片 └── config.json # 人设卡和生成参数记录这套目录结构看起来简单但实际批量做项目时非常关键。没有目录你就会在“这个片段在哪”“这个音频是哪一集的”之间反复消耗时间。4.3 画幅和参数约定在开始生成之前先定好统一参数短剧默认竖版 9:16分辨率设置以即梦5.0 实际可选项为准。漫剧解说默认横版 16:9。所有分镜片段保持同一画幅这样最后拼接时不至于出现黑边或拉伸。配音采样率保持统一常见为 44100Hz 或 48000Hz具体以 TTS 工具默认参数为准。5. 豆包剧本生成与分镜设计5.1 用豆包生成结构化剧本豆包在链路上承担的不只是“写一段剧情”而是输出可以直接给即梦5.0 用的分镜脚本。所以提问方式必须结构化。举个例子假设你要做一部古风悬疑 AI 短剧主角是考古学博士林晚和她的 AI 助手老墨那么豆包的提示词可以这样写我要做一部3分钟的AI短剧题材是古风悬疑。 角色设定 1. 林晚女28岁考古学博士白色风衣银色怀表发色黑色中长发。 2. 老墨AI助手黑色金属外壳圆形蓝色眼睛悬浮飞行无固定性别。 请帮我输出完整分镜脚本要求 - 包含场次编号、视频时长、景别、画面描述、角色状态、台词、音效提示。 - 画面描述必须写明主体在画面中的位置、动作、表情、环境要素。 - 台词部分区分旁白和角色对话。 - 返回 JSON 格式方便我后续导入项目。关键点在于豆包不是越自由发挥越好而是要把“角色特征”和“画面要素”限定住。分镜脚本里每一条画面描述都应该包含“谁 在哪 做什么 情绪状态 镜头怎么拍”这样后面即梦5.0 才能稳定复现。5.2 分镜脚本的 JSON 示例豆包输出后可以整理成类似这样的结构{ project: 古画迷踪, aspect_ratio: 9:16, episode: 1, characters: [ { id: linwan, name: 林晚, desc: 女28岁考古学博士黑色中长发白色风衣银色怀表 }, { id: laomo, name: 老墨, desc: AI助手黑色金属外壳圆形蓝色眼睛悬浮飞行 } ], shots: [ { shot_id: shot_001, time: 0:00-0:05, camera: 中景缓慢推进, scene: 深夜书房桌面散落古籍, action: 林晚坐在书桌前翻阅古籍眉头紧锁老墨悬浮在右侧发出蓝光, dialogue: 旁白这座古城的秘密藏在一幅没有落款的画里。, sound: 纸页翻动声低沉弦乐 }, { shot_id: shot_002, time: 0:05-0:10, camera: 近景固定镜头, scene: 书桌特写一卷古画缓缓展开, action: 林晚手指指向画中城门老墨的蓝光扫过画面, dialogue: 林晚画里的城门就是现实中的西城门。, sound: 画轴摩擦声 } ] }这段 JSON 不要求多么庞大但它起到了两个作用一是给豆包返回内容一个落地的格式二是后续写素材检查脚本时可以按这个结构批量核对分镜数量。5.3 分镜迭代技巧第一次生成的剧本往往太笼统比如“林晚走进房间”。这样的描述生成视频时模型不知道房间里有什么、林晚穿什么、镜头怎么动。要把它改成中景林晚从房门进入白色风衣衣摆晃动老墨悬浮在她右肩后方蓝色眼睛扫过昏暗的陈列架书架上的陶罐微微反光。在实践中画面描述越具体多主体一致性越好。核心原因是即梦5.0 需要通过文字描述来锁定主体的服装、位置和动态关系。描述里出现“另一个角色的衣服颜色”这类冲突词画面就会开始漂移。6. 即梦5.0 多主体一致性操作要点6.1 多主体一致性的核心原理多主体一致性不是靠“运气”。即梦5.0 的做法是通过参考图锁定主体特征再用文字描述控制画面行为。你要做的就是把每个角色在正式生成视频前先“定妆”。具体步骤先为每个主体生成高清参考图。林晚要生成正脸、半身、全身多个角度的版本老墨同样如此。参考图通过即梦5.0 的上传入口导入建议单独命名例如ref_linwan_front.png、ref_laomo_full.png。在生成视频时将对应参考主体绑定到画面描述里。操作时选择角色参考类型再输入该镜头的画面描述。画幅固定为 9:16避免后期拼接比例不一致。需要注意参考图需要足够清晰。如果参考图本身糊了、五官不明确那么生成的每一帧都会在此基础上继续漂移。6.2 单个分镜的生成描述模板生成每个镜头时提示词可以按下面的模板写参考角色林晚、老墨 镜头描述深夜书房林晚站在窗边右手持银色怀表老墨悬浮在窗口蓝色眼睛照亮窗外雨幕。中景镜头缓慢推进气氛悬疑。这个描述同时包含主体动作、主体互动、环境、镜头运动和氛围。每一条都要尽量控制变量不要在同一段描述里让角色换衣服也不要突然出现新的无关道具。6.3 在多分镜中保持主体稳定同一集里的多个分镜角色必须保持同一套“人设包”林晚永远是黑色中长发、白色风衣、银色怀表。老墨永远是黑色金属外壳、圆形蓝色眼睛、悬浮运动。标志性道具要反复出现比如怀表、蓝色光效这能帮助模型把角色绑定得更紧。每次生成完一个镜头都要停下来看一下结果。如果主角的脸变了立刻回到参考图和描述两个环节排查参考图是否被误替换描述中是否混入了其他角色的特征词。这里的核心经验是单个镜头好看没用序列镜头稳定才是短剧可用的标准。6.4 生成策略先关键帧后补镜如果分镜数量较多不要一次性生成所有片段。优先生成三个关键帧开场第一个镜头、中段转折镜头、结尾镜头。确认这三个镜头的主体状态一致后再批量生成中间过渡镜头。这样可以减少后期返工。毕竟生成失败可以重来但如果全部生成完才发现角色差异重做成本就太大了。7. 配音与剪辑衔接7.1 配音怎么固定音色短剧配音最怕两个问题旁白和角色同一个声音或者同一角色在不同集里声音不一致。解决方案就是固定音色。操作流程先用台词文本生成一版旁白选择你满意的音色。再用同一音色生成角色林晚的配音注意在文本中标注情绪。老墨如果设定为机械音可以使用 TTS 工具的音色调整或特效处理。保存一份“音色参数记录”包含音色名称、语速、音调、情绪标记方便多集连续生成时保持稳定。配音文本也要做标识【旁白】这座古城的秘密藏在一幅没有落款的画里。 【林晚】画里的城门就是现实中的西城门。 【老墨】检测到异常能量波动。这种带角色标签的文本无论是手工配音还是调用 TTS 接口都能快速定位每一段对应谁。7.2 用 LibTV 做素材对轨LibTV 在这个链路里主要承担素材管理和成片辅助。把即梦5.0 生成的分镜片段按顺序导入再把对应的配音音频和字幕逐条对齐。对轨的通用原则是一个分镜片段对应一段或几段台词画面和声音的起止时间尽量对齐。如果某句台词太长画面只有 3 秒就要考虑拆分台词或延长画面而不是硬塞。7.3 用 FFmpeg 批量拼接片段如果分镜数量很多单纯在剪辑软件里手动拖拽效率不高。这里给一个 FFmpeg 拼接思路。先准备一个clips.txt文件列出所有需要拼接的视频片段file 03_shots/shot_001.mp4 file 03_shots/shot_002.mp4 file 03_shots/shot_003.mp4然后执行ffmpeg -f concat -safe 0 -i clips.txt -c copy episode_01.mp4注意-c copy模式要求所有片段的分辨率、帧率、编码格式一致。如果片段来自不同生成批次格式不一致就需要先统一转码。这个方法适合草稿拼接正式成片建议还是在剪辑工具里加转场、字幕和音效。7.4 字幕处理短剧通常建议保留字幕。字幕文本可以直接从分镜脚本的台词字段生成。如果是手动流程把台词复制进剪辑工具的字幕轨道即可。如果要批量处理 SRT 字幕可以用脚本生成时间轴再人工微调。8. 批量生产与项目管理8.1 从单集到批量单集跑通后批量生产的关键不是“更快地生成”而是“减少重复决策”。具体做法是把一套标准固定下来把角色人设卡、分镜 JSON 模板、音色参数、画幅设置保存在项目的config.json中。每一集只替换剧本内容不替换角色设置和画面风格。每集生成结束后用脚本检查素材文件是否齐全避免剪辑到一半才发现缺镜头。8.2 素材完整性检查脚本当分镜数量超过 20 个时人工逐个检查容易漏。可以用 Python 写一个简单的检查脚本核对每集的分镜视频、音频和字幕是否齐全。import os import json project_root ./project_name plan_file os.path.join(project_root, config.json) with open(plan_file, r, encodingutf-8) as f: plan json.load(f) missing [] shots_dir os.path.join(project_root, 03_shots) audio_dir os.path.join(project_root, 04_audio) for shot in plan[shots]: shot_id shot[shot_id] video_path os.path.join(shots_dir, f{shot_id}.mp4) audio_path os.path.join(audio_dir, f{shot_id}.mp3) if not os.path.exists(video_path): missing.append(f缺少视频: {shot_id}) if not os.path.exists(audio_path): missing.append(f缺少音频: {shot_id}) if missing: print(素材缺失:) for item in missing: print(item) else: print(素材完整可以进入剪辑阶段。)这个脚本的逻辑很简单但能避免最基础的错误。把它放在06_output目录旁边每次批量生成结束后跑一遍。8.3 批量任务的执行顺序建议按下面的顺序执行批量任务批量生成分镜脚本统一格式。批量生成关键帧检查主体一致性。确认无误后批量生成全部分镜视频。批量生成配音音频。运行素材完整性检查脚本。人工抽查 3 到 5 个分镜的音画同步情况。拼接成片统一导出。每步之间用一个目录隔离素材。不要在生成全部视频前就急着配音也不要在素材没检查完就开始剪辑。9. 常见问题与排查方法问题现象可能原因排查方式解决方案角色换一个镜头就换脸参考图不清晰或描述中混入了其他角色特征对比分镜描述和参考图重新生成高清正脸参考图锁定标志性服装和道具两个主体同时在画面中时互相干扰参考主体未正确绑定或画面描述没有明确主体位置检查主体参考绑定状态描述中写明“林晚在前景老墨在右后方”降低道具干扰生成画面比例不对没有设置统一画幅查看生成参数统一设置为 9:16所有分镜保持相同比例分镜片段拼接后出现黑边各片段分辨率或帧率不一致用 ffprobe 检查素材参数先统一转码再拼接配音人物声音不一致没有记录音色参数查看 TTS 历史生成记录建立音色参数文件多集复用同一音色字幕和台词对不上台词文本和配音时间轴未对齐检查分镜脚本中的台词顺序按分镜脚本逐条核对配音和字幕时间码豆包生成的分镜描述太空泛提示词缺少角色设定和画面要素检查提示词是否包含人设卡使用结构化分镜模板强制输出景别、动作、环境批量生成后缺少素材文件命名不统一或生成中断运行素材完整性检查脚本建立固定目录和命名规则生成后立即检查10. 最佳实践与合规建议落到工程层面有几条建议可以帮你少走弯路。第一先小规模验证再大规模生成。第一次做项目先只做 5 到 8 个分镜跑完整条链路记录每步时间和容易出问题的地方。别一上来就批量生成 100 个分镜。第二把生成参数记录下来。即梦5.0 的生成参数、提示词、参考图编号每次生成后都记录到config.json或一个表格里。这些记录是多集连续生产中保持画面稳定的基础。第三素材命名要有规则。分镜视频、音频、字幕建议统一采用shot_001.mp4、shot_001.mp3、shot_001.srt这种命名规则。不要用“最终版”“新建副本”这类命名方式。第四批量任务一定要有日志。手动流程可以用 Excel 或 Markdown 表格记录状态待生成、生成中、已完成、校验失败。社区化团队可以用飞书表格或 Notion 维护任务状态。第五注意授权边界。使用 AI 生成内容前确认剧本来源、角色形象、配音音色是否都具备使用权。涉及真人肖像、声音克隆、已有 IP 改编时必须先取得授权。即梦生成的画面版权归属以平台最新服务协议为准。11. 总结与下一步这套“豆包 即梦5.0 LibTV”的流程值得最开始先验证的就是多主体一致性。用 5 个分镜固定两个角色跑完一条迷你短剧你就知道问题会出现在哪里。最容易踩的坑基本集中在三处角色参考图质量不够、分镜描述语言太泛、素材目录混乱。前两个影响画质第三个影响效率。如果自己确实需要更稳定的角色一致性和更快的出片速度建议先去研究两个方向一是把分镜脚本的表结构设计得更精细明确每个分镜的主体标签二是在批量素材管理上投入一点时间把目录、命名、检查脚本都固定下来。这套基建一旦完成你后续换题材、换角色、做多季连载成本都会明显降下来。建议收藏备用下次做 AI 短剧时直接按这条链路跑一遍。