最近我在做AI视频创作示例,前阵子朋友阿杰扔给我一个命题:用AI把《白蛇传》里的“水漫金山”做成短片。他是做传统文化短视频的,一直想把古典IP的经典场景用AI重新演绎一遍。但之前他试过好几款工具,出来的不是五毛特效就是画面崩坏,白蛇的脸每三秒换一个主人,说好的“金山寺”愣是被AI改成了海边度假村。我说那就当一次实战示例来跑吧,跑完顺便把过程整理下来。于是,就有了这篇东西。这个示例做的事情很具体:用“AI图像生成 + AI视频生成 + 后期合成”这条工作流,把“水漫金山”从一个几秒钟就能说完的故事梗概,扩成一部叙事完整的短片。中间涉及分镜脚本、提示词工程、图生视频、角色一致性控制、镜头拼接、调色和音效设计。它不是某款工具的广告,也不是那种“标题很唬人、打开全是废话”的三分钟教程,而是一次完整的项目复盘。适合那些已经上手过一两款AI工具、想认认真真做出点作品的创作者参考。1. 为什么我的AI视频创作示例选了“水漫金山”这个题材很多人一开始做AI视频,都喜欢选“一个女孩在花田里回头”这种单镜头题材。美则美矣,但本质上只是测试了模型的画质和基础运镜。我之所以选“水漫金山”,是因为它天然是一个多镜头、多情绪、多场景切换的复杂叙事,几乎把AI视频创作目前能遇到的难点全占了。硬啃下来,收获比做十个单镜头都大。1.1 一个经典场景,恰好覆盖了AI视频创作的全部难点把“水漫金山”拆开看,至少有四道硬题:第一是水的物理模拟。水是AI视频生成的材质里最难做的那一档,尤其是“浪墙翻涌”“洪水漫过台阶”这种大规模流体运动,很容易生成成奶油、果冻或者白色马赛克。第二是角色一致性。白娘子的形象要贯穿全片,从她在佛堂前求情到转身离开,直到最后站在水中央,脸不能崩、衣服不能变色。第三是场景一致性。同一座金山寺,要经历晨雾笼罩、乌云压顶、洪水冲击三个状态,但建筑结构不能走样。第四是叙事节奏。这个故事的情绪是从平静到爆发再到余韵,纯画面、无对白,镜头之间的快慢松紧全靠剪辑节奏撑起来。这四道题一摆出来就清楚了:这个项目不可能一键生成,必须当成一个小型影视项目来管理。它的价值恰恰在这里——AI工具只是把拍摄和后期门槛降低了,但前期设计、中期控制和后期判断,一样都不能少。1.2 作品定位:调性优先,技术其次做之前我很明确地定了一个调性:水墨质感、古典审美、偏中国山水画的意境。这个决定影响后面所有环节——色彩往低饱和度方向走,构图偏留白和对称,镜头运动尽量克制,避免那种很“洋气”的大旋转运镜。为什么一定要先定调性?因为AI生成的结果充满了随机性,同样的提示词,今天跑出来是电影感,明天可能就变成廉价游戏CG。手里有明确的美学锚点,才能在几十条候选素材里迅速判断“哪一条是对的”。工具可以换,参数可以调,但审美基线不能动。阿杰最开始就是没想清楚这件事,看到什么效果好看就留什么,结果攒了一堆风格互相打架的素材,拼在一起整个片子像四五个不同的剧组拍出来的。2. 从分镜脚本到提示词:把“水漫金山”翻译给AI听AI不会自动理解“水漫金山”这个故事。它只知道你给了它什么提示词,然后在此基础上发挥。所以第一步,是把故事拆成镜头,再为每个镜头写一组精确的提示词。这个环节我花了整个项目大约三分之一的时间,而它直接决定了最终成片能到什么高度。2.1 七镜头分镜:先解决“让AI只动该动的”分镜的核心原则是:一个镜头只做一件事。要么表现情绪,要么表现环境,要么表现动作。贪多嚼不烂,AI模型更是如此,你让它同时完成“洪水漫上来+僧人奔跑+白蛇伫立+寺庙倒塌”,它大概率会把所有要素都画糊掉。我给这个示例设计了七个镜头:镜头景别画面内容时长镜头任务1大远景晨雾中的金山寺,江面平静,香客渺小6秒建立环境基调:宁静2中景佛堂前,白蛇向法海求情,转身5秒交代人物关系与情绪起点3特写白蛇眼神由犹豫转向决绝3秒情绪转折点,全片戏眼4大远景江面颜色突变,乌云压顶,远处升起第一道浪5秒灾难前兆,节奏第一次变快5全景巨浪推进,洪水开始漫上寺庙台阶6秒核心特效镜头,水漫金山6全景+特写洪水中金山寺与宝塔矗立,水花撞击山门7秒灾难高潮,视觉奇观7大远景洪水逐渐平缓,金山寺一角露出水面,白蛇身影远去6秒情绪收束,留有余味这里要特别说明:第3个镜头“特写眼神”是我刻意加进去的。原故事里白蛇的情绪转折是短片的灵魂,没有这个主观镜头,后面的滔天洪水就只是一场特效展示,观众不会有情绪波动。2.2 提示词的两种写法:中文意象与英文描述分镜确定之后,每个镜头都要写提示词。我的习惯是中文写一遍、英文写一遍,然后对照取长补短。以第5镜头为例,中文版提示词是这样的:古代寺庙位于画面中心,宽阔江面,巨大浪墙从远处翻涌而来, 浪墙不断升高,水花飞溅,乌云密布,电闪雷鸣, 寺庙被阴影笼罩,史诗感,超广角,电影级光效, 水墨质感,低饱和度,写实风格,8K细节英文版提示词:An ancient temple in the center, a wide river, a massive wall of water rising from the distance and surging toward the temple, splashing water, dark storm clouds, lightning, the temple shadowed by the approaching wave, epic scale, ultra-wide angle, cinematic lighting, ink-wash texture, desaturated color, photorealistic, 8k detail中文提示词胜在意象准确。“水墨质感”“史诗感”“乌云压顶”这些词,中文模型理解得格外好。英文提示词则胜在细节可控。“a massive wall of water rising from the distance and surging toward the temple”能比“水漫金山”四个字更精确地描述浪墙的形态和运动方向——直接丢“水漫金山”给模型,它可能会理解成一场普通的暴雨积水。两个版本的提示词我会叠在一起用,按主模型支持的语言做取舍。如果模型偏向英文理解,就以英文为主,开头加一句风格概括;如果模型中文底子好,就以中文为主,把光线和材质描述换成英文词汇。这个技巧是和朋友小林交流时试验出来的,效果很稳定。2.3 提示词里必须有的七个要素写多了之后会发现,提示词其实有固定结构。我习惯按这个顺序组织:主体(谁,在哪里)动作(正在做什么,运动方向是什么)环境(海拔、天气、背景层次)光线(晨光/雷暴光/暖光/冷光)镜头语言(景别、焦距、运镜方式)风格(水墨感/电影感/写实/史诗)画质标签(8K、细节丰富、胶片颗粒)任何一组提示词,这七个要素里丢三落四,画面就会出问题。比如少了“光线”,生成结果往往是一张灰蒙蒙的平光图;少了“景别”,模型会自作主张给你一个莫名其妙的中景,情绪张力直接砍半。2.4 参数不是玄学:固定种子和运动强度决定成败提示词之外,有几个参数直接影响稳定度,必须在生成前确认:参数我的推荐值说明种子值固定同一镜头反复迭代必须锁死种子,否则画面构图每次都会变运动强度0.5(中档)过高会导致人体和建筑变形,过低则像PPT采样步数25~30超过35画面容易僵,低于15细节不足帧率24fps电影标准,闪感小生成时长每镜头4~8秒超过8秒,中后段大概率崩坏分辨率先1280×720确定构图后再放大到1920×1080,避免直接跑高分辨率导致的变形其中种子值这个参数,新手最容易忽略。同样一组提示词,不固定种子,AI会给你每帧都重新构图;固定了种子之后,即使切换分辨率、放大图片、局部重绘,画面的整体结构都不会跑偏。我的做法是,每个镜头第一次生成时就记下种子,之后的所有迭代都基于这一颗种子去微调提示词。负面提示词也很重要。我通用的一组是这样:watermark, text, logo, distorted hands, extra fingers, deformed face, oversaturated, oversharpened, flickering, jpeg artifacts, low quality如果生成的画面频繁出现人物脸崩,加上“asymmetrical face, wrong eyes”这类针对性的负面词,比盲目提高参数有用得多。3. AI视频工具怎么选:我用三套组合跑完整个示例工具选型这件事,我见过很多人走极端。一种是迷信某一个平台,觉得只要提示词够好就能无敌;另一种是频繁切换平台,每次看到新模型发布都重头跑一遍。我的建议是:先弄清自己的需求阶段,再去匹配工具。3.1 为什么优先选“图生视频”,而不是“文生视频”目前主流AI视频生成有两种模式:文生视频(Text-to-Video)和图生视频(Image-to-Video)。我的经验是,像“水漫金山”这种画面构图有明确需求的题材,选图生视频,而且是优先选图生视频。文生视频的优势在于脑洞大、不受约束,但它的劣势也正在于此:多镜头叙事很难保持角色一致。你先用文生视频生成了白蛇,下一个镜头再输入“白蛇站在水中”,模型很可能生成一个天差地别的形象。图生视频的逻辑完全不同——先用AI绘图工具生成一张关键帧底图,锁定构图和角色,然后由视频模型把它“动起来”。相当于拍电影之前,先给演员定好妆、搭好景,再开机。我用图生视频做了个试验:同一个角色,文生视频坚持3个镜头就开始换脸,图生视频可以撑完整个7镜头短片。只冲这一点,叙事类题材就别犹豫了。3.2 三套工具的定位与实测表现这次实际使用了三套工具组合,各有分工:工具定位我用来做什么实测表现注意点工具A在线快速生成前期分镜测试、提示词验证出图快,单条1分钟,适合批量试错画质上限一般,细节容易糊工具B开源视频模型核心特效镜头,尤其是浪墙和水流水素材的物理感最好,浪花的溅射细节很真实部署门槛高,需要显卡支持工具C高分辨率合成输出最终成品渲染、放大能把720p素材优化到接近1080p,细节不崩耗时长,不适合反复试错这套组合的思路是:便宜的快工具用来试错,能力强的开源模型用来攻难点,高分辨率工具负责最终出片。三个环节各司其职,比全部素材死磕一个平台省下大量时间。有些人会问,直接全用工具B行不行?答案是可以,但很浪费。工具B处理一个镜头可能要花10分钟,而分镜阶段很多提示词方向是错的,比如“浪墙太高导致寺庙完全消失”“洪水颜色偏绿像毒液”,这些问题用工具A几十秒就能筛出来,没必要占用高性能资源。3.3 同镜头多版本生成:一次跑多条,筛选优于重试我的素材策略是“一次生成多条版本,人工挑选,再局部重做”。每个镜头至少跑3~5条不同运动强度的候选素材,全部保存下来逐帧审查。没有预算的话,也可以一次生成一条,但要做好反复改提示词的准备。筛选的标准不多:第一条看构图有没有变形,第二条看动作是否自然连贯,第三条看是否有闪烁和撕裂。我会在剪辑软件的素材浏览器里做A/B对比,同一组提示词,运动强度0.4和0.6生成的两条画面,往往有一条效果显著优于另一条,这是“盲调”说明不了规律的,必须亲眼看。4. 角色和场景一致性:AI“自由发挥”最不受控的地方做AI视频的人早晚都会遇到一件事:角色和场景失控。这个项目里,白蛇的形象是最大的痛点。第三个镜头一过,她的气质和五官就开始微妙地漂移,到了洪水段落,眼神已经完全不是一个人了。写提示词时明明写的是“白素贞”,模型根本不在乎你是谁,它只按概率生成。4.1 最容易崩的五个失控点把我踩过的坑总结成表,后面再做类似题材可以直接对照:失控点表现原因五官漂移同一角色换了3种脸型不同镜头的种子值不统一服装跳变白衣变淡蓝、发饰消失服装细节没有被锁定在底图上建筑扭曲塔尖倒向一侧,屋檐多出一截超广角镜头+运动强度过高材质突变水面从深蓝变成灰色马赛克运动初始帧不对,或光源设置不一致光效断裂室内暖光切到室外冷光的瞬间跳变缺少渐变过渡镜头每一个失控点都对应一条经验:种子值统一、底图一致、运动强度别拉满、光源信息写清楚、转场部分留1秒静帧做缓冲。4.2 角色锁定:底图、参考、分区生成的三个土办法这是这个示例里被阿杰评价为“最值钱”的部分。办法很土,但有效。第一个办法是“主角色底图固定”。开跑之前,先用AI绘图工具精修一张白蛇的半身像,确定发型、发饰、衣服的颜色和款式、脸型轮廓。这张图就是全片的“演员身份证”,所有镜头都以它为基准,必要时在提示词里直接引用这张图的文件编号或者做图生图的参考图链接。跟平台无关,但前提是用的工具必须支持参考图输入,不支持参考图的工具,慎用于多镜头叙事。第二个办法是“人物和背景分开生成”。描摹关键帧底图时,把白蛇主体和寺庙背景分成两个图层生成。AI的画面生成不像PS那样直接分层,但可以在设计底图时预留好逻辑分区——人物占画面右侧,背景占左侧,合成时再用后期把两者叠起来。好处是背景变了之后,人物形象不需要跟着重画。第三个办法是“全片只用一条管线”。角色一旦在工具A里确定了,后续所有镜头尽量都在工具A图生视频板块完成,不要中间切到工具B去另起炉灶。哪怕工具B的提示词描述完全一致,出来的角色跟工具A也是两回事。我这部短片最大的一次翻车,就是第六个镜头用了工具B做洪水高潮,结果白蛇的脸瞬间换成了另外一个人。4.3 场景资产库:同一座金山寺的多种天气状态场景一致性跟角色一致性同样重要。金山寺不是一座真寺庙,而是我生成的若干张底的集合。具体做法是:先跑出一张结构最合理的金山寺底图,作为“标准建筑”,然后以这张图为基础,只改提示词里的时间和天气关键词,生成它的晨雾版、乌云版、暴雨版、洪水版。每次生成的种子值与结构参数保持一致,只让天气和光效发生变化。这样出来的金山寺,无论哪个镜头,建筑结构都是同一座,只是环境状态不同。这个思路类似于游戏里的“场景资产库”:建筑是资产,天气是状态,两者解耦管理。如果每次都从零开始描述“金山寺”,模型每次都会创建一个新寺庙,剪辑时观众会立刻察觉“这好像不是同一个地方”。5. 后期合成与调色:把几段AI素材拼成一个“金山”AI视频生成完,素材之间的帧率、色调、节奏都不一样,它只是“素材”,还不是“作品”。后期环节要解决三件事:让镜头连贯地拼接成叙事、让视觉风格统一、让声音撑起画面之外的情绪。这一步工作量大,但决定了短片最终是“AI测试视频”还是“能给人看的作品”。5.1 时间轴拼接与节奏设计AI生成的素材有个通病:每个镜头的节奏感都差不多,从头到尾一样快,观众看一半就会疲劳。所以剪辑时要对节奏做二次创作。我的处理是“静-动-静”结构:开头两段镜头保留原速,甚至放慢到90%速度,营造宁静感;洪水来临之后,把第4、5镜头的播放速度提到105%,同时删掉中间冗余的几帧,制造急推感;第7个镜头恢复原速,留足余味。转场方面,AI素材的镜头之间不适合做太复杂的特效转场。直接硬切,或者用0.5秒的叠化做过渡就好。水和水的接续镜头,可以在剪接处各自留出5帧重叠,用混合模式做轻量“水花接水花”的衔接,比软件自带的波浪转场自然得多。5.2 声音:环境音比配乐更能建立压迫感“水漫金山”最容易被忽视的其实是声音。画面里的水再汹涌,没有声音就是塑料特效。我的音轨分成三层来搭:第一层是风与雷的低频底噪,持续铺满洪水段落,音量控制在-18dB左右,用来建立不安感。第二层是水的具体声效,包括远处洪水翻涌的低音、近处浪花拍打台阶的碎音,按画面剪辑点逐个对齐。第三层才是情绪配乐,我用一曲缓慢的琵琶曲做头尾呼应,洪水段落则直接掐掉音乐,只留环境和低频,压迫感反而更强。配乐不一定要原创,很多可商用的配乐素材库里都能找到合适的古典风音乐。关键是这个“掐掉音乐”的做法,值得记下来。5.3 调色:用遮罩分区统一全片前期生成的素材,不同镜头的白平衡和饱和度肯定不一致。我预设了一个总基调:低饱和度、偏冷色、水墨质感。实际操作分三步走:第一步,整体降饱和,把画面里过于鲜艳的颜色拉回来,让全片基调向灰蓝靠拢。第二步,压制高光,尤其注意浪花和天空的高光部分,保留细节的同时避免“死白”。第三步,给白蛇出现的镜头加一层极浅的暖金色调,在冷灰洪水里形成微弱的对比,暗示她是这个故事里唯一的“暖色”。如果某个镜头的色调跟其他镜头偏离得特别明显,我会给色差大的区域打一个遮罩,局部调整而不是整体硬套LUT。全片一键套同一个预设是方便,但会毁掉精心设计的明暗层次。6. 成品复盘:亮点、翻车片段与下一轮迭代成片出来之后,阿杰看完的第一句话是“这像一个剧场版水墨动画的预告片”。这句话给了我不少信心,但我知道这次生成的素材里,真正能直接用的比例并不高。AI视频创作就是这样,它是一个概率游戏,你做的所有预处理,无非是提高“满意的偶然”出现的概率。6.1 让人意外的成片亮点最让我惊喜的是第5个镜头的实际效果——浪墙拍向山门的那一下,模型居然生成了水花溅到“镜头表面”的细节。我当时没有写任何关于镜头溅水的描述,这完全是模型的意外发挥。正是这个意外让洪水段落的临场感上了一层楼。另外一个亮点是第3个镜头的眼神。底图里白蛇微微偏头、眼尾下压的那一瞬间,被视频模型保留住了。AI生成时经常乱改表情,但这次它没有。画面里白蛇没有说话,眼睛就完成了整个情绪的转向。6.2 必须承认的翻车镜头翻车最多的地方集中在第6个镜头和第1个镜头。第6个镜头,我为了追求史诗感用了超广角取景,结果寺庙塔尖严重变形,檐角像融化了一样向外塌。工具B虽然水流效果好,但建筑结构在这种极端视角下没撑住。这个问题的解法很直接:把超广角换成中焦视角,减掉“ultra-wide angle”提示词,改为“medium telephoto”,寺庙结构立刻稳定了。第1个镜头,晨雾金山寺那版素材,连续出现了三次“天际线处冒出电线杆”的诡异画面。原因大概率是底图训练数据里混入了现代建筑特征。解决方式是加重负面提示词里的“modern buildings, power lines, antennas”,问题虽然没完全消失,但出现频率从三次降到了零。还有一个必须说的技术问题:帧间闪烁。尤其是洪水段落,水面的纹理每帧都在做随机变化,导致画面一直“闪”。这其实是AI视频的老毛病,单用后期减闪效果有限,我更建议在前期就尽量规避——固定种子、降低运动强度、优先用图生视频,都会让闪烁明显减轻。把源素材尽量做稳,比任何后期插件都管用。6.3 如果再做一遍,我会改什么如果再让我做一遍“水漫金山”,我至少有四个地方会调整:第一,角色底图控制在三张以内,而不是每个镜头都重新生成一张。初版我几乎每个镜头都让AI重画白蛇,即便有参考图,脸型和气质的偏差依然存在。三张底图分别对应“恳求”“决绝”“远望”三种情绪状态,全片只在这三张之间切换,一致性会好得多。第二,花更多时间在“音景”设计上。初版的声音是用现成素材拼的,对白蛇情绪转折的影响太弱。下一版我想单独设计一段诵经声和钟声,在洪水淹没金山寺的瞬间,让钟声和水声叠在一起,制造一种“佛法被自然力量吞没”的声响隐喻。第三,提前规划水的颜色。初版洪水颜色偏暗蓝,和雾气混在一起后有点浑。下一版我会把浪花的高光部分调得更偏白,雾气更稀薄,让洪水的轮廓更清晰。要让观众看清巨浪的形态,而不是一团有威胁的黑影。第四,也是最重要的——不要等所有镜头全生成完再开始剪辑。初版我是把所有素材跑完才动剪,结果发现中间空了好几个镜头,返工成本极高。正确的做法是:每生成两三个镜头,就先丢进剪辑软件里看拼起来的效果,不连贯的地方当场补做,等全部镜头攒完再整体调色和精剪。这个工作流上的调整,能直接省掉一半返工时间。这次做完最大的感受是:AI视频创作的产出比例,从来不是由工具决定的,而是由前期的设计能力、中期的筛选标准和后期的视听判断共同决定的。工具不断在变,但这套“先拆解、再设计、后控制”的思路,短期内不会过时。
最近我在做AI视频创作示例,前阵子朋友阿杰扔给我一个命题:用AI把《白蛇传》里的“水漫金山”做成短片。他是做传统文化短视频的,一直想把古典IP的经典场景用AI重新演绎一遍。但之前他试过好几款工具,出来的不是五毛特效就是画面崩坏,白蛇的脸每三秒换一个主人,说好的“金山寺”愣是被AI改成了海边度假村。我说那就当一次实战示例来跑吧,跑完顺便把过程整理下来。于是,就有了这篇东西。这个示例做的事情很具体:用“AI图像生成 + AI视频生成 + 后期合成”这条工作流,把“水漫金山”从一个几秒钟就能说完的故事梗概,扩成一部叙事完整的短片。中间涉及分镜脚本、提示词工程、图生视频、角色一致性控制、镜头拼接、调色和音效设计。它不是某款工具的广告,也不是那种“标题很唬人、打开全是废话”的三分钟教程,而是一次完整的项目复盘。适合那些已经上手过一两款AI工具、想认认真真做出点作品的创作者参考。1. 为什么我的AI视频创作示例选了“水漫金山”这个题材很多人一开始做AI视频,都喜欢选“一个女孩在花田里回头”这种单镜头题材。美则美矣,但本质上只是测试了模型的画质和基础运镜。我之所以选“水漫金山”,是因为它天然是一个多镜头、多情绪、多场景切换的复杂叙事,几乎把AI视频创作目前能遇到的难点全占了。硬啃下来,收获比做十个单镜头都大。1.1 一个经典场景,恰好覆盖了AI视频创作的全部难点把“水漫金山”拆开看,至少有四道硬题:第一是水的物理模拟。水是AI视频生成的材质里最难做的那一档,尤其是“浪墙翻涌”“洪水漫过台阶”这种大规模流体运动,很容易生成成奶油、果冻或者白色马赛克。第二是角色一致性。白娘子的形象要贯穿全片,从她在佛堂前求情到转身离开,直到最后站在水中央,脸不能崩、衣服不能变色。第三是场景一致性。同一座金山寺,要经历晨雾笼罩、乌云压顶、洪水冲击三个状态,但建筑结构不能走样。第四是叙事节奏。这个故事的情绪是从平静到爆发再到余韵,纯画面、无对白,镜头之间的快慢松紧全靠剪辑节奏撑起来。这四道题一摆出来就清楚了:这个项目不可能一键生成,必须当成一个小型影视项目来管理。它的价值恰恰在这里——AI工具只是把拍摄和后期门槛降低了,但前期设计、中期控制和后期判断,一样都不能少。1.2 作品定位:调性优先,技术其次做之前我很明确地定了一个调性:水墨质感、古典审美、偏中国山水画的意境。这个决定影响后面所有环节——色彩往低饱和度方向走,构图偏留白和对称,镜头运动尽量克制,避免那种很“洋气”的大旋转运镜。为什么一定要先定调性?因为AI生成的结果充满了随机性,同样的提示词,今天跑出来是电影感,明天可能就变成廉价游戏CG。手里有明确的美学锚点,才能在几十条候选素材里迅速判断“哪一条是对的”。工具可以换,参数可以调,但审美基线不能动。阿杰最开始就是没想清楚这件事,看到什么效果好看就留什么,结果攒了一堆风格互相打架的素材,拼在一起整个片子像四五个不同的剧组拍出来的。2. 从分镜脚本到提示词:把“水漫金山”翻译给AI听AI不会自动理解“水漫金山”这个故事。它只知道你给了它什么提示词,然后在此基础上发挥。所以第一步,是把故事拆成镜头,再为每个镜头写一组精确的提示词。这个环节我花了整个项目大约三分之一的时间,而它直接决定了最终成片能到什么高度。2.1 七镜头分镜:先解决“让AI只动该动的”分镜的核心原则是:一个镜头只做一件事。要么表现情绪,要么表现环境,要么表现动作。贪多嚼不烂,AI模型更是如此,你让它同时完成“洪水漫上来+僧人奔跑+白蛇伫立+寺庙倒塌”,它大概率会把所有要素都画糊掉。我给这个示例设计了七个镜头:镜头景别画面内容时长镜头任务1大远景晨雾中的金山寺,江面平静,香客渺小6秒建立环境基调:宁静2中景佛堂前,白蛇向法海求情,转身5秒交代人物关系与情绪起点3特写白蛇眼神由犹豫转向决绝3秒情绪转折点,全片戏眼4大远景江面颜色突变,乌云压顶,远处升起第一道浪5秒灾难前兆,节奏第一次变快5全景巨浪推进,洪水开始漫上寺庙台阶6秒核心特效镜头,水漫金山6全景+特写洪水中金山寺与宝塔矗立,水花撞击山门7秒灾难高潮,视觉奇观7大远景洪水逐渐平缓,金山寺一角露出水面,白蛇身影远去6秒情绪收束,留有余味这里要特别说明:第3个镜头“特写眼神”是我刻意加进去的。原故事里白蛇的情绪转折是短片的灵魂,没有这个主观镜头,后面的滔天洪水就只是一场特效展示,观众不会有情绪波动。2.2 提示词的两种写法:中文意象与英文描述分镜确定之后,每个镜头都要写提示词。我的习惯是中文写一遍、英文写一遍,然后对照取长补短。以第5镜头为例,中文版提示词是这样的:古代寺庙位于画面中心,宽阔江面,巨大浪墙从远处翻涌而来, 浪墙不断升高,水花飞溅,乌云密布,电闪雷鸣, 寺庙被阴影笼罩,史诗感,超广角,电影级光效, 水墨质感,低饱和度,写实风格,8K细节英文版提示词:An ancient temple in the center, a wide river, a massive wall of water rising from the distance and surging toward the temple, splashing water, dark storm clouds, lightning, the temple shadowed by the approaching wave, epic scale, ultra-wide angle, cinematic lighting, ink-wash texture, desaturated color, photorealistic, 8k detail中文提示词胜在意象准确。“水墨质感”“史诗感”“乌云压顶”这些词,中文模型理解得格外好。英文提示词则胜在细节可控。“a massive wall of water rising from the distance and surging toward the temple”能比“水漫金山”四个字更精确地描述浪墙的形态和运动方向——直接丢“水漫金山”给模型,它可能会理解成一场普通的暴雨积水。两个版本的提示词我会叠在一起用,按主模型支持的语言做取舍。如果模型偏向英文理解,就以英文为主,开头加一句风格概括;如果模型中文底子好,就以中文为主,把光线和材质描述换成英文词汇。这个技巧是和朋友小林交流时试验出来的,效果很稳定。2.3 提示词里必须有的七个要素写多了之后会发现,提示词其实有固定结构。我习惯按这个顺序组织:主体(谁,在哪里)动作(正在做什么,运动方向是什么)环境(海拔、天气、背景层次)光线(晨光/雷暴光/暖光/冷光)镜头语言(景别、焦距、运镜方式)风格(水墨感/电影感/写实/史诗)画质标签(8K、细节丰富、胶片颗粒)任何一组提示词,这七个要素里丢三落四,画面就会出问题。比如少了“光线”,生成结果往往是一张灰蒙蒙的平光图;少了“景别”,模型会自作主张给你一个莫名其妙的中景,情绪张力直接砍半。2.4 参数不是玄学:固定种子和运动强度决定成败提示词之外,有几个参数直接影响稳定度,必须在生成前确认:参数我的推荐值说明种子值固定同一镜头反复迭代必须锁死种子,否则画面构图每次都会变运动强度0.5(中档)过高会导致人体和建筑变形,过低则像PPT采样步数25~30超过35画面容易僵,低于15细节不足帧率24fps电影标准,闪感小生成时长每镜头4~8秒超过8秒,中后段大概率崩坏分辨率先1280×720确定构图后再放大到1920×1080,避免直接跑高分辨率导致的变形其中种子值这个参数,新手最容易忽略。同样一组提示词,不固定种子,AI会给你每帧都重新构图;固定了种子之后,即使切换分辨率、放大图片、局部重绘,画面的整体结构都不会跑偏。我的做法是,每个镜头第一次生成时就记下种子,之后的所有迭代都基于这一颗种子去微调提示词。负面提示词也很重要。我通用的一组是这样:watermark, text, logo, distorted hands, extra fingers, deformed face, oversaturated, oversharpened, flickering, jpeg artifacts, low quality如果生成的画面频繁出现人物脸崩,加上“asymmetrical face, wrong eyes”这类针对性的负面词,比盲目提高参数有用得多。3. AI视频工具怎么选:我用三套组合跑完整个示例工具选型这件事,我见过很多人走极端。一种是迷信某一个平台,觉得只要提示词够好就能无敌;另一种是频繁切换平台,每次看到新模型发布都重头跑一遍。我的建议是:先弄清自己的需求阶段,再去匹配工具。3.1 为什么优先选“图生视频”,而不是“文生视频”目前主流AI视频生成有两种模式:文生视频(Text-to-Video)和图生视频(Image-to-Video)。我的经验是,像“水漫金山”这种画面构图有明确需求的题材,选图生视频,而且是优先选图生视频。文生视频的优势在于脑洞大、不受约束,但它的劣势也正在于此:多镜头叙事很难保持角色一致。你先用文生视频生成了白蛇,下一个镜头再输入“白蛇站在水中”,模型很可能生成一个天差地别的形象。图生视频的逻辑完全不同——先用AI绘图工具生成一张关键帧底图,锁定构图和角色,然后由视频模型把它“动起来”。相当于拍电影之前,先给演员定好妆、搭好景,再开机。我用图生视频做了个试验:同一个角色,文生视频坚持3个镜头就开始换脸,图生视频可以撑完整个7镜头短片。只冲这一点,叙事类题材就别犹豫了。3.2 三套工具的定位与实测表现这次实际使用了三套工具组合,各有分工:工具定位我用来做什么实测表现注意点工具A在线快速生成前期分镜测试、提示词验证出图快,单条1分钟,适合批量试错画质上限一般,细节容易糊工具B开源视频模型核心特效镜头,尤其是浪墙和水流水素材的物理感最好,浪花的溅射细节很真实部署门槛高,需要显卡支持工具C高分辨率合成输出最终成品渲染、放大能把720p素材优化到接近1080p,细节不崩耗时长,不适合反复试错这套组合的思路是:便宜的快工具用来试错,能力强的开源模型用来攻难点,高分辨率工具负责最终出片。三个环节各司其职,比全部素材死磕一个平台省下大量时间。有些人会问,直接全用工具B行不行?答案是可以,但很浪费。工具B处理一个镜头可能要花10分钟,而分镜阶段很多提示词方向是错的,比如“浪墙太高导致寺庙完全消失”“洪水颜色偏绿像毒液”,这些问题用工具A几十秒就能筛出来,没必要占用高性能资源。3.3 同镜头多版本生成:一次跑多条,筛选优于重试我的素材策略是“一次生成多条版本,人工挑选,再局部重做”。每个镜头至少跑3~5条不同运动强度的候选素材,全部保存下来逐帧审查。没有预算的话,也可以一次生成一条,但要做好反复改提示词的准备。筛选的标准不多:第一条看构图有没有变形,第二条看动作是否自然连贯,第三条看是否有闪烁和撕裂。我会在剪辑软件的素材浏览器里做A/B对比,同一组提示词,运动强度0.4和0.6生成的两条画面,往往有一条效果显著优于另一条,这是“盲调”说明不了规律的,必须亲眼看。4. 角色和场景一致性:AI“自由发挥”最不受控的地方做AI视频的人早晚都会遇到一件事:角色和场景失控。这个项目里,白蛇的形象是最大的痛点。第三个镜头一过,她的气质和五官就开始微妙地漂移,到了洪水段落,眼神已经完全不是一个人了。写提示词时明明写的是“白素贞”,模型根本不在乎你是谁,它只按概率生成。4.1 最容易崩的五个失控点把我踩过的坑总结成表,后面再做类似题材可以直接对照:失控点表现原因五官漂移同一角色换了3种脸型不同镜头的种子值不统一服装跳变白衣变淡蓝、发饰消失服装细节没有被锁定在底图上建筑扭曲塔尖倒向一侧,屋檐多出一截超广角镜头+运动强度过高材质突变水面从深蓝变成灰色马赛克运动初始帧不对,或光源设置不一致光效断裂室内暖光切到室外冷光的瞬间跳变缺少渐变过渡镜头每一个失控点都对应一条经验:种子值统一、底图一致、运动强度别拉满、光源信息写清楚、转场部分留1秒静帧做缓冲。4.2 角色锁定:底图、参考、分区生成的三个土办法这是这个示例里被阿杰评价为“最值钱”的部分。办法很土,但有效。第一个办法是“主角色底图固定”。开跑之前,先用AI绘图工具精修一张白蛇的半身像,确定发型、发饰、衣服的颜色和款式、脸型轮廓。这张图就是全片的“演员身份证”,所有镜头都以它为基准,必要时在提示词里直接引用这张图的文件编号或者做图生图的参考图链接。跟平台无关,但前提是用的工具必须支持参考图输入,不支持参考图的工具,慎用于多镜头叙事。第二个办法是“人物和背景分开生成”。描摹关键帧底图时,把白蛇主体和寺庙背景分成两个图层生成。AI的画面生成不像PS那样直接分层,但可以在设计底图时预留好逻辑分区——人物占画面右侧,背景占左侧,合成时再用后期把两者叠起来。好处是背景变了之后,人物形象不需要跟着重画。第三个办法是“全片只用一条管线”。角色一旦在工具A里确定了,后续所有镜头尽量都在工具A图生视频板块完成,不要中间切到工具B去另起炉灶。哪怕工具B的提示词描述完全一致,出来的角色跟工具A也是两回事。我这部短片最大的一次翻车,就是第六个镜头用了工具B做洪水高潮,结果白蛇的脸瞬间换成了另外一个人。4.3 场景资产库:同一座金山寺的多种天气状态场景一致性跟角色一致性同样重要。金山寺不是一座真寺庙,而是我生成的若干张底的集合。具体做法是:先跑出一张结构最合理的金山寺底图,作为“标准建筑”,然后以这张图为基础,只改提示词里的时间和天气关键词,生成它的晨雾版、乌云版、暴雨版、洪水版。每次生成的种子值与结构参数保持一致,只让天气和光效发生变化。这样出来的金山寺,无论哪个镜头,建筑结构都是同一座,只是环境状态不同。这个思路类似于游戏里的“场景资产库”:建筑是资产,天气是状态,两者解耦管理。如果每次都从零开始描述“金山寺”,模型每次都会创建一个新寺庙,剪辑时观众会立刻察觉“这好像不是同一个地方”。5. 后期合成与调色:把几段AI素材拼成一个“金山”AI视频生成完,素材之间的帧率、色调、节奏都不一样,它只是“素材”,还不是“作品”。后期环节要解决三件事:让镜头连贯地拼接成叙事、让视觉风格统一、让声音撑起画面之外的情绪。这一步工作量大,但决定了短片最终是“AI测试视频”还是“能给人看的作品”。5.1 时间轴拼接与节奏设计AI生成的素材有个通病:每个镜头的节奏感都差不多,从头到尾一样快,观众看一半就会疲劳。所以剪辑时要对节奏做二次创作。我的处理是“静-动-静”结构:开头两段镜头保留原速,甚至放慢到90%速度,营造宁静感;洪水来临之后,把第4、5镜头的播放速度提到105%,同时删掉中间冗余的几帧,制造急推感;第7个镜头恢复原速,留足余味。转场方面,AI素材的镜头之间不适合做太复杂的特效转场。直接硬切,或者用0.5秒的叠化做过渡就好。水和水的接续镜头,可以在剪接处各自留出5帧重叠,用混合模式做轻量“水花接水花”的衔接,比软件自带的波浪转场自然得多。5.2 声音:环境音比配乐更能建立压迫感“水漫金山”最容易被忽视的其实是声音。画面里的水再汹涌,没有声音就是塑料特效。我的音轨分成三层来搭:第一层是风与雷的低频底噪,持续铺满洪水段落,音量控制在-18dB左右,用来建立不安感。第二层是水的具体声效,包括远处洪水翻涌的低音、近处浪花拍打台阶的碎音,按画面剪辑点逐个对齐。第三层才是情绪配乐,我用一曲缓慢的琵琶曲做头尾呼应,洪水段落则直接掐掉音乐,只留环境和低频,压迫感反而更强。配乐不一定要原创,很多可商用的配乐素材库里都能找到合适的古典风音乐。关键是这个“掐掉音乐”的做法,值得记下来。5.3 调色:用遮罩分区统一全片前期生成的素材,不同镜头的白平衡和饱和度肯定不一致。我预设了一个总基调:低饱和度、偏冷色、水墨质感。实际操作分三步走:第一步,整体降饱和,把画面里过于鲜艳的颜色拉回来,让全片基调向灰蓝靠拢。第二步,压制高光,尤其注意浪花和天空的高光部分,保留细节的同时避免“死白”。第三步,给白蛇出现的镜头加一层极浅的暖金色调,在冷灰洪水里形成微弱的对比,暗示她是这个故事里唯一的“暖色”。如果某个镜头的色调跟其他镜头偏离得特别明显,我会给色差大的区域打一个遮罩,局部调整而不是整体硬套LUT。全片一键套同一个预设是方便,但会毁掉精心设计的明暗层次。6. 成品复盘:亮点、翻车片段与下一轮迭代成片出来之后,阿杰看完的第一句话是“这像一个剧场版水墨动画的预告片”。这句话给了我不少信心,但我知道这次生成的素材里,真正能直接用的比例并不高。AI视频创作就是这样,它是一个概率游戏,你做的所有预处理,无非是提高“满意的偶然”出现的概率。6.1 让人意外的成片亮点最让我惊喜的是第5个镜头的实际效果——浪墙拍向山门的那一下,模型居然生成了水花溅到“镜头表面”的细节。我当时没有写任何关于镜头溅水的描述,这完全是模型的意外发挥。正是这个意外让洪水段落的临场感上了一层楼。另外一个亮点是第3个镜头的眼神。底图里白蛇微微偏头、眼尾下压的那一瞬间,被视频模型保留住了。AI生成时经常乱改表情,但这次它没有。画面里白蛇没有说话,眼睛就完成了整个情绪的转向。6.2 必须承认的翻车镜头翻车最多的地方集中在第6个镜头和第1个镜头。第6个镜头,我为了追求史诗感用了超广角取景,结果寺庙塔尖严重变形,檐角像融化了一样向外塌。工具B虽然水流效果好,但建筑结构在这种极端视角下没撑住。这个问题的解法很直接:把超广角换成中焦视角,减掉“ultra-wide angle”提示词,改为“medium telephoto”,寺庙结构立刻稳定了。第1个镜头,晨雾金山寺那版素材,连续出现了三次“天际线处冒出电线杆”的诡异画面。原因大概率是底图训练数据里混入了现代建筑特征。解决方式是加重负面提示词里的“modern buildings, power lines, antennas”,问题虽然没完全消失,但出现频率从三次降到了零。还有一个必须说的技术问题:帧间闪烁。尤其是洪水段落,水面的纹理每帧都在做随机变化,导致画面一直“闪”。这其实是AI视频的老毛病,单用后期减闪效果有限,我更建议在前期就尽量规避——固定种子、降低运动强度、优先用图生视频,都会让闪烁明显减轻。把源素材尽量做稳,比任何后期插件都管用。6.3 如果再做一遍,我会改什么如果再让我做一遍“水漫金山”,我至少有四个地方会调整:第一,角色底图控制在三张以内,而不是每个镜头都重新生成一张。初版我几乎每个镜头都让AI重画白蛇,即便有参考图,脸型和气质的偏差依然存在。三张底图分别对应“恳求”“决绝”“远望”三种情绪状态,全片只在这三张之间切换,一致性会好得多。第二,花更多时间在“音景”设计上。初版的声音是用现成素材拼的,对白蛇情绪转折的影响太弱。下一版我想单独设计一段诵经声和钟声,在洪水淹没金山寺的瞬间,让钟声和水声叠在一起,制造一种“佛法被自然力量吞没”的声响隐喻。第三,提前规划水的颜色。初版洪水颜色偏暗蓝,和雾气混在一起后有点浑。下一版我会把浪花的高光部分调得更偏白,雾气更稀薄,让洪水的轮廓更清晰。要让观众看清巨浪的形态,而不是一团有威胁的黑影。第四,也是最重要的——不要等所有镜头全生成完再开始剪辑。初版我是把所有素材跑完才动剪,结果发现中间空了好几个镜头,返工成本极高。正确的做法是:每生成两三个镜头,就先丢进剪辑软件里看拼起来的效果,不连贯的地方当场补做,等全部镜头攒完再整体调色和精剪。这个工作流上的调整,能直接省掉一半返工时间。这次做完最大的感受是:AI视频创作的产出比例,从来不是由工具决定的,而是由前期的设计能力、中期的筛选标准和后期的视听判断共同决定的。工具不断在变,但这套“先拆解、再设计、后控制”的思路,短期内不会过时。