在实际使用 AI 生成视频或图像时最常遇到的困惑是为什么我的提示词Prompt生成的画面总是不理想是模型能力不足还是我的描述有问题答案往往是后者。提示词工程Prompt Engineering并非简单的“翻译”需求而是一门需要结构化思维和精准描述的技能。它决定了 AI 能否准确理解你的意图并生成符合预期的视觉内容。本文将通过两个核心案例深入拆解提示词的构建逻辑。第一个案例聚焦于“文生视频”我们将学习如何将一个简单的想法如“小猫在雪地里玩雪球”通过结构化公式扩展为一段富有细节和故事感的视频描述。第二个案例则探讨“图生视频”场景我们将学习如何基于一张或多张参考图精准控制视频中的主体、动作和场景实现角色和风格的延续。无论你是初次尝试 AI 视频创作的新手还是希望提升生成质量的经验用户掌握这些结构化方法都将帮助你更高效地与 AI 协作将创意转化为高质量的视频内容。1. 理解提示词工程从“关键词”到“结构化指令”在深入案例之前我们需要先理解为什么简单的关键词堆砌效果不佳。AI 视频生成模型如阿里云万相、Runway、Pika 等并非人类导演它们无法从模糊的词汇中脑补出完整的画面逻辑、光影关系和动态节奏。一个有效的提示词应该像一份给 AI 的“分镜脚本”清晰、具体、结构化。1.1 提示词的核心构成要素一个完整的视频提示词通常需要包含以下几个维度的信息主体 (Subject): 视频中的核心表现对象如人物、动物、物品。需要明确其数量、外观、特征。场景 (Scene): 主体所处的环境包括背景、前景、时间、天气、光照条件。运动 (Motion): 主体或场景元素的动态过程包括动作类型、幅度、速度、轨迹。美学控制 (Aesthetic Control): 画面的视觉风格包括镜头语言景别、角度、运镜、光影光源、光线类型、色调、构图等。风格化 (Stylization): 整体的艺术风格如“赛博朋克”、“水墨画”、“黏土动画”。声音 (Audio): 如果模型支持描述视频中的人声、音效和背景音乐。1.2 结构化公式的价值将上述要素组合成公式是为了确保提示词的完整性和逻辑性。例如一个基础的文生视频公式可以是提示词 主体 场景 运动对于更复杂的场景可以使用进阶公式提示词 主体主体描述 场景场景描述 运动运动描述 美学控制 风格化这种结构化的写作方式能强迫我们思考画面的每一个细节避免遗漏关键信息从而显著提升生成视频的准确性和质量。2. 案例一文生视频——从“一句话”到“一部微电影”我们以“小猫在雪地里玩雪球”这个简单的想法为例演示如何将其扩展为一个高质量的提示词。2.1 初始想法与问题分析初始想法小猫在雪地里玩雪球这个提示词过于简单会导致以下问题主体模糊是什么品种、多大、什么毛色的小猫场景简陋雪地是什么样子的清晨、午后还是夜晚有树木或房屋吗运动单一“玩雪球”是一个概括性动作缺乏具体的、可视化的动态细节。缺乏情感与风格画面是写实记录还是卡通风格氛围是温馨可爱还是孤独清冷2.2 应用结构化公式进行扩展我们使用进阶公式来丰富这个描述。假设我们想要一个温馨、可爱、富有故事感的冬日童趣短片。1. 主体与主体描述主体一只小猫。主体描述一只毛茸茸的、几个月大的小奶猫拥有橘白相间的毛发蓝色的大眼睛看起来天真好奇。2. 场景与场景描述场景雪地。场景描述冬日清晨一个被厚厚积雪覆盖的宁静庭院。阳光柔和天空湛蓝。庭院角落有一个戴着帽子和围巾的小雪人树枝上挂着霜花。3. 运动与运动描述运动玩雪球。运动描述小猫先用前爪试探性地拨弄一个小雪堆然后努力用爪子滚出一个不规则的雪球。它试图用脑袋顶雪球前进雪球突然裂开小猫受惊向后跳开打了个小喷嚏。随后它又好奇地凑近用爪子轻轻拍打散落的雪块。4. 美学控制镜头语言中景展示小猫全身和部分环境轻微俯角增加可爱感固定镜头略带缓慢推进聚焦小猫动作。光影柔和的侧逆光营造温暖的冬日晨光感在小猫毛发边缘形成一圈光晕。色调暖色调突出雪地的洁白和阳光的温暖。5. 风格化风格写实风格但带有轻微的“童话感”或“家庭电影”质感画面清晰、干净。6. 声音描述如果模型支持音效小猫爪子踩在雪上的“咯吱”声雪球滚动和破裂的“沙沙”与“咔啦”声小猫打喷嚏的“阿嚏”声。背景音乐轻快、温馨的钢琴或八音盒配乐节奏活泼。2.3 生成最终提示词将以上所有元素流畅地组织成一段连贯的描述最终提示词一只毛茸茸的橘白相间小奶猫在冬日清晨阳光照耀的静谧庭院雪地中玩耍。它用前爪滚出一个小雪球笨拙地用脑袋顶着前进。雪球突然裂开小猫受惊向后跳开打了个可爱的喷嚏随后又好奇地凑近用爪子轻拍散落的雪块。背景有一个戴着帽子的小雪人。采用中景、轻微俯角、固定镜头缓慢推进柔和的侧逆光营造出温暖的冬日晨光整体为暖色调写实风格带有童话般的温馨感。音效包括踩雪声、雪球滚动和破裂声、小猫喷嚏声背景是轻快的钢琴童谣音乐。对比与总结通过结构化扩展我们将一个7个字的模糊想法变成了一个超过200字、包含视觉、动态和听觉细节的“导演脚本”。这极大地提高了 AI 生成内容与预期匹配的概率。2.4 使用大语言模型辅助优化手动构思所有细节可能耗时。我们可以利用另一个 AI大语言模型作为“提示词优化助手”。只需将结构化公式作为系统指令System Prompt提供给 LLM如 GPT-4、Claude、Qwen 等然后输入你的简单想法。示例代码Python使用 OpenAI SDK 格式import os from openai import OpenAI # 初始化客户端此处以阿里云百炼为例实际需替换为对应平台的 API Key 和 Base URL client OpenAI( api_keyos.getenv(DASHSCOPE_API_KEY), # 请替换为你的 API Key base_urlhttps://dashscope.aliyuncs.com/compatible-mode/v1, # 请确认 endpoint ) completion client.chat.completions.create( modelqwen-max, # 或 qwen-plus 等模型 messages[ { role: system, content: 你是一个专业的视频提示词优化助手。请根据以下公式将用户简单的视频想法扩展为详细、生动、富含视觉细节的提示词。 公式提示词 主体外观细节 场景时间、地点、环境细节 运动具体动作、节奏 美学控制镜头、光影、色调 风格化 声音描述音效、BGM。 请用一段流畅的英文或中文段落输出最终提示词。 }, { role: user, content: 小猫在雪地里玩雪球 } ], ) print(completion.choices[0].message.content)通过这种方式可以快速获得质量不错的扩展提示词作为进一步微调的基础。3. 案例二图生视频与多角色控制——延续角色与创作故事图生视频Image-to-Video允许我们上传一张或多张参考图让 AI 基于参考图的内容生成视频。这对于角色一致性、特定风格延续至关重要。我们将探讨如何编写提示词来精准控制多角色互动。3.1 场景设定与参考图准备假设我们有两张参考图图1 (Image 1): 一张穿着宇航服在太空背景下的卡通风格狐狸角色图片。图2 (Image 2): 一张充满未来感、有各种控制台和屏幕的太空舱内部图片。目标生成一段视频描述“狐狸宇航员在太空舱内操作控制台突然警报响起它惊讶地回头”的场景。3.2 图生视频提示词公式解析以阿里云万相2.7模型为例其参考生视频公式为提示词 参考指代 动作 场景 台词可选 背景音乐可选参考指代使用图n或视频n来指代上传的参考文件。图和视频分开计数。动作描述主体或其他元素的运动状态。场景主体所在的环境。台词主体的说话内容。如果不需要可以写明“无台词”。背景音乐描述背景音乐风格。如果不需要可以写明“无背景音乐”。3.3 构建提示词根据公式和我们的目标构建提示词如下提示词图1的卡通狐狸宇航员在图2的未来感太空舱内。它正专注地操作着面前发着蓝光的全息控制台手指快速点击着浮空的按钮。突然控制台主屏幕闪烁起刺眼的红色警报光同时响起急促的“嘟嘟”警报声。狐狸宇航员立刻停止操作猛地转过头看向警报来源的方向眼睛睁大耳朵竖起脸上露出惊讶和警惕的表情。太空舱内红色的警报灯光与原本的蓝色操作光交织闪烁。无台词。背景音乐是紧张、充满悬念的电子合成器音乐。关键点解释参考指代清晰图1的卡通狐狸宇航员明确了主体及其来源在图2的未来感太空舱内明确了场景及其来源。这确保了生成视频的角色形象和场景风格与参考图高度一致。动作序列化描述了连贯的动作序列“专注操作” - “警报响起” - “停止操作” - “惊讶回头”。这给了 AI 明确的时间线和情节转折点。环境互动动作与场景元素控制台、屏幕、警报灯紧密结合增强了故事的真实感。感官细节加入了视觉红色警报光和听觉“嘟嘟”警报声、背景音乐描述使提示词更丰满。明确排除明确指出“无台词”避免了 AI 自由发挥添加不想要的对话。3.4 多角色互动与对话控制如果我们的参考素材包含多个角色例如还有一个兔子工程师的参考图作为“图3”并希望它们之间产生互动和对话提示词可以这样写提示词多角色对话图1的狐狸宇航员和图3的兔子工程师都在图2的太空舱内。狐狸指着剧烈闪烁的红色主屏幕紧张地对兔子说“核心反应堆过载了”。兔子工程师迅速跳到一个辅助控制台前一边快速敲击键盘一边冷静地回应“我正在尝试稳定能量输出启动备用冷却系统”。镜头在两者之间切换捕捉它们焦急的表情和快速的动作。背景是持续不断的警报声和机器运转的轰鸣声。在这个例子中我们通过图1的...和图3的...引入了多个参考角色并通过直接引语“...”精确控制了对话内容。模型会尽力让角色的口型与台词匹配。3.5 常见问题与排查在图生视频任务中最容易出现的问题是“角色崩坏”或“动作不符合预期”。问题现象可能原因检查与解决思路生成视频中的角色与参考图差异大1. 参考图主体不清晰、背景杂乱。2. 提示词中“参考指代”描述与图片内容不符。3. 模型能力限制对复杂角色特征保持不佳。1. 使用主体清晰、背景干净的参考图。2. 在提示词中精确描述参考图内容如“图1中那个戴着眼镜的棕色卷发女孩”。3. 尝试使用更高阶的模型如万相2.7或考虑使用角色LoRA等专用微调方法。角色动作僵硬或不符合描述1. 动作描述过于复杂或物理上不可能。2. 提示词中动作与场景、角色属性冲突。3. 动作描述不够具体。1. 描述简单、自然、连贯的动作。避免“瞬间移动”、“分身”等描述。2. 确保动作合理例如“狐狸宇航员在失重状态下漂浮”比“狐狸宇航员大步行走”更合理。3. 使用具体的动词和副词如“缓慢地转身”、“快速地敲击”。多个角色在视频中位置关系混乱提示词未明确描述角色的空间关系和互动方式。在提示词中加入位置和互动描述如“狐狸站在控制台左侧兔子站在右侧它们隔着控制台对视”、“狐狸将工具递给兔子”。4. 高级技巧利用美学词典精细化控制画面除了主体和故事画面的“质感”很大程度上由美学控制词决定。我们可以将其视为一个可调用的“视觉词典”。4.1 核心美学控制维度速查表以下表格整理了几个关键维度的常用提示词可供编写时参考控制维度描述与目的常用提示词示例镜头景别控制画面取景范围突出不同重点。特写近景中景全景广角极端全景拍摄角度改变观看视角影响画面情绪和主体表现力。平拍俯拍仰拍过肩镜头第一人称视角镜头运动增加画面动态感和叙事节奏。镜头缓慢推进镜头拉远镜头向左平移环绕运镜手持晃动感光线与光影塑造物体体积感、定义场景氛围和时间。柔光硬光侧光逆光轮廓光日光阴天光夜晚霓虹灯光色调决定画面的整体色彩情绪。暖色调冷色调低饱和度高对比度黑白赛博朋克色调视觉风格定义画面的艺术处理手法。电影感纪实摄影风格3D卡通像素风格黏土动画水墨画油画质感4.2 组合应用示例假设我们要生成一个“侦探在雨夜调查小巷”的悬疑片段。基础描述一个侦探在雨夜的小巷里调查。加入美学控制低角度仰拍一个穿着风衣的侦探身影在雨夜的小巷中。硬光从头顶唯一的街灯打下在他脸上形成强烈的阴影。冷色调高对比度。镜头缓慢向前推进雨水在路面积水处反射着霓虹灯光。电影感黑色电影风格。通过加入低角度仰拍增加压迫感、硬光和阴影强化悬疑、冷色调营造阴冷氛围、镜头推进引导注意力以及黑色电影风格定义整体美学我们极大地提升了画面的戏剧张力和风格化程度。5. 最佳实践与工作流建议5.1 提示词编写工作流明确核心创意先用一句话写下你最想看到的画面或故事。选择公式框架根据你是文生视频、图生视频还是需要多镜头选择合适的结构化公式。逐项填充细节按照公式的每个部分主体、场景、运动…展开头脑风暴添加尽可能多的、具体的、可视觉化的细节。融入美学词典思考你想要的画面质感从“镜头”、“光影”、“色调”、“风格”等维度添加控制词。优化与精简通读整个提示词确保语句流畅逻辑通顺。移除相互矛盾的描述合并冗余信息。提示词不是越长越好而是越精准越好。迭代生成将提示词输入模型观察生成结果。如果某些部分不理想有针对性地调整提示词中对应的描述然后再次生成。5.2 需要避免的常见错误描述矛盾例如“在漆黑的夜晚”和“阳光明媚”同时出现。过度复杂试图在一个短视频中包含太多角色、场景转换和复杂剧情容易导致模型混淆。忽略物理规律描述不符合常识的动作或场景AI可能无法理解或生成怪异结果。使用模糊词汇避免使用“漂亮的”、“很酷的”、“有感觉的”这类主观形容词。用具体的名词、动词和视觉细节来代替。中文提示词的语法和标点保持语句通顺合理使用逗号、句号分隔不同语义块有助于模型解析。5.3 生产环境下的考量在个人创作或小规模项目中上述方法已足够。若考虑更稳定、可控的生产级应用还需注意提示词模板化为经常生成的内容类型如产品展示、口播视频、特定动画风格建立标准化提示词模板提高效率和质量一致性。参数调优除了提示词关注模型提供的其他参数如seed种子值用于固定随机性实现可重复生成、cfg_scale提示词跟随度值越高越严格遵循提示词但可能降低多样性等。分阶段生成对于复杂视频可以考虑“文生图”生成关键帧再用“图生视频”连接并补间或使用视频编辑软件将多个短片段拼接。后处理AI 生成视频在分辨率、帧率、时长上可能有局限。准备好使用传统视频编辑工具如 DaVinci Resolve, Adobe Premiere进行剪辑、调色、补帧、升分辨率等后处理工作。掌握提示词工程本质上是学习如何将人类模糊的创意翻译成 AI 模型能够精确执行的“机器语言”。通过结构化思维、细节填充和对视觉语言的深入理解你可以从一个被动的“抽卡者”转变为主动的“导演”真正驾驭 AI 视频生成的强大能力。从今天这两个案例开始尝试为你下一个视频创意撰写一份详细的“分镜脚本”吧。