Vision-Agents 实时视频风格迁移5 分钟让摄像头画面变成动画【免费下载链接】Vision-AgentsOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Streams edge network for ultra-low latency.项目地址: https://gitcode.com/GitHub_Trending/vi/Vision-AgentsVision-Agents 是 Stream 出品的开源框架用来快速搭建语音和视觉智能体。它的 Decart 插件可以把你的摄像头画面做实时视频风格迁移普通视频通话瞬间变成动画风格你只需要一个 API Key 和十几行代码。当视频通话碰上实时风格迁移 场景很直观你开着一场视频通话对方看到的不是一张真实的人脸而是一个随你动作、表情同步的动画角色背景也一并被重绘成动画里的场景。全程不离线渲染、不上传视频文件画面延迟低到可以正常对话。上图为 mirage 模型的实时风格迁移演示画面里的人被逐帧转换成插画风格动作保持不变风格逐帧跟随。这正是RestylingProcessor跑在通话里的效果。实时视频风格迁移的最短跑通路径先 clone 仓库git clone https://gitcode.com/GitHub_Trending/vi/Vision-Agents进入plugins/decart/example目录后用uv sync一次性装好依赖示例已声明好 vision-agents 及 openai、decart、elevenlabs、deepgram、getstream 等插件。接着创建.env文件填入两家的密钥DECART_API_KEYyour_decart_key STREAM_API_KEYyour_stream_key STREAM_API_SECRETyour_stream_secret然后写最小可运行代码核心就是把处理器挂到 Agent 上from vision_agents.core import Agent, Runner, User from vision_agents.plugins import decart, getstream, openai processor decart.RestylingProcessor( initial_promptStudio Ghibli animation style, modellucy_2_rt, ) llm openai.LLM(modelgpt-5) agent Agent( edgegetstream.Edge(), agent_userUser(nameStyled AI, idagent), instructionsBe helpful, llmllm, processors[processor], )跑起来后uv run decart_example.py run会创建一场通话并在浏览器打开演示界面你进线后摄像头画面就会被实时转成吉卜力风格LLM 还能正常跟你语音对话。完整写法参考 plugins/decart/example/decart_example.py。一帧视频如何变成动画原理速览不用了解细节也能看懂的链路是这样的RestylingProcessor拿到你的本地视频轨道后通过 WebSocket 把帧持续推给 Decart 的实时推理接口服务端模型按你给的初始提示词比如 Studio Ghibli animation style逐帧重绘再把处理后的帧沿同一条连接发回来处理器把这些帧包装成一条全新的视频轨道发布到通话里。你看到的动画版自己就是这条轨道。提示词在这里就是风格旋钮——它决定了每一帧往哪个方向重绘。除了文本还支持在连接时传一张参考图initial_image接受字节、本地路径、URL、data URI 或 base64画面会以图中元素为基准来生成这是后面换装能力的基础。连接断开时处理器会自动重连通话中途掉线不用手动恢复。运行时换风格动态提示词的进阶玩法 ⚡初始风格只是起点真正有意思的是运行中随时换。把下面这段注册为 LLM 的工具函数后用户用嘴说把画面变成暴风雨之夜LLM 就会调用它改风格llm.register_function( descriptionChange the video style prompt ) async def change_style(prompt: str) - str: await processor.update_prompt(prompt) return fStyle changed to {prompt}效果是提示词一变接下来推流的每一帧都按新风格渲染画面平滑过渡不用重连。update_state(prompt..., image...)还能把提示词和参考图一起原子替换官方示例就靠它做虚拟试穿——你说给我穿上超人装画面里的人就换装不会出现新旧状态混杂的半更新帧。实时视频风格迁移适合谁用做视频通话产品的团队给通话加一层特效滤镜且是生成式的不是套模板。内容创作者和主播直播画面实时转风格节目形态直接拉开差距。互动应用开发者让 LLM 根据对话内容驱动画面变化把聊天变成演出。想试生成式视频但不想自建推理链路的开发者一条 WebSocket 连接替代整个管线。完整文档见 plugins/decart/README.md。下一步建议直接打开plugins/decart/example跑通示例再按你自己的风格提示词和参考图改造半小时就能出自己的版本。【免费下载链接】Vision-AgentsOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Streams edge network for ultra-low latency.项目地址: https://gitcode.com/GitHub_Trending/vi/Vision-Agents创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考