【免费下载链接】lingbot-world-v2Infinite Worlds with Versatile Interactions项目地址https://gitcode.com/gh_mirrors/li/lingbot-world-v2点击查看免费下载LingBot-World 2.0又称 LingBot-World-Infinity是一款开源的无限交互世界模型给它一张图片和一段相机轨迹AI 就能让镜头按你的指令飞起来持续生成可交互的 720p 视频流。本文带你弄懂它的两大控制通道——Plücker 嵌入相机控制与WASD 动作输入——如何把运镜这件事交给算法。 一句话认识 LingBot-World 2.0LingBot-World 2.0 基于 Wan2.2 构建主打四项升级无界交互时长因果生成 KV 缓存、实时响应蒸馏模型可驱动 720p/60fps、丰富的交互动作攻击、射箭、施法、射击等以及智能体系统pilot 规划角色行为、director 生成新场景元素。与文生视频不同它是一个交互式世界模型你每走一步或镜头每转一个角度它就实时生成下一段画面。而控制它的关键正是本文的主角——相机轨迹与动作输入。 准备三份操控输入图片、提示词与相机路径打开 generate.py 可以看到一次生成需要三个核心参数generate.py参数作用示例--image首帧画面世界从这张图开始examples/04/image.jpg--prompt文本提示词描述世界氛围与运动长城飞行提示词--action_path相机路径目录重点examples/03--action_path指向的目录里装着相机控制的全部信息以 examples/00 为例poses.npy(帧数, 4, 4)的相机到世界c2w矩阵OpenCV 坐标系。例 00 中共 961 帧完整描述了镜头从哪出发、怎么平移、怎么旋转intrinsics.npy(帧数, 4)的内参矩阵[fx, fy, cx, cy]记录镜头焦距与光心wasd_action.npy、ijkl_action.npy、action.npy逐帧动作序列下一节详解prompt.txt配套的英文场景提示词。 内参按 480×832 记录代码会通过get_Ks_transformed自动缩放到实际输出分辨率cam_utils.py所以换分辨率不用改数据。 Plücker 嵌入的魔法把相机轨迹翻译成像素级光线这是本项目相机控制最精妙的部分。模型并不能直接看懂 4×4 矩阵于是 cam_utils.py 做了三步转换第 1 步姿态插值。interpolate_camera_posesL7-L40把原始相机轨迹重采样到生成所需的帧数——平移用线性插值旋转用 Slerp 球面插值保证转镜头时不跳帧、不闪跳。第 2 步逐帧相对位姿。compute_relative_posesL56-L75把绝对位姿换算成相对上一帧走了一步多少并把平移缩放到约 1 个标准差简化模型学习。第 3 步Plücker 嵌入。这是核心——对每一帧的每一个像素从相机在哪和镜头参数推出一条 3D 空间射线用 6 个数表示3 个起点坐标 3 个方向向量即rays_o rays_dL95-L129每个像素 → 一条3D光线 → 6维Plücker向量为什么用光线而不是矩阵因为像素就是光线的投影。给模型每个像素来时的光线它就能精确理解这一帧画面里每个点是从哪个视角、哪个位置看过去的。镜头左移所有光线的起点和方向同步变化——运镜意图就这样被无损地注入了模型。在 image2video.py 中Plücker 嵌入还会按 VAE 压缩比例时间 4 倍、空间 8 倍池化到潜变量网格上按chunk_size分块后送入 DiT。 WASD 动作输入让角色走起来而不只是飞相机轨迹管镜头动作序列管角色。示例目录中的动作文件都是(帧数, 4)的 one-hot 编码文件含义编码方式wasd_action.npy角色移动4 维 one-hot前进 / 后退 / 左移 / 右移ijkl_action.npy镜头朝向4 维 one-hot上 / 左 / 下 / 右视角action.npy组合动作移动 朝向叠加可为全 0 静止比如 examples/01 的wasd_action.npy中出现了全部 4 个方向向量说明这条轨迹里角色依次执行了前进、后退、左移、右移而 examples/05 的ijkl_action.npy整段为[1,0,0,0]表示镜头一直朝一个方向看。模型侧也已就绪model_causal.py 中control_type支持cam6 维 Plücker 相机嵌入和act7 维动作嵌入含 WASD 移动。当前发布的 fast 推理代码中WASD 通道预留了与 Plücker 嵌入直接拼接的接口image2video.py实际由相机路径驱动生成动作文件可作为你自定义交互序列的参考格式。⚙️ 模型如何听懂指令DiT 相机注入层Plücker 嵌入进入 DiT 后每个 Transformer 块都有一套专属的相机注入层model.pyPlücker嵌入 → Linear → SiLU → Linear残差连接→ 生成 scale 与 shift x (1 cam_scale) · x cam_shift也就是说相机指令以缩放 偏移的方式逐层调制特征——镜头飞得快一点、转一个弯每一层的隐状态都被同步微调。文本提示词、首帧图像则走交叉注意力通道三者各司其职。♾️ 分块因果生成飞 361 帧、乃至无限长世界模型最怕飞着飞着就忘了前面的世界。LingBot-World 2.0 用分块因果 滑动 KV 缓存解决视频按chunk_size4潜帧分块生成蒸馏 fast 模型每块只需4 步去噪image2video.pyKV 缓存只保留最近local_attn_size窗口的注意力历史配合sink_size个注意力沉帧锚定首段画面实现无界交互时长而显存不爆炸wan_i2v_A14B.py。 动手实操5 分钟跑通第一段 AI 镜头飞行1. 克隆仓库并安装依赖基于 Wan2.2 生态需torch 2.4.0与flash-attngit clone https://gitcode.com/gh_mirrors/li/lingbot-world-v2 cd lingbot-world-v2 pip install -r requirements.txt2. 下载 14B causal-fast 模型权重到本地见 README.md 中的 huggingface-cli / modelscope 命令。3. 一行命令起飞——仓库自带的 run_fast.sh 就是现成的 8 卡模板bash run_fast.sh lingbot-world-v2-14b-causal-fast 361核心参数速查表参数说明推荐值--size输出分辨率宽高比跟随输入图480*832/1280*720--frame_num生成帧数必须为 4n1361--local_attn_sizeKV 缓存窗口帧18--sink_size注意力沉帧数6--ulysses_size序列并行卡数8❓ 新手 FAQ只想转镜头不想平移保持poses.npy的平移部分为 0只改旋转矩阵即可Plücker 嵌入会自动反映纯旋转运镜轨迹帧数和生成帧数对不上不用手动对齐interpolate_camera_poses会自动插值/截断到所需长度想要更长视频直接调大--frame_num保持 4n1滑动 KV 缓存会保证时长无上限。写在最后从图片 一段 4×4 矩阵到AI 镜头自由飞行LingBot-World 2.0 的路径非常清晰相机姿态 → 逐帧相对位姿 → Plücker 光线嵌入 → DiT 逐层注入再叠加 WASD 动作通道就构成了一个可无限延展的交互世界。打开 examples/ 里的任意一个目录换上你的首帧图片和提示词你的第一段 AI 运镜视频只差一条命令。赞分享【免费下载链接】lingbot-world-v2Infinite Worlds with Versatile Interactions项目地址https://gitcode.com/gh_mirrors/li/lingbot-world-v2点击查看免费下载相关推荐AI镜头控制技术深度测评六自由度相机操控如何重塑视觉创作边界AI镜头控制技术深度测评六自由度相机操控如何重塑视觉创作边界 Qwen Edit LoRA模型作为AI图像生成领域的突破性技术通过低秩适配实现了从文本指令到人工智能大模型深度学习计算机视觉深入解析 react-360-controlsReact 360 无头显场景下的相机控制与输入光标系统深入解析 react 360 controlsReact 360 无头显场景下的相机控制与输入光标系统 react 360 controls 是 React前端3D渲染Super Splat项目中的WASD相机控制功能解析Super Splat项目中的WASD相机控制功能解析 在3D建模和场景编辑工具中相机控制是用户体验的核心组成部分。近期Super Splat项目社区中提出图形学3D渲染创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考