我去年折腾了好几个在线AI创作平台之后终于在某天晚上下定决心必须给自己做一个本地优先的AI图片与视频创作工作台。原因很简单——订阅费越来越贵、云端排队越来越长、权限审核越来越离谱最关键的是我的素材和生成结果全都在别人服务器上想精细管理根本无从下手。这个项目我从零开发到现在代码全部开源核心思路是“独立、开源、本地优先”这篇文章就详细聊聊整个项目的架构设计、技术选型、踩坑记录和实测效果给想做类似工具的朋友一个可参考的完整方案。适用的人群很明确有一定编程基础、需要高频创作AI图片和短视频、对数据隐私有要求、或者单纯厌倦了云端工具各种限制的创作者。无论是想做自媒体内容流水线还是想在企业内网搭一套离线的AI生产力工具这个工作台都能作为起点。1. 为什么我决定自建工作台而不是继续用在线工具1.1 云端工具的三个痛点先说在线工具最让我抓狂的三件事。第一是排队等待尤其是晚上高峰期一张图排队10分钟起步一段3秒视频排队50分钟完全是创作流程的粉碎机。第二是功能割裂文生图一个平台、局部重绘一个平台、视频生成另一个平台每个平台的提示词语法还都不一样素材管理更是分散在各处。第三是可控性差模型更新由平台决定提示词审核时紧时松商业素材的分辨率、格式、元数据标记这些细节几乎不可控。这三个痛点叠加在一起对一个高频创作者来说就是效率黑洞。我算了笔账同样的工作量用本地工具做完的时间大约是在线工具的1/3这还是把模型下载、环境配置这些一次性成本摊进去之后的结果。1.2 “独立 开源 本地优先”这三个词的具体含义很多项目喜欢把“开源”和“本地优先”挂在嘴边但真正把三者落地的很少。我这里定义的边界很硬独立项目不依赖任何特定云厂商的API。底层可以对接不同的推理引擎但核心逻辑、数据格式、编排流程都是自包含的。开源全部代码仓库公开许可证选的是MIT意味着你可以任意修改、商用只需保留版权声明。本地优先默认数据只存在本地包括项目文件、生成记录、模型配置、输出成品。没有网络也能完成全套创作流程。联网功能是可选增强项不是必需项。这三条叠加起来意味着什么意味着你的创作工具是一个真正属于你的工具而不是租来的服务。软件停止开发了代码在你手里模型被下架了本地权重文件还在硬盘里平台改条款了和你没有任何关系。1.3 项目的模块划分与工作流定位整个工作台拆成五个核心模块素材管理模块负责输入图片、参考图的归档和标签模型管理模块负责在线下载、本地导入、版本切换和LoRA挂载生成工作台是主界面负责文生图、图生图、局部重绘、视频关键帧生成批处理队列负责批量跑图、批量放大、批量转视频输出管理模块负责生成结果的分组、对比、导出和版本回滚。工作流的定位很明确面向“单人到小团队”的内容生产场景不搞云端协作不搞多人实时同步把本地创作体验做到极致。这也让项目的复杂度保持在一个可控范围内一个人长期维护也不会被累垮。2. 整体架构与技术选型2.1 架构分层与数据流设计工作台采用前后端分离架构。后端是Python 3.11 FastAPI所有AI推理通过异步任务队列调度前端是Vue 3 TypeScript Vite桌面端用Tauri封装这样打包出来的体积比Electron小一个数量级内存占用也低很多。本地创作工作台的整体数据流 素材导入 → 内容指纹入库 → 标签/分类索引 → 生成参数组组装 → 推理引擎调度 → 候选结果列表 → 手动挑图 / 批量后处理 → 成品归档 → 可回滚版本数据流全是本地管道没有强制外联的环节。即使用户主动关闭了网络的“在线增强”开关整条链路依然完整可用。数据库选了SQLite WAL模式原因下文会专门说。2.2 为什么选Python FastAPI而不是Node.js或Go这个项目核心是AI推理编排生态权重最大。Python有最全的AI工具链diffusers、ComfyUI的后端逻辑、torch的运行时全都能无缝接入。FastAPI天然支持异步配合asyncio队列可以并行调度多个推理任务。选型时也评估过用Go重写推理部分来换取性能但实际测试发现瓶颈在GPU算力和显存带宽不在语言本身Python足够。前端选Tauri而不是Electron是因为需要调用本地文件系统、读取GPU状态、和Python后端通过WebSocket通信——Tauri的Rust侧做这些事非常干净而且最终安装包只有不到8MB内存占用稳定在120MB上下。2.3 数据模型文件指纹、参数快照与可追溯性老话讲“没有元数据的素材库等于垃圾堆”这个项目在数据模型上花了很大心思。每个导入的素材文件都会计算SHA-256指纹指纹作为主键避免同一张图在不同目录下被重复索引。每次生成操作都会保存一份完整的参数快照包括模型ID、采样器、步数、CFG Scale、种子、提示词、负提示词、LoRA挂载列表和对应的权重值。这样一来任何一张生成图都能精确回溯到它的生成参数复现变得无比简单。数据库表结构里最关键的是generation_records和parameter_snapshots这两张表。前者记录每次生成任务的时间、状态、耗时和输出路径后者用JSON字段存储完整参数和前者是一对一关系。查询时按时间倒序即可展示历史生成记录点任何一条记录都能一键复现当时的全部参数。3. 图片创作核心流程拆解3.1 文生图 / 图生图的Pipeline设计文生图的完整pipeline我分成了七个阶段提示词解析、负面提示词优化、分辨率决策、模型加载、采样推理、潜空间解码、后处理保存。其中提示词解析不是简单的字符串转发而是先经过一个本地轻量级解析器做关键词拆解自动修正明显的语法错误再把处理后的提示词传给推理引擎。分辨率决策阶段会用一条规则引擎来适配模型的原生分辨率避免因为拉伸导致生成的图片比例畸形。比如Stable Diffusion XL原生分辨率是1024x1024如果用户想生成竖构图就会自动切到832x1216而不是简单拉伸。采样推理阶段支持DPM 2M Karras、Euler A、DDIM等常用采样器默认用DPM 2M Karras步数默认28在质量和速度之间取平衡点。3.2 模型仓库与LoRA管理模型管理模块是一个本地模型仓库支持扫描指定目录自动识别模型类型大模型、Textual Inversion、LoRA、VAE然后从文件名和附带的配置文件里抽取基础信息写入数据库。用户可以直接在界面上切换底模、挂载LoRA、调整权重所有组合都会保存为“预设风格”下次一键调用。LoRA管理是我觉得最有价值的部分。很多创作者下载了几百个LoRA但根本记不住每个LoRA对应的触发词和效果。这里允许给每个LoRA添加预览图、触发词、说明标签还可以把多个LoRA组合成一个风格预设。实测下来日常创作中启用“预设风格”的次数占了全部生成操作的60%以上效率提升非常明显。3.3 局部重绘与后处理链路局部重绘这块没有自己造轮子直接封装了diffusers的paint pipeline但在交互层面做了不少增强。用户可以在画布上用笔刷涂抹需要重绘的区域也可以加载一张蒙版图进行精确控制。重绘强度、羽化半径、蒙版膨胀这些参数都暴露在界面里方便微调。后处理链路包括高清放大、面部修复、背景扩展和格式转换。高清放大默认接的是Real-ESRGAN也支持ESRGAN变体。面部修复统一走GFPGAN实测对亚洲人脸型的还原度比CodeFormer默认参数更自然后者容易把脸修得过于“塑料感”。格式转换主要是PNG、JPEG、WebP之间的互转同时写入EXIF信息包含生成参数快照这样就实现了“图片自带配方”的效果。4. 视频生成与帧级控制的实现4.1 关键帧驱动的视频生成方案视频生成是工作台里复杂度和趣味性都最高的模块。我采用关键帧驱动的方案先在时间轴上定义若干帧的关键描述包括画面构图、主体动作、镜头移动方式然后逐帧生成关键帧图片最后通过插值模型生成中间过渡帧形成连续视频片段。关键帧之间的插值处理我对比了几种方案最后选了RIFE插帧模型配合自研的过渡策略。过渡策略的核心是判断两个关键帧的差异度差异小的时候走单纯插帧差异大的时候先做风格对齐再插帧否则会出理中间帧画面撕裂或闪烁。这个判断阈值我调了很久目前设置为SSIM小于0.3时必须走风格对齐路径。4.2 本地视频推理的显存优化视频推理最头疼的就是显存。4090的24GB显存看似充裕但跑视频生成模型时一长串帧的中间激活值很容易把显存撑爆。优化方案是切片时间步推理不一次性把所有帧都喂给模型而是按时间窗切段每段处理后释放中间激活值只保留该段最终的输出帧。这样单次占用显存从峰值17GB降到了9GB左右。另一个优化是半精度权重加载。默认用FP16加载视频模型权重实测生成质量与FP32差距肉眼几乎不可见显存占用却降低了接近一半。如果显存小于8GB还可以开启8bit量化但质量损失比较明显我一般不建议为了省显存牺牲画质。4.3 音频合成、剪辑集成与导出设置视频模块不只是生成画面还内置了音频合成能力。FFmpeg封装了一层支持背景音乐导入、音量自动归一化、静音段检测和简单的转场音效叠加。导出环节支持H.264和H.265编码码率可以自定义默认输出1080p 30fps。如果需要超分辨率输出可以在导出前调用Real-ESRGAN视频版本对每一帧做放大但耗时显著增加一般1080p内容不需要这步。剪辑集成是用一个项目级时间轴完成的。每次生成完的视频片段会作为一个clip出现在剪辑轨道上可以拖拽排序、裁剪长度、调整透明度、叠加字幕。导出整个时间轴时后端会调用FFmpeg完成拼接拼接过程中自动处理帧率和编码格式的一致性。5. 本地优先隐私、数据与离线可用性的平衡5.1 数据不出本机的设计细节“本地优先”不是嘴上说说。整个软件启动后默认没有任何外部网络请求。模型下载、更新检查、插件拉取都是用户主动触发才执行。所有生成结果、中间缓存、日志文件都存储在用户指定的本地数据目录里。这个目录结构清晰models放权重文件outputs放生成结果cache放临时文件user_data放用户自定义预设。最容易被忽略的是统计上报。很多工具虽然主功能本地化但后台偷偷上报使用数据。这个项目的设计原则是“默认关闭一切遥测”而且上报功能根本不存在不是默认关闭是压根没有写这个功能。5.2 本地模型仓库与镜像加速策略本地模型仓库最怕的是初次下载大模型时的网络问题。项目内置了多镜像源切换机制用户可以手工配置多个下载源比如HuggingFace官方源、镜像源、或者本地局域网内的缓存服务。下载采用分块断点续传中断后重新拉起会自动从断点继续不用从头开始。模型下载完成后会写入一个本地索引文件包含模型ID、SHA-256校验值、文件大小、适用框架版本号。后续加载模型时首先校验文件完整性不完整或损坏会给出重新下载的提示避免加载到一半报错浪费时间。5.3 多设备同步的取舍与方法既然是本地优先多设备同步怎么做我的方案是“同步主数据库 同步素材目录”业界常见的Syncthing方式。SQLite数据库在WAL模式下支持并发读取Syncthing同步时不会出现文件锁问题。素材目录则按内容指纹分片存储同步工具只传增量文件。这套方案做不到云端的实时协作但单人或小团队完全够用。我自己的使用方式是办公电脑和工作站在同一个局域网内Syncthing每30秒同步一次实际上已经接近实时协作体验了。6. 实测数据与性能调优6.1 我的硬件配置与基准测试环境测试主力机配置i7-13700K、RTX 4090 24GB、64GB DDR5内存、NVMe SSD 2TB。对比机型是一台RTX 3060 12GB的旧笔记本用来测试低显存场景的降级表现。基准测试用的是项目内置的benchmark脚本分别测文生图1024x1024、28步DPM、图生图、局部重绘、视频关键帧生成5秒、30fps几个核心任务记录耗时和显存峰值。6.2 各项任务的耗时与显存数据任务场景RTX 4090耗时峰值显存RTX 3060耗时峰值显存文生图单张2.1秒8.2GB6.8秒6.1GB批量文生图10张14.5秒10.4GB52.3秒7.8GB局部重绘单张1.8秒7.6GB5.9秒5.8GB视频生成5秒片段38秒9.7GB112秒7.2GB高清放大4x6.5秒6.8GB18秒5.4GBRTX 3060在开启切片时间步推理后视频生成可以稳定运行在7.2GB显存内说明优化逻辑对中低端显卡同样有效。文生图在两种显卡上的速度差异明显但对单个用户来说RTX 3060的6.8秒单张耗时已经比云端排队要快得多。6.3 显存碎片化与内存管理的调试过程调试过程中最典型的性能问题是显存碎片化。长时间连续生成后显存碎片化导致可用显存下降到理论值的一半以下即使显存总量没变新的推理任务也会OOM。解决方法是引入显存整理机制。每次推理任务完成后做一次轻量级的CUDA缓存清理将不再使用的显存块合并释放。同时模型加载器支持按需加载从文生图切到视频生成时自动把文生图模型从显存卸载再加载视频模型。这个“只能有一个主模型常驻显存”的约束在实际使用中几乎没有带来不便却解决了大量显存冲突问题。7. 踩坑记录三个让我熬夜的问题7.1 SQLite在WAL模式下的性能抖动项目初期我评估过SQLite作为主数据库是否够用理论上几百GB数据加几万条生成记录完全不会有问题。但实际使用一个月后遇到了一个诡异的问题数据库文件越来越大同一查询的响应时间从10ms级劣化到了300ms级。排查后发现是因为generation_records表里有个字段存储了Base64缩略图一张图几十KB积累几万条记录后数据库文件膨胀到好几个GB。实际施行的解决方法是把缩略图拆出来存成独立文件数据库里只保留文件路径这个调整让数据库体积缩到了原来的1/10查询响应恢复到了毫秒级。提示本地优先工具同样要有数据治理意识。不是“所有数据都应该进数据库”而是“只有需要检索的元数据才进数据库”文件本身留在文件系统里就好。7.2 批量生成时“内存泄漏”的假象开发批处理队列时连续跑500张图之后内存占用稳定攀升从基线2GB涨到了8GB。最初怀疑是某个库的内存泄漏后来排查发现罪魁祸首是Python的垃圾回收机制和显存清理不同步。具体原因是每张图的中间结果潜空间张量、解码后的PIL图像会被Python的引用计数暂时持有而显存清理函数释放的是CUDA显存而非Python对象。要真正释放内存需要同时做三件事把PIL图像对象设为None、调用torch的垃圾回收、在CUDA层面清理缓存。在批处理循环的每一轮结尾显式执行这三个过程后内存占用回到了稳态。7.3 视频拼接时的音画不同步问题视频模块开发到后期导出时间轴时经常出现音画不同步通常是导出时间越长音频滞后越明显。排查到最后问题出在FFmpeg拼接参数上。各视频片段原始帧率存在微小差异有的30.00fps有的29.97fps直接拼接时FFmpeg会按照时间戳重新映射长时间累积下来音画偏移就显现出来了。修复方案是统一转码拼接前把每个片段的音频重采样到48kHz、视频强制转成精确的30fps而非29.97fps并且设置-vsync cfr参数强制恒定帧率。这样输出的视频在长时间播放的音频画面首次完全同步了。8. 后续扩展方向与项目信息8.1 插件系统从“够用”到“好用”的必经之路当前项目是单体架构的完整工作台但我在设计时就预留了插件系统的接口。插件可以注册新的UI面板、新的采样器、新的后处理算法、新的输入源。其中最典型的插件场景是接入新的AI模型比如某个模型发布后无需等待主程序更新插件可以自动适配并挂载进现有pipeline。插件系统目前还在早期版本优先支持的是“生成参数组”级别的插件而不是底层推理级别的插件——后者需要定义复杂的抽象接口前期容易陷入过度设计。等核心API稳定后底层推理插件也会逐步开放。8.2 当前版本与获取方式当前可用版本是v0.4.2核心功能覆盖文生图、图生图、局部重绘、LoRA管理、关键帧视频生成、时间轴剪辑、批量任务队列和数据同步。仓库地址在GitHub上搜索项目名就可以找到代码全部开源许可证是MIT。Release页面提供了Windows、macOS和Linux的安装包也支持从源码自行构建。如果你熟悉Python和TypeScript技术栈建议直接从源码跑起来这样改起来顺手。构建流程的详细说明都在仓库的README里包括依赖安装、环境变量配置、前端构建和后端启动的完整步骤。8.3 适合自己搭建还是直接用在线工具做这个项目一年我最大的感受是本地优先工具的真实价值不在于“省了多少钱”而在于“重新拿回了对创作流程的掌控权”。在线工具像租车方便但受条款约束本地工具像自己买车前期折腾但之后完全自由。如果你每天只生成十几张图对隐私不太敏感完全没必要折腾本地部署但如果你每天有成百上千次生成需求、需要批量处理素材、要跟团队共享一个统一风格或模型库或者身处网络安全要求较高的生产环境那么本地部署这套工作台的投入产出比非常可观。根据我个人这段时间的使用体验最推荐的上手路径是先在仓库的Release页面下载和自己系统对应的安装包导入两个常用模型跑通文生图和视频生成的基本流程然后开始接触模型管理和预设功能。等整个流程熟练之后再看源码去理解内部设计的逻辑这时候你就真正拥有了一套属于自己的AI创作基础设施。