【免费下载链接】liftExtract structured data from documents quickly and accurately.项目地址https://gitcode.com/gh_mirrors/lift21/lift点击查看免费下载lift是一个 9B 视觉语言模型项目专门用于从 PDF 和图片中快速提取结构化 JSON 数据你只需传入一个 JSON Schema它就能返回与 Schema 完全对齐的结果并通过 Schema 约束解码保证输出合法。本文面向准备上线的工程师和新手用户手把手讲清lift 生产部署的核心路径如何用一条lift_vllm命令启动 vLLM Docker 推理服务以及项目内置的10 种 GPU 显存自动调优机制是如何为你省下心思的。为什么生产环境推荐 vLLM 而不是本地推理lift 提供两种推理模式见 README.md模式命令适用场景hfHuggingFacepip install lift-pdf[hf]本地单机、快速验证vllmvLLM 服务pip install lift-pdf生产部署、批量处理默认vLLM 模式的意义在于lift 会把一个文档的所有页面打包进单个请求每页约 1k token多路并发、前缀缓存、批处理调度这些高吞吐特性正好是 vLLM 的强项。官方基准测试中lift 以90.2% 字段准确率和9.5s 中位延迟在 9B 级开源模型中表现突出一键启动步骤Docker 版 vLLM 服务前置准备一台装有 NVIDIA GPU 和 Docker含 nvidia-container-toolkit的机器Python 3.12pip install lift-pdf启动服务lift_vllm # 默认按 H100 配置启动 lift_vllm --gpu a100-80 # 按你的实际 GPU 类型自动调优这一条命令背后lift/scripts/vllm_launcher.py 会组装并执行一条完整的docker run命令关键点包括使用vllm/vllm-openai:v0.22.0镜像--gpus指定卡号默认0挂载~/.cache/huggingface到容器内模型权重缓存复用二次启动不用重新下载--enable-prefix-caching开启前缀缓存重复 Schema 前缀的请求可直接命中--max-model-len 131072lift 采用混合注意力架构KV cache 很小超大上下文窗口代价很低因此单请求可容纳长文档--gpu-memory-utilization .85将显存占用控制在 85%为系统留余量--mm-processor-kwargs {min_pixels: 3136, max_pixels: 861696}约束页面图片分辨率服务就绪后监听http://localhost:8000/v1服务名默认lift。 如果当前 vLLM 版本的 MTP 投机解码已趋稳定可以追加--mtp参数启用默认关闭源码中注明其在部分 vLLM 版本上不稳定。10 种 GPU 显存自动调优是怎么工作的不同显存的卡吞吐上限差异巨大。手动调--max-num-batched-tokens和--max-num-seqs很容易要么 OOM、要么吞吐不足。lift 的解法是以 H100 80GB 为基准按显存比例缩放两个关键参数逻辑见 vllm_launcher.pyratio 你的显存GB / 80 max_batched_tokens max(1024, 8192 × ratio 向下取 2 的幂) max_num_seqs max(8, 64 × ratio 向下取 8 的倍数)完整支持列表如下共 10 种其中a100与a100-40为同卡别名GPU 类型显存自动 max-num-batched-tokens自动 max-num-seqsh100/a100-8080 GB819264l40s48 GB409632a100/a100-4040 GB409632a10/l4/4090/309024 GB204816t416 GB10248传入了未知型号时会直接报错并列出全部可用值例如Unknown GPU l40. Available: 3090, 4090, a10, ...方便自查。客户端接入lift_extract 对接远程服务服务启动后客户端保持轻量无需安装 torch# 单文件提取Schema 指向 JSON 文件 lift_extract input.pdf ./output --schema schema.json # 批量处理整个目录限定页面范围 lift_extract ./documents ./output --schema invoice --page-range 0-5,8几个生产相关细节配置即环境VLLM_API_BASE、VLLM_MODEL_NAME、VLLM_GPUS等全部可通过环境变量或local.env文件覆盖定义见 lift/settings.py多机部署时改一行VLLM_API_BASE即可指向远端服务自动重试客户端内置重试机制默认 6 次检测到模型复读 token 或服务错误会自动退避重试逻辑见 lift/model/vllm.pySchema 约束解码请求会携带response_format: json_schema从解码层面保证输出合法Schema 编写建议保持简单——string/number/integer/boolean、数组和嵌套对象均可避免enum、anyOf/oneOf、$ref等无法编译的语法否则约束解码会被跳过。项目自带的 lift/schemas/invoice.json 是不错的起步模板生产部署检查清单✅pip install lift-pdf客户端与启动器共用安装很轻✅lift_vllm --gpu 你的卡型启动服务确认日志中打印的max-num-batched-tokens与上表一致✅ 用curl http://localhost:8000/v1/models或一条lift_extract小样本验证连通性✅ 将VLLM_API_BASE下发到各业务机器本地部署默认值即可✅ 批量任务直接用lift_extract 目录 输出目录失败样本的原始模型输出会写入文件名_metadata.json便于排查⚠️ 注意代码采用 Apache 2.0 协议但模型权重使用修改版 OpenRAIL-M 许可商用自托管前请确认许可范围见 MODEL_LICENSE。至此从 Docker 启动到 GPU 显存调优再到客户端接入lift 的生产部署链路已全部打通——选对 GPU 型号参数剩下的交给lift_vllm自动完成即可。赞分享【免费下载链接】liftExtract structured data from documents quickly and accurately.项目地址https://gitcode.com/gh_mirrors/lift21/lift点击查看免费下载相关推荐Violin Docker生产部署实战ComposeCaddy一键上线自动开启HTTPSViolin Docker生产部署实战ComposeCaddy一键上线自动开启HTTPS Violin 视频翻译服务的生产级部署方案 Violin 是一款自托管 Paseo Hub从 npx 一键启动到 PostgreSQL、Docker Compose 与 Fly 的生产化部署指南自托管 Paseo Hub从 npx 一键启动到 PostgreSQL、Docker Compose 与 Fly 的生产化部署指南 Hub 是 Paseo 的GPT-Crawler与自动化部署一键部署到生产环境GPT Crawler与自动化部署一键部署到生产环境 引言从手动操作到自动化部署的转型 你还在为GPT Crawler的部署流程繁琐而烦恼吗从环境配置到容人工智能AI 应用RAG网页爬虫创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考