【免费下载链接】InternVL2_5-26B-MPO-AWQ项目地址https://ai.gitcode.com/OpenGVLab/InternVL2_5-26B-MPO-AWQ点击查看免费下载InternVL2.5-26B-MPO-AWQ 是上海 AI Lab 开源的多模态大模型 InternVL2.5-26B-MPO 的 AWQ 4-bit 量化版本配合 LMDeploy 推理框架可以在单张消费级显卡上快速完成图片问答、多图理解和视觉推理。本文带你走完「安装环境 → 运行第一条图片问答」的完整流程并附上多轮对话与 API 服务部署方法。 这个模型是什么InternVL2.5-26B-MPO 基于「ViT-MLP-LLM」架构由三部分组成模块组件说明视觉编码器InternViT-6B-448px-V2_545 层 ViT动态分辨率支持多图语言模型internlm2_5-20b-chat48 层6144 隐藏维度对齐方式MPO混合偏好优化提升推理与减少幻觉能力本仓库的-AWQ后缀表示语言部分已做AWQ 4-bit 量化见 config.json 中的quantization_configbits: 4、group_size: 128整个模型权重约23.3 GB见 pytorch_model.bin.index.json显存占用大幅下降这是普通用户能本地部署 26B 多模态模型的关键。几个值得注意的配置细节均可在 config.json 中查到force_image_size: 448图像按 448×448 分块tile处理dynamic_image_size: truemax_dynamic_patch: 12动态分辨率最多切 12 块downsample_ratio: 0.5像素反排布视觉 token 数量减少到 1/4 第一步搭建 LMDeploy 推理环境LMDeploy 是 OpenMMLab 推出的大模型压缩、部署与服务化工具包它把多模态模型的复杂推理抽象成和 LLM 一样简单的 pipeline只需一条命令安装pip install lmdeploy0.6.4 提示Turbomind 后端需要 NVIDIA 显卡 CUDA 环境若出现ImportError按终端提示补装依赖即可。️ 第二步发出第一条图片问答创建一个hello_internvl.py脚本内容如下完整示例见 README.md 的 Deployment 章节from lmdeploy import pipeline, TurbomindEngineConfig from lmdeploy.vl import load_image model OpenGVLab/InternVL2_5-26B-MPO-AWQ image load_image(tiger.jpeg) # 换成你本地的图片路径 pipe pipeline(model, backend_configTurbomindEngineConfig(session_len8192)) response pipe((describe this image, image)) print(response.text)运行后模型会输出一段对图片内容的文字描述。整个过程 LMDeploy 会自动下载量化权重、构建 TurboMind 引擎、调用视觉编码器与语言模型——你只需要一行pipeline(model)。 进阶玩法多轮对话与 API 服务多轮对话使用pipe.chat接口即可保持上下文实现「先描述图片 → 再追问图中人物在做什么」gen_config GenerationConfig(top_k40, top_p0.8, temperature0.8) sess pipe.chat((describe this image, image), gen_configgen_config) sess pipe.chat(What is the woman doing?, sessionsess, gen_configgen_config)多图理解把多张图放进一个列表传入pipe多张图会占用更多 token记得调大session_len。一条命令启动 OpenAI 兼容 API 服务lmdeploy serve api_server OpenGVLab/InternVL2_5-26B-MPO-AWQ --server-port 23333启动后可用openaiSDK 以base_urlhttp://0.0.0.0:23333/v1调用无缝接入现有应用。 常见问题排查问题解决方法运行时报ImportError按提示安装 LMDeploy 提示的依赖包显存不足OOM该 AWQ 版本权重约 23.3GB建议 24GB 显存或调小session_len多图推理被截断多图会显著增加输入 token调大session_len找不到模型确认lmdeploy0.6.4版本旧版不支持该模型结构想深入了解模型实现可以查看仓库内的源码文件视觉塔 modeling_intern_vit.py、语言模型 modeling_internlm2.py 以及整体对话结构 modeling_internvl_chat.py。✅ 小结用 5 分钟你已完成① 安装 LMDeploy 推理环境② 跑通 InternVL2.5-26B-MPO-AWQ 的第一条图片问答③ 掌握了多轮对话与 API 服务部署。AWQ 量化让 26B 级多模态模型走进单卡本地部署后续可以基于 API 服务把它接入自己的产品实现 OCR、图表理解、视觉推理等能力。赞分享【免费下载链接】InternVL2_5-26B-MPO-AWQ项目地址https://ai.gitcode.com/OpenGVLab/InternVL2_5-26B-MPO-AWQ点击查看免费下载相关推荐InternVL2.5-26B-MPO-AWQ 能做什么一张图看懂 26B 多模态推理模型的 5 大核心能力InternVL2.5 26B MPO AWQ 能做什么一张图看懂 26B 多模态推理模型的 5 大核心能力 InternVL2.5 26B MPO AWQbloom快速上手5分钟搭建第一个LLM行为评估环境bloom快速上手5分钟搭建第一个LLM行为评估环境 Bloom是一款强大的自动化LLM行为评估工具能够帮助开发者快速检测大语言模型的各种行为表现如谄媚、5分钟快速上手ChineseOCR从环境搭建到第一个识别结果ChineseOCR是一款基于YOLO3和OCR技术的强大中文文字识别工具能够快速识别身份证、火车票等多种文档中的文字信息。这个简单易用的开源项目让文字识别变计算机视觉深度学习后端上一篇医学影像肺部分割完整教程基于AI的自动化解决方案下一篇重新定义时间管理体验Etar开源日历的10个独特魅力创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考