CharacterGLM-6B 角色扮演对话部署实战：Streamlit WebDemo 与命令行 Chat 全流程指南

发布时间：2026/9/21 1:22:47

CharacterGLM-6B 角色扮演对话部署实战：Streamlit WebDemo 与命令行 Chat 全流程指南
CharacterGLM-6B 角色扮演对话部署实战Streamlit WebDemo 与命令行 Chat 全流程指南【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/datawhalechina/self-llm导读本文以 Datawhale 开源项目 self-llm 中的 models/CharacterGLM/03-CharacterGLM-6B-chat.md 为核心系统讲解在 AutoDL 云端 GPU 服务器上部署 CharacterGLM-6B 对话模型的两条主线Streamlit 图形化 WebDemo与命令行 CLI Demo。读完本文你将掌握从环境准备、模型下载、代码获取到两种交互方式启动与端口映射的完整实战链路能够独立把苏梦远这类角色扮演模型跑起来并与之对话。CharacterGLM-6B 是聆心智能与清华大学 CoAI 实验室联合发布的对话预训练模型本仓库为其配套了部署01-Transformer 部署调用、FastAPI 服务化02-FastApi 部署调用、chat 对话本文以及 Lora 微调四份完整教程本文聚焦 chat 部署环节。一、模型与环境速览1.1 CharacterGLM-6B 是什么CharacterGLM-6B 是一款面向角色扮演对话场景的中文大模型核心能力是让模型扮演拥有独立人设、性格、语气与知识背景的角色。在官方 demo 中模型内置了歌手苏梦远、导演陆星辰等角色设定通过session_meta传入角色背景信息user_info / bot_info / bot_name / user_name使对话内容贴合人设。1.2 硬件与镜像要求在 AutoDL 平台租用一台24G 显存的显卡机器如 RTX 3090镜像选择路径为PyTorch → 2.0.0 → 3.8 (ubuntu20.04) → 11.8模型权重约12 GB加载推理对显存要求较高24G 显存可保证模型顺利装载并流畅对话。二、环境准备pip 换源与依赖安装租用服务器后打开 JupyterLab在其中启动终端依次执行环境配置、模型下载与 demo 运行。首先升级 pip 并将 pypi 源切换为清华镜像以加速安装# 升级pip python -m pip install --upgrade pip # 更换 pypi 源加速库的安装 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip install modelscope pip install transformers其中modelscope用于从魔搭社区下载模型权重transformers为模型加载与推理提供框架支持。换源后下载速度会显著提升若后续运行 demo 缺少sentencepiece等分词依赖可参照 01-CharacterGLM-6B Transformer部署调用.md 中补充安装pip install sentencepiece。三、模型下载ModelScope snapshot_download使用 ModelScope 的snapshot_download函数下载模型第一个参数为模型名称cache_dir参数为模型下载路径。在/root/autodl-tmp下新建download.py文件并写入以下内容保存后执行import torch from modelscope import snapshot_download, AutoModel, AutoTokenizer import os model_dir snapshot_download(THUCoAI/CharacterGLM-6B, cache_dir/root/autodl-tmp, revisionmaster)运行下载命令python /root/autodl-tmp/download.py模型大小约 12 GB下载约需10~15 分钟。下载完成后模型权重会落在/root/autodl-tmp/THUCoAI/CharacterGLM-6B目录后续代码加载时统一使用该本地路径避免每次启动都走网络。补充说明从仓库其他文档如 02-CharacterGLM-6B FastApi部署调用.md可以看到加载该模型必须设置trust_remote_codeTrue因为 CharacterGLM-6B 属于自定义架构模型需要信任并执行其远程代码文件这一点在后续 demo 代码路径修改与 Lora 微调 中同样成立。四、代码准备克隆官方仓库4.1 开启学术镜像加速AutoDL 平台自带学术资源加速在终端执行以下命令开启source /etc/network_turbo该命令用于加速 GitHub 等境外资源的访问速度详细说明可参见 AutoDL 官方网络加速文档。4.2 克隆 CharacterGLM-6B 官方仓库切换路径并克隆代码仓库cd /root/autodl-tmp git clone https://github.com/thu-coai/CharacterGLM-6B克隆完成后仓库中包含basic_demo目录其中web_demo_streamlit.py或web_demo2.py对应 Streamlit Web 界面cli_demo.py对应命令行对话。五、WebDemo 运行Streamlit 图形化对话5.1 修改模型加载路径编辑/root/autodl-tmp/CharacterGLM-6B/basic_demo/web_demo_streamlit.py将第 20 行左右的模型路径由默认的远程路径或占位符修改为本地的模型目录/root/autodl-tmp/THUCoAI/CharacterGLM-6B这一步是运行 demo 前必须完成的改动demo 脚本通过该路径加载本地权重与分词器路径错误将导致加载失败。5.2 修改 requirements.txt 并安装依赖编辑仓库根目录下的requirements.txt将其中的 torch 删掉——因为环境中已经安装了 torch无需重复安装避免版本冲突与无谓下载。随后安装其余依赖cd /root/autodl-tmp/CharacterGLM-6B pip install -r requirements.txt5.3 启动 Streamlit 服务在终端运行以下命令启动 Web 推理服务。注意尽量cd到basic_demo文件夹下防止找不到character.json角色配置文件cd /root/autodl-tmp/CharacterGLM-6B/basic_demo streamlit run ./web_demo2.py --server.address 127.0.0.1 --server.port 6006启动成功后终端会显示访问地址提示。此时需要将 AutoDL 的6006端口映射到本地详见第六节然后通过浏览器访问。5.4 在浏览器中对话在浏览器打开http://localhost:6006等待模型加载完成loading checkpoint 阶段结束后即可开始使用Web 界面通常包含角色选择如张起灵苏梦远、对话历史展示区以及Max Length、Top P、Temperature等生成参数调节滑块方便交互式地体验角色扮演效果。六、AutoDL 端口映射到本地AutoDL 服务器上的服务需要端口映射才能在本地浏览器访问。将 AutoDL 的6006端口映射到本机的http://localhost:6006具体操作步骤参见 models/General-Setting/02-AutoDL开放端口.md。该文档说明两个 DemoWebDemo 与 CLI使用同样的方法把 AutoDL 中的6006端口映射到本机http://localhost:6006映射完成后即可在本地访问界面。七、CLI 命令行运行除 Web 界面外官方仓库还提供了命令行交互方式适合在终端中快速验证模型效果。7.1 修改模型路径编辑/root/autodl-tmp/CharacterGLM-6B/basic_demo/cli_demo.py将其中模型路径同样修改为本地的/root/autodl-tmp/THUCoAI/CharacterGLM-6B7.2 启动 CLI 对话在终端运行cd /root/autodl-tmp/CharacterGLM-6B/basic_demo python ./cli_demo.py程序加载模型后即进入终端交互模式用户输入问题、模型以角色身份作答适合快速调试与无图形界面环境下的使用。八、对比 WebDemo 与 CLI 的适用场景维度Streamlit WebDemoCLI Demo交互方式浏览器图形界面含角色选择与参数滑块终端文本输入输出启动命令streamlit run ./web_demo2.py --server.address 127.0.0.1 --server.port 6006python ./cli_demo.py前置要求需完成端口映射后在浏览器访问无需端口映射终端直接使用典型场景演示展示、交互式体验角色对话快速验证模型效果、自动化脚本调试两者共享同一套模型加载逻辑都基于本地/root/autodl-tmp/THUCoAI/CharacterGLM-6B路径加载权重并通过session_meta注入角色设定可参考 01-CharacterGLM-6B Transformer部署调用.md 中的完整session_meta示例与model.chat()多轮对话调用方式。九、延伸从 chat 部署到服务化与微调完成 chat 对话部署后可基于同一模型目录继续深入FastAPI 服务化参考 02-CharacterGLM-6B FastApi部署调用.md通过uvicorn.run(app, host0.0.0.0, port6006)暴露 HTTP 接口支持 curl 与 requests 调用并可在model.chat()中显式控制max_length默认 2048、top_p默认 0.7、temperature默认 0.95等生成参数Lora 微调参考 04-CharacterGLM-6B Lora微调.md基于 peft 框架对模型做轻量微调实现甄嬛等自定义人设其中LoraConfig的target_modules[query_key_value]、r8、lora_alpha32等参数与模型的自定义层名强相关对应代码见 04-CharacterGLM-6B-Lora微调.py。结语本文完整还原了 CharacterGLM-6B chat 部署的两条路径Streamlit WebDemo 提供图形化、可调节参数的角色扮演体验CLI Demo 提供轻量快速的终端交互。核心步骤可归纳为四步换源装依赖 → 下载 12GB 模型权重 → 克隆官方仓库并改本地路径 → 启动 demo 并映射端口。掌握本文流程后你可以在自己的 GPU 环境中复现角色对话效果并以此为起点向服务化部署与个性化微调延伸。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/datawhalechina/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

相关新闻

Spring Boot教学辅助平台：权限设计、Redis签到与部署实战

Spring Boot教学辅助平台：权限设计、Redis签到与部署实战

简介：基于SpringBoot的教学辅助平台设计与实现完整文档，面向高校计算机相关专业学生、JavaWeb初学者及需要完成类似课题的毕业设计者，提供从需求分析到系统实现的整体参考。包内共1个docx文件，大小1.36MB，即该课题的完…

2026/9/19 23:01:22 阅读更多 →
VMware共享文件夹挂载实践：HGFS与vmhgfs-fuse详解

VMware共享文件夹挂载实践：HGFS与vmhgfs-fuse详解

简介：面向需要在VMware虚拟机中与Linux系统互传文件的开发、测试人员，这份PDF图文教程完整演示了主机与虚拟机共享文件夹的配置流程。内容从开启VMware共享文件夹功能、安装VMware Tools，到挂载/mnt/hgfs目录并验证传输，每一步都配…

2026/9/21 0:55:28 阅读更多 →
为何中小建企的物资管理总是“崩盘”？90%的老板忽略了这第一点

为何中小建企的物资管理总是“崩盘”？90%的老板忽略了这第一点

在建筑工程行业，一直流传着一句老话：“赚不赚钱看管理，管理好坏看物资。”对于大型国企来说，他们有动辄上千万的ERP系统护航；但对于占行业绝大多数的中小型建筑施工企业而言，物资管理往往是一场看运气的豪赌…

2026/9/21 0:55:03 阅读更多 →

最新新闻

个人开发者如何高效啃下12种工控协议：从分类框架到代码复用

个人开发者如何高效啃下12种工控协议：从分类框架到代码复用

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/21 1:22:46 阅读更多 →
Scale-up互连协议深度对比：从CHI七态到PBR路由的比特与状态机解析

Scale-up互连协议深度对比：从CHI七态到PBR路由的比特与状态机解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/21 1:22:46 阅读更多 →
Vitis 2023.1下LWIP Echo Server与YT8521S PHY调试全攻略

Vitis 2023.1下LWIP Echo Server与YT8521S PHY调试全攻略

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/21 1:22:46 阅读更多 →
国产单片机选型实战：从需求到量产的决策框架与避坑指南

国产单片机选型实战：从需求到量产的决策框架与避坑指南

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/21 1:22:46 阅读更多 →
EG2124A三相半桥驱动芯片：电机驱动与逆变器设计实战解析

EG2124A三相半桥驱动芯片：电机驱动与逆变器设计实战解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/21 1:22:46 阅读更多 →
在 SolidJS 中接入 json-render DevTools：`@json-render/devtools-solid` 使用指南与源码解析

在 SolidJS 中接入 json-render DevTools：`@json-render/devtools-solid` 使用指南与源码解析

人工智能AI 应用前端MCP 服务 【免费下载链接】json-render The Generative UI framework 项目地址： https://gitcode.com/GitHub_Trending/js/json-render 点击查看 免费下载 导读 json-render/devtools-solid 是 json-render 生成式 UI 框架（Generat…

2026/9/21 1:21:45 阅读更多 →

日新闻

agents-generator 决策矩阵全解析：从项目检测到 AGENTS.md 规则生成的 16 步判定流程

agents-generator 决策矩阵全解析：从项目检测到 AGENTS.md 规则生成的 16 步判定流程

agents-generator 决策矩阵全解析：从项目检测到 AGENTS.md 规则生成的 16 步判定流程 【免费下载链接】agentic-awesome-skills AAS Core is the local, agent-first control plane for complete catalog discovery, agent-owned selection, stack validation, and …

2026/9/21 0:00:01 阅读更多 →
gin-vue-admin 前端工具函数全景指南：src/utils 复用规范与源码级解析

gin-vue-admin 前端工具函数全景指南：src/utils 复用规范与源码级解析

gin-vue-admin 前端工具函数全景指南：src/utils 复用规范与源码级解析 【免费下载链接】gin-vue-admin 🚀ViteVue3Gin拥有AI辅助的基础开发平台，企业级业务AI开发解决方案，内置mcp辅助服务，内置skills管理，…

2026/9/21 0:00:01 阅读更多 →
Wox 全功能插件开发实战指南：基于 Python / Node.js 宿主与 WebSocket 的持久化插件体系

Wox 全功能插件开发实战指南：基于 Python / Node.js 宿主与 WebSocket 的持久化插件体系

桌面应用AI 应用插件系统 【免费下载链接】Wox A cross-platform launcher that simply works 项目地址： https://gitcode.com/gh_mirrors/wo/Wox 点击查看 免费下载 全功能插件（Full-featured Plugin）是 Wox 三类插件实现方式中能力最完整的…

2026/9/21 0:00:01 阅读更多 →

周新闻

Flutter for OpenHarmony游戏卡片渐变背景实战：从原理到性能优化

Flutter for OpenHarmony游戏卡片渐变背景实战：从原理到性能优化

直接铺开项目本身吧。这几个月我一直在折腾一件事：用Flutter给OpenHarmony做一款游戏集合类的App，说白了就是把若干小游戏塞进一个壳里，用统一入口分发。这个方向本身不算新鲜，真正让我花了不少心思的，是首页那堆游戏卡…

2026/9/20 0:00:46 阅读更多 →
Word表格编号全攻略：从列表编号到题注交叉引用

Word表格编号全攻略：从列表编号到题注交叉引用

写Word文档，最让人头疼的往往是那些“看起来不起眼”的小问题。比如表格编号这事：今天在表后面多加了两个空白行，明天给客户交稿前发现整个章节的编号全部错位，光是挨个改序号就能耗掉大半个下午。我前阵子帮人整理一份上百页的技…

2026/9/20 0:00:46 阅读更多 →
从第一个站到第二个站：独立开发者的静态网站选型与落地实践

从第一个站到第二个站：独立开发者的静态网站选型与落地实践

1. 项目概述1.1 核心需求解析做独立开发者这几年，说实话，第一个网站上线的那天晚上我兴奋得没睡着。但等它跑了半年，流量惨淡、功能臃肿、代码自己都懒得看第二遍之后，我才慢慢琢磨明白一个道理：第一个网站是练手&…

2026/9/20 0:00:46 阅读更多 →

月新闻

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能分类：[AI/大模型]细分主题：AI 增强型 CI/CD 流水线自动化与 GitOps 实践：Agent 工作流、工具调用与任务拆解：从原型到生产的验收清单很多团队在尝试用大…

2026/9/19 23:01:36 阅读更多 →
容器编排 生产环境运维与排障实战：复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战：复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战：复盘记录怎样真正派上用场分类：[工程技术]细分主题：Kubernetes 生产环境运维与排障实战：可复制的项目复盘模板与决策记录大部分团队的事故复盘报告，最后都变成了躺在 Confluence 或钉…

2026/9/19 17:50:38 阅读更多 →
容器 容器化技术与镜像安全管理：核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理：核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理：核心链路应该先拆哪一步分类：[工程技术]细分主题：Docker 容器化技术与镜像安全管理：核心链路的逐步实现与关键代码取舍面对一个积累了五六年历史包袱的单体架构应用（包含 Web 接口、后台…

2026/9/19 23:35:34 阅读更多 →