CSDN 完整博文:本地 Qwen2.5 大模型实现电影评论情感分类(原生 transformers 最简代码)
目录一、项目前言二、环境依赖安装三、完整原生代码和需求完全一致四、代码逐段详细解析1. 模型与分词器加载2. 提示词工程核心分类逻辑3. 文本编码 tokenizer4. 模型推理 generate 生成5. 解码与结果截取五、运行示例演示输入控制台打印流程六、高频踩坑问题解决问题 1路径报错 HFValidationError: Repo id must use alphanumeric chars问题 2模型输出大量多余文字只想要单一结果问题 3CPU 运行速度极慢问题 4模型文件夹缺失文件报错七、拓展优化方向八、总结一、项目前言很多新手想上手本地开源大模型做文本分类任务但是不知道如何离线加载本地权重、如何通过提示词工程完成分类。本文使用阿里开源轻量模型 Qwen2.5-0.5B-Instruct仅依靠transformers库不需要微调、不需要训练数据集一行输入即可完成电影评论情感三分类正面、负面、中立代码极简、适合新手入门本地 LLM 推理流程。二、环境依赖安装先安装运行所需第三方库终端执行pip install torch transformerstorch深度学习张量计算框架transformersHuggingFace 官方库用于加载本地大模型、分词、推理生成这里是在modelscope平台下载的Qwen2.5-1.5B-Instruct模型三、完整原生代码和需求完全一致from transformers import AutoModelForCausalLM,AutoTokenizer # 本地模型文件夹相对路径 model_namer..\qianwen\Qwen2.5-1.5B-Instruct # 加载预训练大模型 modelAutoModelForCausalLM.from_pretrained(model_name) # 加载对应分词器 tokenizerAutoTokenizer.from_pretrained(model_name) # 提示词模板定义分类任务规则 prompt_template请判断以下文本的情感属于哪个类别:{text}.可选类别有正面、负面、中立。 # 接收用户输入电影评论 input_textinput(请输入电影评价) # 将用户文本填充进提示词模板 prompt_inputprompt_template.format(textinput_text) print(prompt_input:,prompt_input) # 分词编码转为模型可识别张量 inputstokenizer(prompt_input,return_tensorspt) print(inputs:,inputs) # 模型推理生成文本 output_sequencesmodel.generate(inputs.input_ids,max_new_tokens512,attention_maskinputs.attention_mask) print(output_sequences:,output_sequences) # 将数字张量解码为完整文本 generated_texttokenizer.decode(output_sequences[0],skip_special_tokensTrue) print(generated_text) # 截取模型新增回答部分剔除输入prompt textgenerated_text[len(prompt_input):] print(text:,text)四、代码逐段详细解析1. 模型与分词器加载from transformers import AutoModelForCausalLM,AutoTokenizer model_namer..\qianwen\Qwen2.5-1.5B-Instruct modelAutoModelForCausalLM.from_pretrained(model_name) tokenizerAutoTokenizer.from_pretrained(model_name)AutoModelForCausalLM通用因果大模型加载器适配 Qwen、Llama 等生成式 LLMAutoTokenizer自动匹配模型的分词器负责文本与数字 token 相互转换model_name本地模型文件夹路径..\代表向上一级文件夹Windows 原始字符串r避免转义符报错要求文件夹内必须包含config.json、pytorch_model.bin、vocab.json等完整模型权重文件。2. 提示词工程核心分类逻辑prompt_template请判断下面的电影评价属于哪个类别,只告诉我是”正面、负面、中立“中的哪一种只回答两个字电影评价如下{text}. input_textinput(请输入电影评价) prompt_inputprompt_template.format(textinput_text)无需训练依靠自然语言指令约束模型输出分类结果{text}为占位符通过format()填充用户输入的影评文本任务逻辑告诉模型仅从「正面、负面、中立」三选一输出结果。3. 文本编码 tokenizerinputstokenizer(prompt_input,return_tensorspt)大模型无法直接读取文字需要分词转换为数字 IDinput_idsreturn_tensorspt返回 PyTorch 张量格式适配模型输入返回对象包含两个关键参数input_ids文本分词后的数字编码attention_mask掩码1 代表有效文本0 代表填充占位。4. 模型推理 generate 生成output_sequencesmodel.generate(inputs.input_ids,max_new_tokens512,attention_maskinputs.attention_mask)generate()LLM 文本生成核心函数自动续写文本max_new_tokens512限制模型最多生成 512 个词防止无限输出attention_mask传入掩码让模型忽略填充占位符。5. 解码与结果截取generated_texttokenizer.decode(output_sequences[0],skip_special_tokensTrue) textgenerated_text[len(prompt_input):] print(text:,text)decode()将数字 token 还原为可读文本skip_special_tokensTrue过滤eos等模型特殊符号generated_text 原始输入 prompt 模型新增回答textgenerated_text[len(prompt_input):]切片截取只保留模型输出的分类结果。五、运行示例演示输入请输入电影评价这部电影剧情拖沓演员演技很差完全不值得看控制台打印流程打印拼接后的完整 promptprompt_input: 请判断以下文本的情感属于哪个类别:这部电影剧情拖沓演员演技很差完全不值得看.可选类别有正面、负面、中立。打印编码后的张量 inputs打印推理输出 token 序列output_sequences打印完整解码文本请判断以下文本的情感属于哪个类别:这部电影剧情拖沓演员演技很差完全不值得看.可选类别有正面、负面、中立。 该文本情感类别为负面切片后仅输出模型回答text: 该文本情感类别为负面六、拓展优化方向封装 Flask 网页接口前端输入评论实时展示分类结果增加结果清洗逻辑自动提取「正面 / 负面 / 中立」关键词过滤多余描述使用 Qwen 官方对话模板apply_chat_template提升指令跟随准确率增加量化加载load_in_4bitTrue大幅降低内存占用批量读取影评文件批量完成情感分类。七、总结本文使用最原生、无多余封装的 transformers 代码完整演示本地 Qwen2.5 大模型离线推理流程仅依靠提示词工程实现文本情感分类无需数据集、无需微调非常适合新手学习本地 LLM 基础开发流程。代码结构清晰每一步都有打印日志方便调试、理解大模型输入输出完整链路。

相关新闻

终极指南:如何用LLBot构建多协议QQ机器人开发平台

终极指南:如何用LLBot构建多协议QQ机器人开发平台

终极指南:如何用LLBot构建多协议QQ机器人开发平台 【免费下载链接】LuckyLilliaBot 支持 OneBot 11、Satori 和 Milky 协议 项目地址: https://gitcode.com/gh_mirrors/li/LuckyLilliaBot LLBot是一个功能强大的多协议QQ机器人框架,支持OneBot 11…

2026/11/5 5:20:55 阅读更多 →
5分钟找回QQ空间消失的记忆:GetQzonehistory数据恢复终极指南

5分钟找回QQ空间消失的记忆:GetQzonehistory数据恢复终极指南

5分钟找回QQ空间消失的记忆:GetQzonehistory数据恢复终极指南 【免费下载链接】GetQzonehistory 获取QQ空间发布的历史说说 项目地址: https://gitcode.com/GitHub_Trending/ge/GetQzonehistory 你是否曾试图找回那些被时间冲淡的QQ空间记忆?那些…

2026/11/19 23:41:48 阅读更多 →
AI 普及靠的不是有钱:Anthropic 加拿大报告揭示‘能力—产业匹配’才是关键

AI 普及靠的不是有钱:Anthropic 加拿大报告揭示‘能力—产业匹配’才是关键

2026 年 7 月 14 日,Anthropic 发布了最新一期区域经济研究:《How Canada uses Claude: Findings from the Anthropic Economic Index》。 最抓眼球的数据是:加拿大只占全球工作年龄人口的一小部分,却贡献了 2.6% 的 Claude.ai 全…

2026/11/19 20:44:47 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/19 21:38:27 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/19 21:38:49 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/19 21:39:09 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/19 21:36:50 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/19 21:37:45 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/19 21:36:20 阅读更多 →

日新闻

周新闻

月新闻