简介面向毕业设计、课程大作业及机器学习入门实践这是一份基于机器学习的电商淘宝商品评论情感分析项目源码与数据包。项目从Selenium模拟登录爬取淘宝评论入手依次完成数据清理、jieba精确模式分词、词语索引与词向量构造并对比SVM与LSTM两种分类模型形成了完整的实验闭环。压缩包共43个文件以14个Python脚本为核心涵盖爬虫、预处理、训练、测试与GUI主界面同时附带csv/xls原始与处理后数据、pkl向量与模型文件、h5深度学习模型、yml配置及chromedriver驱动包体约66.68MB结构清晰便于直接运行与二次开发。目前已有382人学习下载。该资源还包含评论文本模型、Word2vec模型、SVM与LSTM多套模型及实测结果数据适合希望快速复现情感分析流程、理解机器学习建模细节或扩展自身毕设项目的计算机相关专业学生使用。1. 淘宝商品评论情感分析项目到底在分析什么很多人拿到这个题目的第一反应是训练一个分类器把好评差评分出来但实际做下来你会发现真正的难点不在模型而在数据。把 Python、机器学习、情感分析这三个词串起来的淘宝商品评论项目核心链路是从评论文本导入、中文分词、特征向量化到分类器训练、参数调优和结果可视化——每一步都有比想象中更多的细节。淘宝评论短促、口语化且夹杂大量促销噪声直接套用通用情感词典准确率往往不到六成必须用数据预处理和特征工程把它变成机器学习能吃下的格式。这个项目适合用 Python 做毕业设计也适合作为 NLP 入门后的第一个完整工程。下面按我实际做这类项目时会走的顺序展开。2. 评论文本预处理从原始数据到可训练语料2.1 数据来源与存储先梳理字段再动手常见做法之一是直接使用公开的评论数据集一些数据竞赛平台上有现成的脱敏淘宝评论数据可以下载如果没有现成数据就对着商品详情页抓取评价接口。抓取前先把字段结构定下来我从一开始就会让每条评论至少包含 comment_id、item_id、rating、content、create_time 五个字段。字段的作用各不相同comment_id 是去重主键item_id 用于按商品分组评估rating 是自动标注的依据content 是模型输入的文本主体create_time 留作后续时间维度的分析。字段示例用途comment_id1234567890去重主键item_id598123456789关联商品按商品分组切分数据rating5监督标签来源content质量很好物流快文本主体create_time2024-03-15时间分布分析抓取环节有一个现实约束淘宝评价接口的登录态 Cookie 有效期短、分页参数带签名校验从零写爬虫的成本不低。我一般会直接拿成熟的开源爬虫脚手架改造把精力放在数据整理而不是反爬对抗上。数据落地我会存成 CSV 而不是 JSONpandas 读取方便万级以内的评论量完全够用中途想用 Excel 快速扫一眼数据也顺手。import pandas as pd df pd.read_csv(taobao_comments.csv, encodingutf-8-sig) df df.drop_duplicates(subset[comment_id]) df df[df[content].notna() (df[content].str.strip() ! )] df[content] df[content].astype(str).str.strip() print(f有效评论数: {len(df)})提示drop_duplicates 解决的是同一用户追评产生的重复记录content 为空的行是只打星不写字的评论对训练没有贡献直接丢掉。这段代码跑完后先看一眼 rating 的分布。淘宝的评分是 1 到 5 分4 分和 5 分都算好评2 分和 1 分是差评3 分是中性。把 1-2 分归为负向、3 分归为中性、4-5 分归为正向是比较常见的基线映射。不要直接把 1-5 分当成回归目标来训练因为评分和文本情感并不严格线性相关质量不错但物流慢给 4 分的场景很常见。2.2 中文分词与清洗jieba 的边界在哪中文评论没有天然空格分词绕不开。jieba 是主流选择默认词典偏通用领域处理宝贝卖家物流这类淘宝高频词基本没问题但对性价比客服态度这类复合词容易切碎。项目里我会维护一个自定义词典把领域复合词连同词频、词性写进去让结巴优先按整词切分。import jieba # 自定义词典格式: 词 词频 词性 custom_words [ 性价比 100 n, 客服态度 80 n, 物流速度 80 n, 质量杠杠的 60 a, ] with open(custom_dict.txt, w, encodingutf-8) as f: f.write(\n.join(custom_words)) jieba.load_userdict(custom_dict.txt) def tokenize(text: str) - list: text text.replace(\u3000, ).strip() # 全角空格归一 return jieba.lcut(text)词频数字设一个相对值即可jieba 拿它和其他候选切分做权衡写 100 还是 80 不会明显影响结果但词性和整词本体一定要写对。清洗阶段除了常规的去 HTML 标签、去 URL、去数字还要处理两类淘宝评论特有的噪声一类是帮朋友买的还没问这类中性灌水另一类是物流很快物流很快物流很快这种重复刷屏。前者在标注时归入中性后者用正则先压缩连续重复片段再做分词。另外全角半角标点要统一成半角否则标点过滤会漏掉一半。2.3 停用词表不要直接抄网上的通用中文停用词表在评论场景有一个明显的坑它会把不没这类否定词也停用掉而不怎么样和怎么样的情感极性完全相反。停用词表在这里只应该负责移除标点、语气词、助词凡是列表里是否定词或程度副词的条目我会直接删掉。import re STOPWORDS set(open(stopwords.txt, encodingutf-8).read().splitlines()) def clean_tokenize(text: str) - list: text re.sub(r[a-zA-Z0-9], , text) # 去字母数字 text re.sub(r[\s\.\!\?\[\]【】], , text) # 去标点 tokens jieba.lcut(text) return [t for t in tokens if t not in STOPWORDS and len(t) 2]长度过滤设成 2 会丢掉好差这类单字评价词而它们在淘宝评论里恰恰信息量很高。我的做法是单独维护一个强情感单字表比如好、坏、差、烂、赞分词命中这些单字时强制保留其余单字一律过滤。这一步做完把词频统计打印出来看一遍比任何理论都直观——如果了的还排在前五说明停用词表没生效或者加载路径写错了。3. 特征工程与分类器选型TF-IDF 之外的选择3.1 TF-IDF 向量化的两个关键参数清洗后的评论是一串词列表下一步要决定怎么变成机器学习分类器能接受的向量。对这个量级的短文本TF-IDF 比纯词频计数更合适它会抑制淘宝物流这类高频词的权重把惊艳失望这类有判别力的词突出来。我用的向量化写法如下from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features5000, # 词表上限防止维度爆炸 ngram_range(1, 2), # 保留相邻词的组合特征 min_df2, # 只在1条评论里出现的词直接丢弃 max_df0.8, # 80%以上评论都出现的词不建特征 sublinear_tfTrue, # 用1log(tf)压缩高频词优势 ) X vectorizer.fit_transform([ .join(tokens) for tokens in all_tokens])max_features 的经验取值是 3000 到 8000太小丢信息太大会把商品型号、颜色等噪声词也带进来。ngram_range 取 (1,2) 能捕获不 错太 慢这类短语层面的局部共现三元及以上在这个长度的评论上收益很小反而让特征矩阵爆炸。min_df2 过滤掉只在单条评论中出现的词max_df0.8 过滤掉几乎所有评论都出现的平台通用语这两个阈值配合使用能砍掉三到四成的无效特征。3.2 分类器对比先跑基线再谈深度学习不少毕设直接上 LSTM 甚至 BERT但几万条级别的短文本评论传统机器学习算法往往已经能到 85% 以上的准确率。我的流程是先用几个基线分类器把数据整体摸一遍判断它有多线性可分。这些算法的原理在周志华《机器学习》和李宏毅的课程里都有覆盖文献综述部分可以直接引用。模型训练耗时万条级准确率参考适用场景逻辑回归秒级85%-88%基线首选能输出概率多项式朴素贝叶斯秒级82%-86%独立性假设强短文本友好线性 SVM秒级86%-89%类别不平衡时表现更好RBF SVM分钟级88%-90%非线性边界gamma 要调如果逻辑回归已经到 86% 以上先别急着换模型回去看错误样例大部分提升空间在数据和特征侧而不是模型侧。对比代码用五折交叉验证指标取 f1_macro 而不是 accuracy——评论数据好评占比经常超过六成只看准确率会被多数类掩盖。from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.naive_bayes import MultinomialNB from sklearn.model_selection import cross_val_score models { lr: LogisticRegression(max_iter1000), nb: MultinomialNB(), svm_linear: SVC(kernellinear), } for name, model in models.items(): scores cross_val_score(model, X, y, cv5, scoringf1_macro) print(f{name}: {scores.mean():.4f} (/- {scores.std():.4f}))3.3 类别不平衡差评稀少恰恰是重点淘宝评论天然好评多、差评少常见比例在 7:2:1 附近。如果直接训练模型学到的是一条无脑预测好评的捷径少数类的 F1 会非常难看。处理顺序上我建议这样试先加 class_weightbalanced逻辑回归和 SVM 都内置支持一行代码按类别频率倒数加权这一步无效再考虑阈值移动。SMOTE 这类合成采样方法在 TF-IDF 高维稀疏向量上效果并不好插值生成的样本在特征空间里没有实际语义我在这个项目里试过之后放弃了。阈值移动的写法如下from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) model LogisticRegression(class_weightbalanced, max_iter1000) model.fit(X_train, y_train) probs model.predict_proba(X_test)[:, 1] # 正向概率 pred_adjusted (probs 0.45).astype(int) # 阈值向下调整阈值不是拍脑袋定的把 0.3 到 0.6 按 0.05 步长遍历画出少数类 F1 随阈值变化的曲线峰值对应的点就是当前数据上的最优阈值。注意阈值移动只改预测边界不改模型权重交付项目时记得把这个阈值也写进配置文件避免换环境后结果对不上。4. 情感分析模型的训练、评估与调参闭环4.1 划分训练集时的坑按商品分组而不是按行切先做一个容易被忽略的决定训练集怎么切。如果直接按行随机切分同一件商品的评论会同时出现在训练集和测试集里模型等于在测试时偷看了同商品下其他评论的表达习惯分数虚高。严谨的做法是按 item_id 分组确保同一商品的评论只落在一侧。from sklearn.model_selection import GroupKFold groups df[item_id].values gkf GroupKFold(n_splits5) for train_idx, test_idx in gkf.split(X, y, groups): X_train, X_test X[train_idx], X[test_idx] y_train, y_test y[train_idx], y[test_idx] break # 演示只取第一折GroupKFold 的每折都是一个完整的商品分组切分评估结果更贴近真实泛化场景。test_size 取 0.2 是惯例但 stratify 参数一定要带上让训练集和测试集的类别分布保持一致否则类别不平衡问题会在评估阶段被放大。4.2 三个必调的模型参数4.2.1 逻辑回归C、penalty 与 solver 的联动默认参数下逻辑回归跑到 85% 问题不大想再往上就得动三个参数。第一个是 C正则化强度的倒数C 太小欠拟合、太大过拟合用 GridSearchCV 在 [0.1, 1, 10] 上搜通常 C1 附近最优。第二个是 penalty默认 L2特征维度高且稀疏时换成 L1会把不重要的特征权重压成 0等于顺手拿到一个可解释的特征选择结果。第三个是 solver万级数据用 lbfgs 足够数据量再大建议 saga需要留意的是 saga 对 L1 的支持方式和 lbfgs 不同改 penalty 时要确认 solver 兼容。4.2.2 SVMC 与 gamma 要一起搜linear 核的 SVM 只需要调 C换成 RBF 核后gamma 默认值按 1/n_features 计算在 5000 维特征下数值极小模型会明显欠拟合。我一般把 gamma 固定在 0.01 到 0.1 区间再和 C 一起做网格搜索而不是单独调其中一个。调参结束后在测试集上用同一个 random_state 做一次完整评估保证交叉验证和最终报告的口径一致。4.3 混淆矩阵与错误案例分析评估阶段我固定输出三样东西混淆矩阵、分类报告、高置信错误样本清单。混淆矩阵能直观看出哪些差评被判成好评——这类错误通常集中在质量还可以吧这种句子模型学到质量的正面关联却没学到还可以背后的勉强语气。一次典型训练的混淆矩阵格式如下数字仅示意预测 \ 实际负向正向负向81276正向1432396from sklearn.metrics import confusion_matrix, classification_report y_pred model.predict(X_test) cm confusion_matrix(y_test, y_pred) print(cm) print(classification_report(y_test, y_pred, target_names[neg, pos])) # 找高置信但预测错误的样本 probs model.predict_proba(X_test) prob_neg probs[:, 0] wrong_high (y_test 1) (y_pred 0) (prob_neg 0.8) print(X_test[wrong_high][:5])把这些样本打出来逐条读错误高度集中在三类讽刺句真是太好了三天还不发货、对比句比实体店便宜但质量差多了、程度副词修饰句还算满意。这三类观察写进论文的误差分析章节比套模板可信得多。5. 用 LIME 对商品评论情感分析做单条验证答辩评委大概率会问为什么这条差评被判成了好评。LIME 能给出词级解释对单条评论做随机扰动观察哪些词的变化改变了预测从而输出每个词对情感倾向的贡献方向。用 Python 跑 LIME 的写法如下import lime import lime.lime_text explainer lime.lime_text.LimeTextExplainer( class_names[负向, 正向], split_expressionlambda x: list(jieba.cut(x)), # 必须与训练分词一致 bowFalse, ) def predict_proba(texts): return model.predict_proba(vectorizer.transform(texts)) exp explainer.explain_instance( 物流慢到离谱客服也爱答不理差评, predict_proba, num_features10, ) exp.save_to_file(lime_explanation.html)两个关键点。split_expression 必须和训练时的分词逻辑一致否则 LIME 生成的扰动文本在向量化后对不上原始特征解释结果会失真。bowFalse 让 LIME 保留词序做扰动在短文本上比词袋模式更符合直觉。LIME 输出的典型结果里慢离谱把预测推向负向客服本身中性但因为上下文是爱答不理扰动实验中会表现出弱的负向贡献。如果 LIME 结果和主观判断大面积冲突优先怀疑训练数据的标注质量而不是模型结构。反过来它也能指导特征工程当 LIME 反复把店标成强负向词时往往是黑店坑店的负面语境淹没了旗舰店的正面语境把旗舰店合并成单个 token 再重训少数类 F1 常常能回升。最后把 LIME 的权重按类别汇总画成柱状图或词云直接放进论文的图表目录答辩时逐条展示比只念准确率更有说服力。本文还有配套的精品资源点击获取