Python文本分析入门实战：分词、词频与情感分析

1. 从标题说起这第17篇笔记到底在折腾啥如果你也正在为主要处理数值数据而发愁看着一堆字符串、评价、评论区不知道如何下手那这篇笔记应该正好对胃口。标题里“入门案例实战”这几个字我理解并不是能一夜之间做出多高端的算法而是把文本分析这条链路完整跑通一遍从一段原始文字开始经历分词、去停用词、词频统计再到简单的情感判断最终得到一个像模像样的分析结果。这个流程像什么像组装一台成品家具说明书看着简单真正上手才会发现每个步骤都有小坑。前前后后我翻了十来篇相关记录也专门找了几个高中低难度的小数据练习慢慢琢磨出套路。这篇“笔记17”原本带编号说明这是一种系列式的学习轨迹今天的核心内容就是文本分析的入门案例。适合什么人对Python有一点基础、基本会写循环和数据清洗但还没系统接触过NLP的朋友或者是数据分析师、运营同学想在手头没有现成算法团队的时候快速看一眼文字数据的分布规律。一句话这就是一次完整的“把文字变成可统计、可量化信息”的动手实践。我特别建议配合真实数据来做不要光看示例。网上有很多分享的情感分析案例但入门阶段最适合自己的往往是身边能拿到的小批量真实短评。在这个案例里我用的是一个模拟的“网购评价”数据大概十条中文文本。数据量极小但跑通流程绰绰有余。2. 整体方案设计与思路拆解2.1 文本分析到底要解决什么问题文本数据占我们日常数据的比例越来越重评论、工单、日志、市场反馈都是典型的非结构化文本。它们难处理根本原因在于计算机不直接理解人类的自然语言。数值数据能排序能加减文本却要先把语言转化成数值这个过程有无数种设计思路。入门案例的意义不在于设计一个最强的算法而是让你建立“转化”的直觉。我梳理了一圈文本分析通常落在几个基本应用面关键词提取、情感极性判断、主题聚类、相似度计算、自动摘要。初学者最容易理解也最容易做得有成就感的是关键词和情感。这个案例主打的也就是这两样套路的可复制性相当高。从技术路线来看中文文本分析比英文麻烦一点。英文天然用空格分词句子元素相对规整中文没有天然分隔符分词是许多后续操作的前置条件这也是为什么不少初学者在入门阶段最先接触的工具就是分词器。稍安勿躁这一层我们后面细讲。2.2 为什么选择“分词 词频 情感打分”路线市面上可以做文本分析的方案不少从最简单的正则提取到复杂的预训练模型适合初级阶段的其实没有那么多。我最终敲定的是“分词 去停用词 词频统计 基于词表的情感打分”组合原因是它足够透明。什么意思每一步你都能看着中间结果随时检查是哪里出了偏差。比如分词不准确可以及时调整词典词频出现一堆虚词可以完善停用词表情感打分不对可以回溯是哪个词计错了分。这种透明性是黑盒模型不具备的而且整个链路跑一遍也就二三十行核心代码很符合“总结笔记”的场景。等到搞清楚了这些基本环节哪里容易出错再去升级复杂模型心里就有底了。2.3 工具选型简析没有太多工具链的顾虑我的首选就是Python生态下的两个基础库jieba和pandas。jieba用来做中文分词pandas用来整理结构化的表格。数据可视化部分用matplotlib画个词频柱状图和词云即可。如果追求进一步简化用wordcloud生成词云也是常见做法不过刚从pandas过渡到wordcloud时很可能因为中文字体路径问题出现方框块这点在后面的问题排查部分细聊。整体来说这些工具都是开源、稳定、资料丰富的作为入门非常适合。多年前有人爱用NLTK做英文语料但当前想快速验证中文场景直接用jieba一步到位。3. 环境准备与数据预处理实操3.1 安装依赖库正式开始之前先确保环境里能把需要的库统统装好。我在模拟环境里用的是Python 3.x不同版本兼容性细节略有差异但没有遇到大坑。安装命令很简单pip install jieba pandas matplotlib wordcloud如果是conda环境也可以用conda安装。wordcloud在少数Python版本上需要编译如果你懒得折腾可以暂时跳过只用matplotlib画柱状图不影响整套流程的理解。3.2 构建一份适合跑通的模拟数据使用一份我自己拼凑出来的网购短评数据内容全部虚构但特别贴近真实场景。这样的好处是可以顺便验证假如文本里混杂表情、错别字、异常标点时各个处理环节是否会崩。数据大概长这样reviews [ 发货很快包装也结实给好评, 质量一般有点失望客服态度差, 东西不错价格小贵但还能接受, 物流太慢了等了一周才到差评, 很喜欢这个款式颜色正材质柔软, 做工还行吧细节有点瑕疵, 性价比很高第二次回购值得推荐, 有点异味放了两天才散掉, 客服回应很快问题解决得不错, 和图片不符差评申请退货 ]这些短评里有明显正向表达也有明显负向表达情感分布有区分度。把它做成DataFrame后每条样本就有了索引和标签。刚刚开始做的朋友也可以收集自己身边的数据不建议一次性用太大样本十条到五十条足够把流程调试顺畅。太小的数据练不出感觉太大又容易淹没在细节里。import pandas as pd df pd.DataFrame({content: reviews}) df.head()3.3 数据清洗规则比想象中简单正则表达式在这一步非常出彩。每一条文本里存在的空格、换行、特殊字符都会干扰后续分词和词频统计入门阶段不需要做特别复杂的清洗把字母、数字、符号做统一处理就够了。我自己处理的时候规定了三个清洗动作去掉文本中的网址和符号等噪声把全角字符转为半角把多个空格压缩成一个去除首尾空白。import re def clean_text(text): text re.sub(rhttp\S, , text) text re.sub(r\S, , text) text re.sub(r[\s\.\!\/_,$%^*(\\]|[——。、~#%……*], , text) return text.strip() df[clean_content] df[content].apply(clean_text) df.head()清洗后的文本更干净但不要指望这一层解决所有问题标点符号处理不彻底会影响后面的分词精确性这也是新手比较容易忽略的点。4. 核心环节一分词与停用词处理4.1 用jieba做分词为什么对中文这么重要分词就是按算法把连续的汉字序列切分成有意义的词语。中文句子里面词语之间没有空格比如“我喜欢数据分析”机器如果不切词根本无法判断“喜欢”“数据”“分析”各自的意义范围。jieba支持三种模式精确模式、全模式、搜索引擎模式。入门案例优先用精确模式它最接近日常理解的词边界也适合后续做词频统计。全模式会把句子中所有可能的词都找出来有冗余不适合直接做统计。import jieba words jieba.lcut(df[clean_content].iloc[0]) print(words)输出大致是[发货, 很快, 包装, 也, 结实, 给, 好评]这样的结果。可以看到一些单字虚词“也”“给”等也被切出来了这些词在统计中意义不大需要下一步过滤。分词是文本分析里出错率相对高的环节因为如果文本本身存在不规范表达则很容易分错。后面用自定义词典就能纠正一部分错分。4.2 构建自己的停用词表停用词就是那些在语言里频繁出现但对分析目标没有贡献的词语例如“的”“了”“是”“也”“还”。把停用词去掉后剩下才是更有区分度的关键词。我建议先手动维护一个小型停用词表可以从GitHub上找现成的也可以自己在运行过程中不断添加。市面上有一些通用中英文停用词表但因为业务领域差异很可能你觉得某些词有意义它却在停用词表中被误删所以一定要结合自己数据的特点定期补充。stopwords {的, 了, 是, 也, 还, 给, 很, 太, 有点, 有点, 吧}注意到我额外加了“有点”因为在情感判断里“有点失望”中的“有点”对情感程度有一定削弱理论上可以保留作为语气词但入门案例先统一去掉更简洁。这一节的处理逻辑不必一次调到完美重要的是理解停用词表左右着关键词提取的最终效果。4.3 分词并过滤的可复用函数把前面几步整合成一个函数这样后面想统计每个词的出现频率直接传递文本列表即可def segment_and_filter(text): words jieba.lcut(text) filtered [] for word in words: w word.strip() if len(w) 1 and w not in stopwords: filtered.append(w) return filtered df[words] df[clean_content].apply(segment_and_filter) df[[content, words]].head()过滤时加了一个len(w) 1的判断过滤掉单字。这一判断并非绝对标准有些单字比如“好”“差”非常有价值所以如果你发现统计结果把有用的单字丢了可以调整这个条件。这只是入门套路一定不要照搬得结合数据特点。5. 核心环节二词频统计与可视化5.1 把分词结果扁平化统计从DataFrame中把所有的词语全部收集起来用collections.Counter统计频率是最简单直接的方式。from collections import Counter all_words [] for word_list in df[words]: all_words.extend(word_list) word_freq Counter(all_words) word_freq.most_common(10)输出的前几位会集中在“差评”“好评”“客服”之类的词上用小规模数据就能看到出现频次最高的词通常能反映这批文本的大致讨论焦点。做这一步要预先想好它回答的是“大家都在说哪些关键词”的问题而不是“整体态度如何”后者要靠情感分析。5.2 柱状图与词云生成用matplotlib画一个横向条形图可以直观看到频率Top10词条的分布import matplotlib.pyplot as plt top_items word_freq.most_common(10) top_words [w for w, c in top_items] top_counts [c for w, c in top_items] plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False plt.figure(figsize(8, 5)) plt.barh(top_words[::-1], top_counts[::-1]) plt.xlabel(频次) plt.title(高频词Top10) plt.show()中文显示的字体问题往往会在这里冒出来最常见的就是图像上乱码或者方块字。不一定是代码写错很可能是系统缺少中文字体或者matplotlib默认字体不支持中文这时需要手动指定SimHei或者别的字体路径。如果想生成词云wordcloud库需要指定一个支持中文的字体路径否则同样会出现乱码。这一步可以说是入门阶段杀伤力最强的一个坎。我的做法是提前在系统里找到C:\Windows\Fonts\simhei.ttf再传递给wordcloud的font_path参数。mac系统则类似/System/Library/Fonts/PingFang.ttc。from wordcloud import WordCloud wordcloud WordCloud(font_pathSimHei.ttf, width800, height600, background_colorwhite).generate_from_frequencies(word_freq) plt.figure(figsize(10, 6)) plt.imshow(wordcloud, interpolationbilinear) plt.axis(off) plt.show()词云适合拿来做汇报给人看文字效果的冲击力强但它隐藏了具体数值不适合精确分析。词频表和条形图才是你进一步分析的基础。5.3 TF-IDF视角哪些词更能代表这批文本高频词往往有一批“通用词”比如“感觉”“东西”它们在所有文本里都常出现区分度并不高。如果做更深入的分析可以使用TF-IDF来调整权重突出那些在部分文本里频繁出现但在全部文本中很少出现的词。很多初学者觉得TF-IDF复杂其实核心思想通俗到一句话一个词在某条文本里出现得越多同时在所有文本里出现得越少它就越能代表这条文本。这个公式之所以经典是因为它能从统计上自动过滤掉很多平淡无奇的词。在jieba库中直接支持基于TF-IDF的关键词抽取import jieba.analyse keywords jieba.analyse.extract_tags( .join(reviews), topK10) print(keywords)如果用上面的数据跑会发现“回购”“性价比”“申请退货”这类局部特征词更容易冒出来。这个结果适合做进一步的主题探索。如果能看懂这个逻辑转换文本分析入门就算真正跨过一半门槛了。6. 核心环节三简单情感分析与结果解读6.1 从关键词到情感倾向的跨越整体高频词只能告诉你大家在聊什么没法明确告诉你整体评价偏正向还是偏负向。情感分析要做的就是建立从词语到情感分数的映射。入门案例不需要训练复杂模型我们可以先手工维护一份情感词表比如正面词好、棒、喜欢、满意、赞、不错、推荐、值得、结实、快、喜欢负面词差、失望、慢、瑕疵、异味、退货、贵、不符然后扫描每条文本查看里面出现了哪些情感词正面词加1分负面词减1分。最终得分能粗略反映每条评价的情感极性。pos_words {好, 棒, 喜欢, 满意, 赞, 不错, 推荐, 值得, 结实, 快, 喜欢} neg_words {差, 失望, 慢, 瑕疵, 异味, 退货, 贵, 不符} def simple_sentiment(words): score 0 for w in words: if w in pos_words: score 1 elif w in neg_words: score - 1 return score df[sentiment_score] df[words].apply(simple_sentiment) df[[content, words, sentiment_score]]这个方法很机械但逻辑透明适合入门理解。再加上需要把否定词考虑进去比如“不满意”会被分词拆成“不”“满意”你只看到“满意”就给了正分这就尴尬了。为了修正最简单的方式是在情感打分时检查前一个词是否为否定词如果是则翻转分数。negation_words {不, 没, 无, 未} def better_sentiment(words): score 0 for i, w in enumerate(words): value 0 if w in pos_words: value 1 elif w in neg_words: value -1 if value ! 0: if i 0 and words[i-1] in negation_words: value -value score value return score df[improved_score] df[words].apply(better_sentiment) df[[content, sentiment_score, improved_score]]从输出可以看到原本被误判为正向的“不满意”类句子会得到修复。这就算是一个制胜进阶的关键细节说明“情感判断”绝对不是简单查词表就行。6.2 把情感得分汇总看整体趋势对每条文本的情感分数做一个整体统计比如计算正负得分比例df[sentiment_type] df[improved_score].apply(lambda x: 正 if x 0 else (负 if x 0 else 中)) print(df[sentiment_type].value_counts())从结果中我们能一眼看出这批模拟数据的整体倾向。虽然样例很小但展示出的方法完全可以迁移到更大规模数据上。这里还有一个隐藏的观察得分是0不一定代表中性也可能是正面词和负面词互相抵消了。我自己的处理方式是把得分为0的样本拿来做抽样回看判断到底是真中性还是抵消导致的假中性这一步不能省。6.3 结果解读和经验沉淀文本分析的产出不只是一张表格更关键的是一份能被业务理解的结论。针对这个模拟场景我的输出结论会这样写本批评论共10条正负评价均有覆盖高频关键词集中在客服、发货、性价比等方面存在3条明显负面反馈其中物流和商品不符是主要痛点。这样一段话是管理层也能直接看懂的结论。这套逻辑之后可以用在更复杂的项目里包括但不限于用户访谈记录分析、在线舆情梳理、客服工单核心问题提取等。唯一的共同点都是先把文字变成数据再让数据替你说话。7. 实际踩坑与排查速查表7.1 词频统计怎么全是单字和虚词很大概率是停用词表没覆盖到位。多收集一些常用的语气词、介词、连词同时确认分词结果是否本身正确。排查方法也很简单打印出前200个高频词人工扫一遍比较高频的候选词有哪些明显无意义。比如“我的”“就是”“这个”这类词没有价值加进停用词表即可。7.2 分词结果把“不”和“满意”拆开情感跑偏这是中文文本处理中的经典问题。解决办法之一是维护一份自定义词典比如把“不满意”设置为一个词。jieba支持jieba.add_word(不满意)但如果只说“不会不满意”仍会有误差。复杂场景值得去研究更高级模型入门阶段记住这个问题的存在就已经算收获。7.3 wordcloud生成的图全是方框或者乱码中文字体路径缺失是最常见原因。不要以为自己电脑上能看到中文程序就能看到程序只会去指定的字体路径寻找。建议在代码里先确认font_path指向真实存在的字体文件。排查思路是随便选择一个系统中文字体把路径传给wordcloud或matplotlib的rcParams。7.4 DataFrame打印中文显示不全或乱码这通常和终端环境有关如果是Jupyter Notebbook里一般不会出现如果在命令行环境设置pd.set_option(display.max_colwidth, 200)能改善显示宽度。万一还是出现乱码考虑输出时把内容转为UTF-8编码。7.5 情感得分为0的样本特别多多数是正负词同时出现抵消也可能是没有识别出情感词。我建议把得分为0和得分非0的样本分开来看统计两类文本的特征差异。如果0分样本占比过高最主要的问题是情感词表覆盖不足需要不断扩充词表。8. 素材扩展一个更接近真实场景的迷你演练方案为了更好地掌握文本分析流程我在原有基础上又虚拟过一个“售后评论分析”场景。总计大约30条数据内容是真实的模拟工单反馈。做法基本相同只是到了后面多一步根据不同商品类别分开统计词频对比。这一步可以体现出文本分析“分维度”的价值比如某类商品差评集中在质量另一类集中在配送。仅仅在情感得分上做汇总就达不到这种洞察粒度。具体的操作是使用pandas的groupby先按类别分组再对每组词语列表做词频统计。无需额外库代码也容易理解。如果你有足够的时间还可以试着把分词结果保存成CSV再做透视分析。这些扩展方向不会改变链路骨架只是不断往里面加业务维度。9. 后续还能往哪些方向延伸文本分析入门案例跑完后面的路子就宽了。你可以试试给同一批数据做主题聚类用余弦相似度来比较短文本之间的相近程度也可以基于已有的情感词表用机器学习训练一个分类器。对入门者而言比较自然的进阶路线是先掌握词袋模型再用TF-IDF做特征矩阵接着用简单分类模型实现正负文本自动分类。还有一点值得多说分词和情感判断往往与业务领域强相关比如电商评论更关心物流、包装、性价比而餐饮评论关心口味、环境、服务。因此分析和判断标准都要根据领域做自定义这正是文本分析有趣的地方。写到这我再提一个我个人的习惯做完任何一次文本分析我都会把中间过程的关键结果图像和研究结论一起存档包括词频表、词云图、情感分布比例和Top负面文本。这件事对复盘特别重要。后续想写总结报告时这些存档就是最好的素材。文本分析入门确实不难但“入门”和“做明白”之间差的就是这些一点点积累的细节和排查经验。希望你拿着这篇笔记去跑一遍自己的真实数据把每一个环节都亲手操作一次到这里你就能看到文字里埋藏的故事了。