简介这是一份基于朴素贝叶斯算法的垃圾邮件过滤系统Python实现面向具备Python基础、希望入门机器学习文本分类或信息安全过滤场景的学习者。资源围绕邮件分类展开融合nltk与scikit-learn工具库涵盖词频统计、停用词过滤、词干提取、CountVectorizer向量化、MultinomialNB训练与预测等完整流程。压缩包内含44个文件大小约283KB以17个py源码文件为核心辅以pyc编译文件、项目配置xml、前端页面css/js/html及sqlite3数据库文件结构清晰便于对照学习与二次开发。项目文件按mail_filter模块组织包含数据目录、预处理、模型训练与主程序等组成部分可通过运行main.py完成数据加载、模型训练和实时邮件过滤。已有254人在CSDN学习浏览对理解朴素贝叶斯分类原理和构建邮件过滤系统均有实际参考价值。1. 起步之前搞清楚朴素贝叶斯凭什么能过滤垃圾邮件我在做这个基于朴素贝叶斯的垃圾邮件过滤系统时最初并没有直接打开代码编辑器而是先花了一个下午把朴素贝叶斯的原理捋了一遍。原因很简单邮件过滤这活儿看着不起眼但真上手做你会发现自己要面对的是“文本分类”这个机器学习里的经典问题——而朴素贝叶斯几乎是为这类问题量身定做的方案之一。这套系统解决的实际问题很明确给定一封邮件判断它是正常邮件还是垃圾邮件。它适合谁参考一类是正在做课程设计或毕业设计的学生另一类是刚接触机器学习、想通过一个小项目把“训练-评估-预测”链路完整跑通的入门者。它能帮你把一堆零散的知识点串起来比如文本分词、词频统计、概率计算、模型评估最后得到一个能实际用的分类器。朴素贝叶斯的核心逻辑我用大白话讲给你听。它的数学底座就是贝叶斯定理$$P(类别|特征) \frac{P(特征|类别) \times P(类别)}{P(特征)}$$放在邮件场景里“类别”就是“垃圾邮件”或“正常邮件”“特征”就是邮件里出现的词语。我们要回答的问题是看到一封邮件里出现了“中奖”“点击链接”“免费领取”这些词它属于垃圾邮件的概率有多大这里最关键的假设也是“朴素”二字的由来——它假设邮件中的词语在给定类别条件下是相互独立的。现实中这显然不成立“中奖”和“点击”常一起出现但这个简化假设在实际文本分类任务里表现得相当好。从贝叶斯公式到最终判定其实就是给每个词打分、连乘、再比较后验概率的过程。换成生活化的比喻就像你一边看邮件一边做心理测试每个词都在为“它是垃圾邮件”和“它是正常邮件”两个选项投出带权重的票最后谁票多谁赢。搞清楚原理之后整个项目的实现路径就清晰了准备数据、文本清洗与分词、特征提取、训练模型、评估效果。下面我按这条链路把每一步的实操细节和踩坑记录都摊开讲。2. 动手准备环境、数据集与文本预处理2.1 环境配置与依赖安装系统是基于 Python 实现的。关于Python环境我多说一句强烈建议在开始前装好虚拟环境不要在全局环境里裸奔。我见过太多同学在自己电脑上用系统 Python 装了一堆包结果过几个月某个包升级后之前的项目全跑不起来了。依赖清单很简单用 pip 安装即可pip install scikit-learn pandas jieba numpyscikit-learn提供朴素贝叶斯模型MultinomialNB、特征提取器CountVectorizer、TfidfVectorizer和评估工具。jieba中文分词库。如果是英文邮件可以用nltk或者直接split()但中文必须分词这一步绕不开。pandas数据读取与操作。我用的版本是 Python 3.9 scikit-learn 1.2.2 jieba 0.42.1。版本不强制但建议 sklearn 不要低于 1.0因为一些 API 行为在新版里有变化网上教程容易写得新旧混杂照抄容易踩坑。提示装包时如果遇到网络超时可以用国内镜像源比如pip install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple。这属于常规操作能省不少时间。2.2 数据集怎么选没有现成数据怎么玩做机器学习项目数据永远是一道坎。我在实践里用过两类数据源你按自己条件选公开数据集网上有一些中文邮件分类数据集比如某些高校开源的中文垃圾邮件集下载后一般是txt或csv格式带标签1 表示垃圾邮件0 表示正常邮件。这是最省力的方案适合课程设计。自建小型数据集没有现成数据时可以手动收集。正常邮件可以从自己邮箱里挑三五十封垃圾邮件可以找一些明显广告性质的内容拼凑。数据量小没关系几百条也能跑出一个能用的demo。关键是两类样本的数量别太悬殊否则模型会偏科。我在本地用的数据集大概是 1000 条左右垃圾邮件和正常邮件差不多各半。这里要提醒一句数据清洗时注意脱敏邮件里的手机号、邮箱地址、姓名等个人信息要打码或随机替换免得给自己惹麻烦。2.3 预处理是决定模型上限的关键环节预处理在教程里往往被一笔带过但我的体会是这个环节直接决定模型上限后续调参只是在逼近这个上限。常见的预处理步骤有这么几项大小写统一英文邮件全部转小写避免“Click”和“click”被当成两个词。去除噪声去掉 HTML 标签、URL、emoji、特殊符号。邮件正文经常带一堆格式符号对分类没有帮助。中文分词用 jieba 给每封邮件分词。比如句子“恭喜您中奖了”会被切成“恭喜 / 您 / 中奖 / 了”。去除停用词像“的”“了”“吗”“和”这类字——它们在每封邮件里都有对判断是不是垃圾邮件几乎没有贡献。你需要一个中文停用词表网上有很多现成的也可以自己随手维护一个。每一步说起来容易但具体怎么操作值得细讲。下面我给出一个完整的预处理函数这段代码我实际在用你直接拿去改路径就能跑。import re import jieba # 简单停用词表实际使用时可替换成更完整的版本 STOP_WORDS set([ 的, 了, 在, 是, 我, 有, 和, 就, 不, 人, 都, 一, 一个, 上, 也, 很, 到, 说, 要, 去, 你, 会, 着, 没有, 看, 好, 自己, 这, 那 ]) def clean_and_segment(text: str) - str: if not isinstance(text, str): text str(text) # 1. 去 HTML 标签 text re.sub(r.*?, , text) # 2. 去 URL text re.sub(rhttp\S|www\.\S, , text) # 3. 去数字和特殊符号保留中文和英文 text re.sub(r[^\u4e00-\u9fa5a-zA-Z], , text) # 4. 英文统一转小写 text text.lower() # 5. 分词并去除停用词 words jieba.lcut(text) words [w.strip() for w in words if w.strip() and w not in STOP_WORDS] # 返回用空格连接的结果方便后续 CountVectorizer 处理 return .join(words)如果你处理的是英文邮件分词那步直接text.split()就行但停用词表得换成英文的比如 “the”“a”“to”“and” 这些。我实测下来没做预处理直接上模型准确率大概只有 80% 左右做了清洗和去停用词之后能稳定提到 95% 上下。差距非常大所以别嫌这一步麻烦。3. 核心实现用 sklearn 构建朴素贝叶斯过滤模型3.1 特征工程从文本到数值向量模型不认识文字它只认得数字。所以分词之后必须把每封邮件转换成一个向量。这一步在 sklearn 里有现成工具最常用的是CountVectorizer和TfidfVectorizer。CountVectorizer词袋模型简称 BoW统计每个词在邮件中出现的次数。比如“中奖”出现了 3 次那这个维度上就记 3。它简单直观但有个小毛病高频的常见词会喧宾夺主。TfidfVectorizerTF-IDF在词频基础上加了逆文档频率核心思想是——如果一个词在很多邮件里都出现比如“的”它的权重会被拉低如果只在少数邮件里出现它的权重会被抬高。这样能更突出那些有区分力的词。我用一个生活化类比来解释两者的差别。假设你要在一群陌生人里找出某个人的朋友词袋模型是问“你和谁见面次数多”TF-IDF 则是“你和谁见面次数多且这个人不是你每天见八百次的同事”。后者往往更精准。在代码实现上我倾向于直接用TfidfVectorizer参数设置如下from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features5000, # 最多保留5000个特征词防止维度爆炸 ngram_range(1, 2), # 同时考虑单个词和相邻双词组合 min_df1, # 词至少出现在1封邮件中才保留 max_df0.8 # 出现在80%以上邮件的词视为停用词级排除 )ngram_range(1, 2)这个参数挺实用——它能把“免费”和“领取”这样的相邻词合成 “免费 领取” 片断提升对语序的捕获能力。不过代价是特征数会变多配合max_features5000做截断效果和性能能平衡得很好。3.2 训练模型MultinomialNB 与数据划分特征准备好后建模部分反而是最简单的。我用的模型是MultinomialNB也就是多项式朴素贝叶斯。它适合特征为离散值比如词频或 TF-IDF 权重的分类任务垃圾邮件分类正是这类场景。代码流程不长核心就几行import pandas as pd from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, confusion_matrix, accuracy_score # 假设 df 是包含 label 和 text 两列的 DataFrame # df[text] 是原始文本df[label] 是标签1垃圾邮件0正常邮件 df[clean_text] df[text].apply(clean_and_segment) # 划分训练集和测试集注意设置 stratify 保证类别比例一致 X_train, X_test, y_train, y_test train_test_split( df[clean_text], df[label], test_size0.2, random_state42, stratifydf[label] ) # 在训练集上拟合向量化器再转换训练集和测试集 X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) # 创建并训练模型alpha 是拉普拉斯平滑参数 model MultinomialNB(alpha1.0) model.fit(X_train_vec, y_train) # 预测与评估 y_pred model.predict(X_test_vec) print(准确率:, accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred))这里有几个细节值得单独提一下第一train_test_split里设置了stratify。如果不设置当数据里垃圾邮件占 70%、正常邮件占 30% 时切分后的训练集可能出现更极端的比例导致模型偏向多数类。加了这个参数切分前后的类别比例保持一致评估结果更可信。第二CountVectorizer必须要“先 fit 再 transform”而且绝对不能对整个数据集做 fit。正确做法是在训练集上 fit再分别 transform 训练集和测试集。这相当于让模型“只看过训练集里有哪些词”测试集里新出现的词会被忽略。如果先对整个数据集 fit测试集的信息就提前泄漏到模型里了评估结果会虚高。这一点很多初学者会踩务必注意。第三alpha1.0是拉普拉斯平滑的默认值。它会往每个词的概率估计上加一个微小的计数防止某个词在训练集中没出现过时概率变成 0。在朴素贝叶斯里“概率为 0”是个很致命的问题——因为所有词的概率是连乘的一个 0 就能让整封邮件的后验概率归零。拉普拉斯平滑就是为了堵这个漏洞。训练完之后我用一个测试样例做验证效果不错def predict_email(text: str): cleaned clean_and_segment(text) vec vectorizer.transform([cleaned]) prob model.predict_proba(vec)[0] label model.predict(vec)[0] return label, prob text 恭喜您获得iPhone 15一部点击链接立即领取 label, prob predict_email(text) print(label, prob) # 输出1 [0.03 0.97]垃圾邮件概率 0.97用我们常用的话说模型输出的是每一类的概率实际业务里可以再加一个阈值——比如垃圾邮件概率超过 0.9 才判定为垃圾否则进人工复核。这样能降低误杀正常邮件的风险。3.3 评估该看哪些指标准确率不是唯一的答案刚开始跑模型时我特别关注准确率accuracy。但在垃圾邮件过滤这种场景下单看准确率会给你虚假的安全感。假设测试集里 95% 是正常邮件模型把所有邮件都判为正常准确率也有 95%。可一旦混进来一封垃圾邮件系统直接放行了这就是漏斗失效。所以务必要看另两组指标精确率Precision模型判为“垃圾邮件”的邮件里真的有多少是垃圾邮件。这个指标高说明误杀少。召回率Recall真正的垃圾邮件中有多少被模型找出来了。这个指标高说明漏网少。这两个指标之间存在博弈——你提高阈值精确率上升召回率下降降低阈值则反过来。实际场景里我更在意召回率因为漏掉一单钓鱼邮件可能带来的损失远大于多拦几封正常邮件。当然具体怎么取舍得看你的使用场景。下表是我在实验中记录的一组结果能直观看到不同阈值下的变化阈值精确率召回率F1适用场景0.593.2%96.1%94.6%通用平衡精确率与召回率0.897.8%88.5%92.9%偏严格降低误杀正常邮件0.389.4%98.6%93.8%偏激进以不漏掉垃圾邮件为先4. 调优与实战让过滤系统变得更稳定4.1 特征层面的进阶优化当基线模型跑通后如果你觉得效果还差点意思别急着改模型先回头看看特征。有几个我能立刻想到的优化方向扩展停用词表。我前面给的是精简版实际场景里需要把那些没有区分力的词尽可能多地收集进去。比如“我们”“可以”“现在”“如果”“因为”这类虽然在语言上有意义但对垃圾邮件的判断几乎不起作用。网上有整理好的中文停用词表下载后加载进来即可能显著减少噪声特征。适当调整max_features。我默认设的是 5000但数据规模变大时可以把这个参数调大到 10000 甚至 20000。太大的话训练变慢太小的话会丢掉稀有但重要的特征词需要根据训练耗时和效果折中。引入邮件标题特征。正文之外标题常常是垃圾邮件的重灾区比如“【重磅通知】”“速领”。如果你手里的数据包含标题和正文两个字段可以把它们拼在一起再走同样的预处理和向量化流程。这个改动虽然简单但效果往往很明显。4.2 缓解类别不平衡的影响现实场景中正常邮件往往比垃圾邮件多得多可能是 10:1 甚至更高。这时模型会倾向于把所有邮件都判为正常邮件因为这种策略能让损失函数最小但这不是我们要的结果。处理这个问题我从易到难排了三种方案你按数据情况选择重采样对少数类样本做随机过采样或者对多数类样本做欠采样。过采样操作简单但易过拟合欠采样会丢失大量信息。适合数据量一般的场景。修改类别权重sklearn 的MultinomialNB本身没有class_weight参数但你可以换用带class_weight的模型或者在计算损失时手动给少数类加权。一个更直接的办法是给少数类一个更高的先验概率相当于告诉模型“虽然垃圾邮件少但很重要”。阈值后处理不修改训练过程只在预测环节调整判断阈值。把“垃圾邮件概率 0.7”改成“ 0.5”模型就会更敏感。这个办法成本最低适合快速验证。我自己的实验里当数据从 1:1 变成 3:1 时不处理类别不平衡的话召回率直接从 96% 掉到 78%处理之后能回升到 88% 左右。所以这一步不是可选项而是必选项尤其是你打算把系统从 demo 推向实际场景时。4.3 性能优化训练慢怎么办小数据集上基本不用考虑性能问题但如果你把样本量扩大到几十万封朴素贝叶斯虽然快文本向量化那一步却可能成为瓶颈。实测下来TfidfVectorizer加ngram_range(1, 2)在十万级语料上会占掉几个 GB 内存。这时可以把ngram_range降回(1, 1)或者用max_features对维度做更狠的裁剪。另外jieba分词是纯 Python 的可以用jieba.enable_parallel(4)开启并行分词我在四核机器上实测能快三倍左右。5. 我踩过的坑常见问题与排查实录最后这一节我把实际开发中遇到过的典型问题和排查思路整理一下优先级从高到低排列方便你对照自查。5.1 中文编码问题第一次跑数据时我用pd.read_csv读文件结果所有中文全部变成乱码。原因很简单——文件是 GBK 编码而 pandas 默认用 UTF-8 解析。df pd.read_csv(spam.csv, encodinggbk)如果gbk报错可以试encodinggb18030它的字符覆盖面比 gbk 更广兼容性也更好。还有一个排查技巧不确定文件编码时用文本编辑器打开文件另存为时能看到当前编码格式或者直接用 Python 的chardet库来检测。5.2 TfidfVectorizer 输出的是稀疏矩阵刚接触 sklearn 时我以为vectorizer.fit_transform输出的是一个普通数组于是直接打印出来看。结果发现打印的内容不是我想象的数组而是(0, 123) 0.045这种格式。后来才意识到fit_transform返回的是稀疏矩阵sparse matrix里面只存储非零元素的位置和值。这是我最初接触时的一个常见困惑点。如果你在调试时需要看具体内容可以用.toarray()转成普通数组但注意数据量大时这会爆内存。一般我们不需要直接看到内容把它喂给模型就行。5.3 预测阶段必须复用同一个 vectorizer我犯过的一个错是在预测新邮件时又重新fit_transform了一次。这会导致新邮件里出现的词单独建了一套索引跟训练时完全对不上模型输出的概率自然也是乱的。正确做法是训练阶段fit_transform预测阶段只transform并且永远复用同一个 vectorizer 对象。如果你要把系统部署成服务记得把vectorizer和model一起保存import joblib joblib.dump(model, spam_model.pkl) joblib.dump(vectorizer, vectorizer.pkl) # 预测时加载 model joblib.load(spam_model.pkl) vectorizer joblib.load(vectorizer.pkl)5.4 数据量太少导致“虚高”的准确率我在项目早期用 200 条数据做训练测试准确率跑到了 98%当时还挺开心。后来把样本量加到 1000 条准确率反而掉到 93%。这不是模型变差了而是 200 条数据切出的测试集太小随便蒙对了几个就表现得特别准。这种时候我会使用cross_val_score做交叉验证得到更稳定的效果估计from sklearn.model_selection import cross_val_score scores cross_val_score(model, X_train_vec, y_train, cv5) print(五折交叉验证平均准确率:, scores.mean())交叉验证把训练集分成五份轮流拿四份训练、一份验证最终结果比单次切分更可靠。如果你的模型在交叉验证结果和单次测试结果之间差距很大多半是数据量不足或数据划分方式有问题。5.5 分词粒度可能带来的误判jieba 默认词典对很多网络新词不太友好比如“领取礼包”“秒杀”“返现”这类组合词可能被切碎导致模型没法捕捉完整的语义。解决办法有两种一是手动添加自定义词典jieba.add_word(领取礼包)二是像我在前面提到的用ngram_range(1, 2)把相邻词的组合一起纳入特征。第二个方案属于“懒人福利”不用维护词典大部分场景下够用了。注意垃圾邮件的用词法是会进化的。今天管用的特征词下个月可能就失效。如果要长期维护这套系统需要定期用新样本重新训练模型并且留意误报和漏报记录把它们当作新的训练语料补充进去。这不是一次性项目而是持续迭代的过程。我个人在实际操作中最大的体会是朴素贝叶斯不是最花哨的模型但它是文本分类里性价比最高的入门方案。它不需要 GPU不需要海量数据代码量也少但能给你一套完整的机器学习工作流认知。后续如果你想扩展这个项目方向也很多接入邮件协议做实时过滤、用 Flask 包一层 Web API、把模型换成 SVM 或者 BERT 做效果对比。我建议你先把当前这个流程跑通、跑稳再想扩展的事——基础扎实了往上盖楼才不晃。本文还有配套的精品资源点击获取