简介这套基于朴素贝叶斯算法的垃圾邮件过滤系统以 Python 编写面向计算机、软件、数据科学、人工智能等专业的在校生或开发者可直接用于毕业设计、课程设计或入门项目演示。系统支持选择训练集进行训练、查看分类精确度、自定义或使用内置屏蔽词、按邮件号快速测试也能通过配置 get_mail.py 接入邮箱实现真实邮件判断。资源包共 407 个文件包含 20 个 Python 源码文件、5 个压缩包、txt/md 操作说明以及大量按编号组织的邮件样本数据整体约 995KB便于对照学习和二次开发。目前已有 481 人学习下载。借助源码、说明文档和分层邮件样本使用者可以快速掌握朴素贝叶斯分类原理并直接扩展为一套完整的邮件过滤项目。1. 垃圾邮件过滤为什么选了朴素贝叶斯不调模型靠概率也能打赢大多数场景做毕业设计选“垃圾邮件过滤”这个题十个人里有九个会先冲深度学习又是 LSTM 又是注意力机制。但真去跑一遍就会发现公开邮件数据集上 CNN 调参调得头大换一个数据集效果就崩答辩时连你自己都解释不清。反而是朴素贝叶斯这个“古老”算法在垃圾邮件分类这种高维稀疏文本场景里一直很能打训练快、可解释性强、代码量少一份 Python 源码加操作说明就能撑起一个完整的毕设项目。这篇文章要讲的就是怎么用朴素贝叶斯从零搭一套能用的垃圾邮件过滤系统包括特征怎么提、概率怎么算、参数怎么设、哪些坑会让你的准确率数据变难看以及最后怎么把模型固化成本地服务。适合正在做课程设计或者本科毕业设计的同学也适合想快速了解文本分类落地路径的入门工程师。2. 朴素贝叶斯凭什么做分类从贝叶斯定理到拉普拉斯平滑2.1 贝叶斯定理与“朴素”假设到底朴素在哪垃圾邮件过滤本质是一个二分类问题给定一封邮件的文本判断它属于spam还是ham。朴素贝叶斯做这件事的逻辑非常直接先算两类邮件各自出现的概率再算每个词在两类邮件里出现的条件概率最后用贝叶斯定理反推“在看到了这些词的情况下邮件属于垃圾邮件的概率”。用公式写就是P(spam | w1, w2, ..., wn) P(w1, w2, ..., wn | spam) * P(spam) / P(w1, w2, ..., wn)分母 P(w1, w2, ..., wn) 对 spam 和 ham 两类是同一个值所以实际比较时可以直接约掉只看分子。问题在于 P(w1, w2, ..., wn | spam) 这个联合概率没法直接统计一封邮件里可能有几千个词组合数是指数级的。这时候“朴素”假设就登场了假设各个词的出现是条件独立的也就是说“发票”出现不影响“点击”出现的概率。这个假设在语言学上显然不成立但实践里它把联合概率拆成了连乘P(w1, w2, ..., wn | spam) P(w1 | spam) * P(w2 | spam) * ... * P(wn | spam)P(wi | spam) 就是训练时统计出来的“词 wi 在垃圾邮件中出现的次数 / 垃圾邮件总词数”。虽然独立假设很粗糙但对垃圾邮件这种词特征明显的场景它反而稳因为垃圾邮件常用词“免费”、“VIP”、“点击领取”本身就具有很强的区分度特征间的相关性干扰不大。这就是我一般会先选朴素贝叶斯而不是直接上神经网络的原因先确保基线结果可靠再考虑复杂度。2.2 过滤器的单词表和特征向量在哪切、保留什么、停用词要不要删朴素贝叶斯的输入不是原始文本而是特征向量。第一步是分词。英文邮件直接按空格和标点切就行但需要注意大小写归一化否则Free和free会被当成两个词。中文邮件要先分句再分词常用工具是 jieba比如“恭喜您获得免费礼品”会被切成“恭喜 / 您 / 获得 / 免费 / 礼品”。分词质量直接影响后续统计词表里如果混入大量无意义的单字特征维度会膨胀训练和预测都会变慢。第二步是决定保留哪些词。我的习惯是先做小写归一再去掉长度过短或过长的词比如英文只保留长度 2 到 20 的 token中文保留长度 1 以上的词——注意这里中文单字可能有意义比如“免”“费”单独出现也有信号不能一刀切。停用词表要看场景英文里 “the”、“and”、“to” 这类词在垃圾邮件和正常邮件里出现频率都很高留着只会稀释概率删掉。但中文停用词要谨慎像“点击”、“领取”、“免费”虽然看起来像正常动词在垃圾邮件里却是指标性极强的词如果停用词表里有它们召回率会明显下滑。第三步是决定特征值。最朴素的做法是“词是否出现”的布尔特征出现记 1不出现记 0。另一种是词频 TF取该词在邮件里出现的次数。更进阶的是 TF-IDF它能压低“的”“了”这类通用词的权重。但注意朴素贝叶斯的概率计算是基于词频统计的用 TF 或布尔特征都符合算法原理TF-IDF 则更适合搭配 SVM 或逻辑回归直接配朴素贝叶斯反而会让概率解释变奇怪。所以我一般建议毕设里用 TF 特征简单、可解释效果也不差。2.3 防止零概率与下溢log 相加和拉普拉斯 alpha 的数学视角训练时统计 P(wi | spam)有一个经典坑训练集里某个词只在 ham 中出现过没在 spam 中出现过那 P(wi | spam) 就是 0。预测时只要这封邮件包含了这个词整个连乘结果直接变成 0spam 的概率就被一刀切掉了。这就是所谓的零概率问题。解决方法是拉普拉斯平滑也叫加 1 平滑。对每个词的概率做修正P(wi | spam) (count(wi, spam) alpha) / (count_total(spam) alpha * vocab_size)其中 alpha 是平滑参数默认取 1.0。vocab_size 是词表大小。这样即使某个词在某一类中从未出现概率也至少是 alpha / (count_total alpha * vocab_size)不会变成绝对的 0。另一个问题是下溢。一封邮件可能有几百个词几百个小于 1 的小数连乘结果会小到浮点数都表示不了直接变成 0.0。解决办法是对概率取对数把连乘变成连加log P(spam | w1, ..., wn) log P(spam) sum(log P(wi | spam))对数操作不改变概率的相对大小因为 log 是单调函数。sklearn 的MultinomialNB内部就是这么做的所以它没有下溢风险。如果你自己手写实现记得全程用 log 累积不要在最后才取 log。3. 从零搭一个最小过滤器预处理、词表、训练器一条线3.1 目录结构和一个能直接跑的最小项目做毕设最忌讳的就是代码写成一坨跑通一次就不知道哪里是哪里。我一般会先按照这个结构组织项目后面写报告、画流程图都方便spam_filter/ ├── data/ │ ├── spam/ # 垃圾邮件原文件每封邮件一个 txt │ └── ham/ # 正常邮件原文件每封邮件一个 txt ├── src/ │ ├── preprocess.py # 分词、去停用词、构建特征 │ ├── train.py # 训练朴素贝叶斯模型 │ └── predict.py # 预测单封邮件 ├── output/ │ ├── model.pkl # 训练好的模型参数 │ └── vocab.txt # 词表文件 └── README.md # 操作说明数据文件按“一个文件一封邮件”的方式存放比塞在一个大 CSV 里更容易处理也方便后续做增量训练。如果你的数据是 CSV 格式类别列是 label正文列是 content那读入后按 label 拆到两个文件夹里也行但注意保存时统一编码为 UTF-8后面会细说。3.2 预处理与特征构建代码预处理是纯函数式的输入一封邮件的原始文本输出一个词频字典。下面是preprocess.py的核心代码import re import jieba # 英文邮件用空格切分中文邮件用 jieba 分词 def tokenize(text: str, language: str auto) - list[str]: if language zh or (language auto and re.search(r[\u4e00-\u9fa5], text)): return [w.strip() for w in jieba.lcut(text) if w.strip()] else: return [w.lower() for w in re.findall(r[a-zA-Z0-9], text)] # 简单停用词表只过滤完全没有区分度的词 STOP_WORDS {the, a, an, and, or, of, to, in, on, for, with, 的, 了, 是, 在, 我, 你, 他, 她, 它} def word_count(text: str, language: str auto) - dict[str, int]: tokens tokenize(text, language) freq: dict[str, int] {} for w in tokens: if w in STOP_WORDS: continue if len(w) 20 or len(w) 1: continue freq[w] freq.get(w, 0) 1 return freq逻辑很简单先分词再过滤停用词和异常长度词最后统计词频。languageauto是方便同时处理中英文混排的邮件——实际垃圾邮件里经常中英文混杂比如英文“Free”加中文“点击领取”所以用正则检测文本里是否含中文字符来决定走哪个分词路径。这里有个细节英文词统一小写中文词不动因为中文大小写没有意义而英文不统一的话Click和click会是两个特征。3.3 训练朴素贝叶斯模型并保存参数下面是手写版本不依赖 sklearn逻辑透明适合写进毕设论文里展示原理import math import pickle from collections import defaultdict from preprocess import word_count def train(spam_files: list[str], ham_files: list[str], alpha: float 1.0): # 统计每个词在两类中出现的次数 word_spam defaultdict(int) word_ham defaultdict(int) spam_total 0 ham_total 0 for f in spam_files: text open(f, encodingutf-8, errorsignore).read() freq word_count(text) for w, c in freq.items(): word_spam[w] c spam_total c for f in ham_files: text open(f, encodingutf-8, errorsignore).read() freq word_count(text) for w, c in freq.items(): word_ham[w] c ham_total c # 词表 两类词的并集 vocab set(word_spam.keys()) | set(word_ham.keys()) vocab_size len(vocab) # 先验概率取 log 防止下溢 total_emails len(spam_files) len(ham_files) log_prior_spam math.log(len(spam_files) / total_emails) log_prior_ham math.log(len(ham_files) / total_emails) # 条件概率带拉普拉斯平滑也取 log log_p_spam {} for w in vocab: p (word_spam[w] alpha) / (spam_total alpha * vocab_size) log_p_spam[w] math.log(p) log_p_ham {} for w in vocab: p (word_ham[w] alpha) / (ham_total alpha * vocab_size) log_p_ham[w] math.log(p) model { log_prior_spam: log_prior_spam, log_prior_ham: log_prior_ham, log_p_spam: log_p_spam, log_p_ham: log_p_ham, vocab: vocab, alpha: alpha, } with open(output/model.pkl, wb) as f: pickle.dump(model, f) return model参数说明alpha1.0是拉普拉斯平滑强度调大一点会让概率估计更保守适合词表很大的场景len(spam_files) / total_emails是先验概率如果训练集中垃圾邮件占 30%那预测时也会默认偏向 ham。预测的时候遇到词表里没有的新词直接跳过不参与连乘这是朴素贝叶斯处理 OOVout-of-vocabulary的常见做法。为什么只统计词频而不是文档频率因为多项式朴素贝叶斯假设每封邮件是一次“词汇抽取实验”词频次数反映了词在邮件中出现的强度。这个手写版本只有 60 行左右但已经具备朴素贝叶斯分类器该有的全部要素。不过如果你做毕设希望流程更标准或者想和同行对比参数效果直接用 sklearn 会更省心下一章讲。4. 用 sklearn 走上标准路线MultinomialNB 的参数、评估与样本量4.1 用 sklearn 训练并输出评估指标的脚本sklearn 的MultinomialNB是文本分类的标准选择它在底层做了 log 平滑和向量化加速不需要自己维护词表和概率字典。配合CountVectorizer或TfidfVectorizer整个训练流程可以压缩到四十行以内import pandas as pd from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix # df 必须有 content 和 label 两列label 取值为 1(垃圾) / 0(正常) df pd.read_csv(data/mail.csv, encodingutf-8) X_train, X_test, y_train, y_test train_test_split( df[content], df[label], test_size0.2, random_state42, stratifydf[label] ) # 词频向量化只保留出现次数在 2 到 80% 文档之间的词 vectorizer CountVectorizer( min_df2, max_df0.8, token_patternr(?u)\b\w\b, lowercaseTrue, ) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) # 训练多项式朴素贝叶斯 clf MultinomialNB(alpha1.0, fit_priorTrue) clf.fit(X_train_vec, y_train) # 预测与评估 y_pred clf.predict(X_test_vec) print(accuracy:, accuracy_score(y_test, y_pred)) print(precision:, precision_score(y_test, y_pred)) print(recall:, recall_score(y_test, y_pred)) print(f1:, f1_score(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))CountVectorizer的参数要重点说。min_df2表示词至少在 2 封邮件里出现才保留去掉只出现过一次的长尾词既降维度又防过拟合max_df0.8表示词在超过 80% 的邮件里都出现就丢弃这类词基本上是停用词级别区分度极低。token_pattern用正则\b\w\b匹配单词英文没问题中文则要配合预分词后的空格文本把 jieba 分词结果用空格拼起来再喂给 CountVectorizer这是一种常见的中文文本向量化套路。4.2 参数该怎么调alpha、fit_prior、class_prior 的真实影响MultinomialNB的主要参数就三个alpha、fit_prior、class_prior。alpha是拉普拉斯平滑系数默认 1.0。它越大概率估计越向均匀分布靠拢对噪声越不敏感它越小模型对训练集中的频率越敏感。实际调参时我会在[0.01, 0.1, 0.5, 1.0, 2.0, 5.0]这个范围内用网格搜索配交叉验证。对垃圾邮件过滤来说alpha 在 0.1 到 1.0 之间通常效果不错太小容易过拟合个别罕见词会主导判断。fit_priorTrue表示从训练数据中估计先验概率也就是垃圾邮件和正常邮件的比例。如果训练集里垃圾邮件占 70%模型就会偏向预测垃圾。class_prior则允许你手动指定先验比如你觉得实际环境中垃圾邮件只占 20%但训练集里两类各占 50%那就设置class_prior[0.2, 0.8]。这里有个常见的毕设误区训练数据人为做成 1:1 均衡导致先验失真模型在均衡测试集上准确率很好看但模拟真实场景时误杀率偏高。你要是想体现自己对工程的理解会在操作说明里写清楚这一点并给出非均衡样本下的评估方式。4.3 训练集大小和交叉验证从小样本到 5 折 CV毕设里常见的另一个问题是用少量样本训练却声称模型准确率 99%。垃圾邮件过滤不是简单任务训练集少于 1000 封邮件时结果波动非常大。我自己的经验是500 封邮件时准确率可能只有 80% 上下2000 封时能稳定到 93% 以上5000 封以上才有资格谈 98%。所以操作说明里明确给出数据量和效果的关系会更有说服力。评估方式建议用 5 折交叉验证而不是一次性train_test_split。交叉验证能减少数据划分带来的偶然性也能在论文里放误差棒图from sklearn.model_selection import cross_val_score scores cross_val_score(clf, X_train_vec, y_train, cv5, scoringf1) print(5-fold F1:, scores.mean(), /-, scores.std())用f1而不是accuracy作为打分指标是因为垃圾邮件场景通常类别不平衡准确率会被多数类带偏。交叉验证的另一个作用是确认模型没有过拟合如果训练集 F1 是 0.99验证集只有 0.85说明特征选择或平滑参数有问题要回头调min_df或alpha。5. 常见问题与避坑清单中文编码、数据泄漏、误杀率这些坑5.1 乱码、编码与换行符Windows 和 Linux 带来的编码灾难现象代码跑起来读入的邮件全是乱码或者训练时报UnicodeDecodeError模型准确率异常低。原因很多公开邮件数据集是 GBK 或者是混合编码存的尤其是在 Windows 环境下用记事本保存的中文邮件默认是 ANSI/GBK。Python 里直接用encodingutf-8去读遇到 GBK 编码的中文就直接崩溃或读出乱码词表。解决读取时先尝试 UTF-8再用 GBK 兜底。一个通用函数是def read_text(path: str) - str: for enc in (utf-8, gbk, gb18030, latin-1): try: with open(path, encodingenc) as f: return f.read() except UnicodeDecodeError: continue raise ValueError(f无法识别编码: {path})另外注意换行符Windows 下文本是\r\n直接按\n切行会把\r混进词尾正则匹配时要用\r?\n或者先统一做text.replace(\r\n, \n)。5.2 数据泄漏为什么先在全量数据上拟合向量化器是作弊现象训练集准确率 99%交叉验证准确率也很高但模型一上真实邮件就拉胯误判率奇高。原因你在划分训练/测试集之前先对全部数据执行了fit_transform。这意味着向量化器见过测试集里的词甚至某些测试集中的独有词已经进入了词表测试集的信息提前泄漏给了训练过程。更常见的是你在预处理阶段就把所有邮件的词频统计了一遍构建停用词表时用了测试数据的信息。解决向量化器和模型都只允许在训练集上fit对测试集只做transform。如果要做停用词表也只能从训练集统计。有些同学为了省事把整个数据集先拼起来做 jieba 自定义词典这也是泄漏严格来说不允许。5.3 中文分词的失败导致“免费”被切成“免”和“费”现象对中文邮件分词后词表里出现大量单字模型效果明显不如英文数据集。原因jieba 默认分词模式有时会把人名、固定搭配切错比如“优惠活动”被切成“优惠 / 活动”没问题但“免费领取”可能被切成“免 / 费领 / 取”。单字特征缺乏语义组合能力对贝叶斯分类是噪声。同时中文词表太大数据稀疏条件概率估计不可靠。解决分三步走。第一加载一个垃圾邮件领域词典把“免费领取”“点击链接”“中奖通知”这类短语强制识别为整体词用jieba.add_word(免费领取)。第二在特征层面对单字词做过滤要求词长大于等于 2但提前检查这些单字是否在垃圾邮件中具有强判别力——做法很简单分开统计 spam 和 ham 的词频若某个单字在两个类中的比例差异超过 5 倍保留它。第三增加训练数据量中文的词汇组合远多于英文需要更多样本才能稳定估计概率。5.4 单一指标看着好实际效果翻车准确率 95% 但垃圾邮件全放过了现象测试集准确率 95%你以为模型很好打开真实邮箱发现垃圾邮件几乎全进来了或者正常邮件被误杀一大批。原因准确率在类别不平衡时是骗人的。如果测试集里 90% 是正常邮件模型只要全预测正常邮件准确率就有 90%但对垃圾邮件的召回率是 0。垃圾邮件过滤业务里两类错误的代价不同漏掉垃圾邮件是用户体验问题把正常邮件判成垃圾邮件是信任危机。所以要看混淆矩阵重点看 recall垃圾邮件被识别出来的比例和 precision判成垃圾邮件的邮件里真的垃圾的比例二者要拉一个平衡。解决不要只看准确率。标注时明确写出目标比如毕设里可以定义“查全率不低于 90%同时误杀率不高于 5%”然后调平滑参数或分类阈值去满足这个指标。当你需要压低误杀率时可以把预测概率阈值从默认的 0.5 调高到 0.7下一章细说。6. 从“能跑”到“能用”把模型固化成离线服务的一顿操作6.1 用 pickle 固化模型、向量化器和词表避免每次重新训练毕设演示时最尴尬的场面是评委让你现场测一封邮件你才发现模型还没训练好或者训练脚本和数据路径写死了换个目录就报错。正确的做法是把训练好的模型对象连同向量化器一起打包落盘。import pickle import joblib from sklearn.naive_bayes import MultinomialNB # 训练完成后把所有关键对象保存到一个字典里 artifact { vectorizer: vectorizer, # CountVectorizer 实例 clf: clf, # MultinomialNB 实例 labels: [ham, spam], # 类别顺序 } with open(output/spam_model.pkl, wb) as f: pickle.dump(artifact, f)加载预测的脚本就简单了import pickle with open(output/spam_model.pkl, rb) as f: artifact pickle.load(f) vectorizer artifact[vectorizer] clf artifact[clf]注意版本兼容问题pickle 在 Python 3.6 和 3.11 之间加载是安全的但 sklearn 跨大版本加载模型偶尔会报错比如 0.24 和 1.2 之间有少量兼容警告。毕设答辩现场如果用另一台电脑跑最好用 joblib 保存并统一在 requirements.txt 里锁住版本。模型体积一般不超过 10MB别把整个训练集也 pickle 进去那个会到几百 MB。6.2 用概率阈值而不是 0.5误杀率更高的场景怎么调默认predict()是在计算出的垃圾概率大于 0.5 时判为垃圾。但实际业务里如果误杀一封正常邮件的代价远高于放过一封垃圾邮件就要把阈值调高比如 0.85。这样只有模型非常有把握时才判定为垃圾宁可漏掉一些垃圾邮件也不误杀正常邮件。用predict_proba()拿到概率自己加阈值判断proba clf.predict_proba(vectorizer.transform([email_text]))[0] spam_prob proba[1] # 类别顺序请参照 artifact[labels] if spam_prob 0.85: label spam elif spam_prob 0.3: label ham else: label review # 不确定区域转人工复审这个“不确定区域”的设计在毕设里是个很出彩的加分项它说明你考虑了真实系统的容错需求。阈值怎么定在验证集上计算所有样本的 spam 概率画出 P-R 曲线或者根据业务损失函数选点。没有业务约束时一个朴素做法是让验证集的误杀邮件数不超过 5 封从高到低扫描阈值。6.3 用“没见过”的邮件验证最容易翻车的三类样本模型固化后最后一步是用三类数据做验收带 HTML 标签的邮件、中英文混排邮件、包含大量数字和 URL 的邮件。这三类邮件最容易暴露出系统的问题。第一类HTML 标签邮件。原始文本里全是htmlbodytable这类噪声如果不做标签剥除这些标签会占掉大量词频真实邮件内容反而被稀释。解决是在预处理里先去掉 HTML 标签可以简单用正则[^]匹配删除或者用BeautifulSoup提取正文文本。第二类中英文混排。分词函数只走一边的话中文邮件里的英文缩写“VIP”或“SALE”会被丢掉或者被当作无意义 token 过滤。解决是让分词函数对中英文分别处理英文部分提取单词中文部分走 jieba再把结果合并成一个词频字典。第三类大量数字与 URL。垃圾邮件里常见 URL 和电话号码但它们对判断垃圾邮件没有信息量6819733这样的数字串如果进入词表只会造成维度爆炸。解决是预先把 URL 整体替换成URL把数字替换成NUM这既是降噪也是业界语义标注的标准做法。我自己的习惯是每改完一个预处理步骤就把这 100 封“验收邮件”重新跑一遍记录哪些被分错然后回看那封邮件的词频特征看是分词问题还是阈值问题。这样调两三轮之后系统才算真正能从“毕设项目”变成“可展示的工具”。最后补一句经验之谈不要把模型效果绑定在单一数据集上换一个来源的邮件再试一次结果掉点很正常把掉点原因写进操作说明里反而让答辩更有底气。希望本篇能帮你在毕设路上少踩几个坑。本文还有配套的精品资源点击获取