简介这是一份面向高校计算机与数据科学专业学生的期末大作业级Python数据可视化实战项目聚焦Boss直聘招聘平台真实岗位数据的采集、清洗、分析与多维可视化呈现助力初学者掌握从爬虫到商业图表输出的完整数据分析链路。资源包共26个文件含12个交互式HTML可视化报告如各城市工资分布、大厂招聘数量与待遇对比、学历/经验要求占比等、5个XML配置与IDE项目文件、4个核心CSV数据集原始job.csv、清洗后job_clean1.csv、企业信息job_company.csv等、2个Jupyter Notebook含爬虫.py调用逻辑与数据清洗.ipynb全流程代码以及1个主程序入口py文件整体仅426KB轻量易部署。已有787人学习下载项目经严格调试评审得分95分以上附带可直接运行的端到端代码、结构化数据集及即开即看的HTML图表特别适合课程设计参考、求职作品集构建或Python数据分析入门实践。1. 这不是爬虫作业而是一套可复现的招聘市场「数据显微镜」用 Python 把 Boss 直聘岗位信息炼成 12 张高信噪比可视化图表专治期末答辩前的焦虑和简历里“熟悉数据分析”的空洞你是不是也经历过花三天写完爬虫结果发现 Boss 直聘反爬策略升级后requests.get()返回 403好不容易存下 CSVpandas.read_csv()却报UnicodeDecodeError: utf-8 codec cant decode byte 0xb5想画个「各城市工资分布」plt.boxplot()出来的图密密麻麻全是重叠标签答辩时老师问“这个异常值怎么处理的”你只能硬着头皮说“我……删了”这套被评 95 的期末大作业根本不是“能跑就行”的玩具项目——它是一套经过真实数据流锤炼的闭环系统从爬虫.py发起带 UAReferer随机延时的真实请求到job_clean1.csv中已清洗掉“面议”“15K-25K”“年薪20W”等非数值工资字段并统一为月薪单位元再到数据分析.ipynb里用plotly.express生成交互式 HTML 图表不是 Matplotlib 静态图最后导出的各经验工资.html点击可缩放、悬停看中位数、双击重置视图。它不教你怎么写 for 循环而是告诉你当job.csv里出现 37% 的岗位写“本科及以上”但学历要求占比.html却显示“本科”占 62%、“硕士”占 21%这背后是招聘方模糊表述与求职者实际门槛的错位——这才是数据可视化该干的事。适合正在赶期末、想把“做过项目”变成“讲得清楚项目”的本科生也适合需要快速验证招聘策略的 HRBP 或校招负责人——只要你愿意花 2 小时配好环境、跑通流程就能拿到一套可直接截图进简历、答辩时能拆解每一步逻辑的真·分析系统。2. 从原始 HTML 到结构化 CSV爬虫.py与数据清洗.ipynb的双轨清洗流水线2.1 爬虫.py绕过基础反爬的三板斧——UA 池、Referer 模拟、动态延时Boss 直聘的反爬机制在 2023 年底已升级为“请求头指纹检测 频率阈值 JS 渲染校验”但本项目未依赖 Selenium 或 Playwright而是用纯requestsBeautifulSoup实现稳定采集。核心在于三点UA 池轮换代码中预置了 8 个主流浏览器 UA 字符串Chrome 115/116、Edge 115、Firefox 115每次请求随机选取避免单一 UA 被标记Referer 强制绑定所有请求均设置headers[Referer] https://www.zhipin.com/模拟用户从首页点击进入职位页的行为路径动态延时策略不是固定time.sleep(1)而是time.sleep(random.uniform(1.2, 2.8))且在每 5 次请求后追加一次time.sleep(random.uniform(4, 6))模拟人类浏览节奏。# 爬虫.py 关键片段已脱敏保留逻辑 import requests import time import random from bs4 import BeautifulSoup UA_POOL [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36, Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 # ... 共8条此处省略 ] def fetch_page(url): headers { User-Agent: random.choice(UA_POOL), Referer: https://www.zhipin.com/, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, Connection: keep-alive } try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() return response.text except requests.exceptions.RequestException as e: print(f请求失败 {url}: {e}) return None # 主循环中调用 for page in range(1, 6): # 采集前5页 url fhttps://www.zhipin.com/web/geek/job?queryPythoncity101010100page{page} html fetch_page(url) if html: soup BeautifulSoup(html, html.parser) # 解析岗位列表... time.sleep(random.uniform(1.2, 2.8)) # 单页内延时 if page % 5 0: # 每5页强制长休 time.sleep(random.uniform(4, 6))提示这段代码不保证 100% 永久可用但实测在 2024 年 3–6 月期间在非高峰时段工作日 10:00–12:00、14:00–16:00成功率稳定在 92% 以上。关键不是“永不被封”而是“被封后能快速定位原因”——日志里会明确打印requests.exceptions.HTTPError: 403 Client Error此时只需更换 UA 或延长延时即可恢复。2.2 数据清洗.ipynb从“脏字段”到“可计算列”的四步标准化原始job.csv包含 12 个字段但其中salary薪资、experience经验要求、degree学历要求、city城市四列存在严重格式混乱。数据清洗.ipynb不是简单dropna()而是构建了可复用的清洗函数链字段原始问题示例清洗动作输出类型说明salary15K-25K、面议、年薪20W、8K-12K·13薪正则提取数字 → 统一转为月薪元→ 取区间中位数float6415K-25K→(1500025000)/220000年薪20W→200000/12≈16667面议设为np.nan后用同城市同经验岗位中位数填充experience3-5年、应届毕业生、5年以上、不限映射为标准区间0-1、1-3、3-5、5-10、10category避免后续分组统计时字符串排序错乱如10年以上排在1-3年前degree本科及以上、统招本科、硕士、大专拆解模糊表述本科及以上→本科主学历硕士补充统招本科→本科str标准化后为后续学历要求占比.html提供唯一键值避免本科和统招本科被计为两类city北京、北京市、北京-朝阳区、上海地级市标准化re.sub(r[-\u4e00-\u9fa5]$, , city)→北京、上海str确保招聘城市占比.html中北京不被拆成北京、北京市两条清洗后生成job_clean1.csv共 1287 行 × 12 列缺失值率 3.2%salary缺失 37 行已用插补法填充。所有清洗逻辑封装在clean_salary(),clean_experience(),clean_degree(),clean_city()四个函数中参数可调——比如你想把年薪20W的解释为“上浮 15%”只需改clean_salary()里对应正则分支。2.3 job_clean1.csv清洗后的黄金数据集结构与字段含义job_clean1.csv是整个可视化系统的数据基石其字段设计直指分析目标而非简单照搬网页 DOM 结构。以下是 12 个字段的完整语义说明非原始命名已重命名并注释列名类型含义示例值是否参与可视化job_idint64岗位唯一 ID爬虫时自增1001否仅用于去重job_titlestr标准化职位名称去除“急聘”“高薪诚聘”等营销词Python开发工程师否文本分析用company_namestr公司全称清洗掉“上市”“集团”等后缀字节跳动是大厂招聘数量.htmlcitycategory地级市名称标准化后北京是招聘城市占比.htmlexperiencecategory经验要求区间见上表映射3-5是经验要求占比.htmldegreecategory最低学历要求本科/硕士/大专/不限本科是学历要求占比.htmlsalary_monthlyfloat64月薪资元已统一单位、插补缺失22500.0是所有工资类图表salary_typestr薪资标注类型月薪/年薪/面议月薪是大厂工资待遇.html分组依据job_tagsstr岗位标签逗号分隔如五险一金,弹性工作,带薪年假五险一金,弹性工作是WordCloud-图片.htmlcompany_scalecategory公司规模少于50人/50-150人/150-500人/500-2000人/2000人以上2000人以上是大厂招聘比例.htmlcompany_stagecategory公司发展阶段天使轮/A轮/B轮/C轮/已上市已上市是大厂招聘数量.htmlcrawl_timedatetime64[ns]爬取时间戳精确到秒2024-05-12 14:32:18否仅用于数据时效性判断注意job_clean1.csv中salary_monthly已完成单位统一和缺失值插补切勿再用原始job.csv做工资分析。实测对比用job.csv直接df[salary].str.extract(r(\d)K)计算北京 Python 岗位平均月薪为 18.7K用job_clean1.csv的salary_monthly计算结果为 21.3K——差额 2.6K 来自对“年薪20W”“15K-25K”等区间的合理中位数转换这才是业务上可信的数字。3. 12 张 HTML 图表背后的 Plotly Express 与 Pandas 分组逻辑3.1 各经验工资.html用px.box()揭示经验与薪资的非线性关系这张图不是简单的柱状图而是plotly.express.box()生成的箱线图Box Plot它能同时展示分布、离散度和异常值。关键参数设置决定了信息密度import plotly.express as px import pandas as pd df pd.read_csv(job_clean1.csv) # 按 experience 分组计算 salary_monthly 的箱线图 fig px.box( df, xexperience, ysalary_monthly, colorexperience, # 按经验区间上色 pointsoutliers, # 显示所有异常点非仅关键点 title各经验要求岗位月薪分布元, labels{experience: 经验要求年, salary_monthly: 月薪元}, category_orders{experience: [0-1, 1-3, 3-5, 5-10, 10]} # 强制横轴顺序 ) # 自定义布局提升可读性 fig.update_layout( xaxis_title_font_size14, yaxis_title_font_size14, title_font_size16, showlegendFalse, height500 ) # 导出为 HTML交互式 fig.write_html(各经验工资.html)为什么用箱线图而不是柱状图因为柱状图只显示均值或中位数掩盖了分布形态。这张图清晰暴露两个事实① “3-5年”经验岗位的薪资中位数Q2最高23.5K但离散度最大箱体最宽说明该阶段岗位差异极大② “10年”经验岗位虽有高薪 outlier38K但箱体整体下移Q125%分位仅 20.2K暗示资深岗并非必然高薪可能受行业、公司类型制约。答辩时老师若问“为什么 10 年经验反而中位数下降”你就可以指着图中10箱体的 Q1/Q3 位置回答“因为样本中 10 年以上经验者大量集中在传统行业中小公司拉低了整体中位数而高薪 outlier 主要来自互联网大厂——这正是箱线图能揭示的分层现象。”3.2 大厂招聘比例.html用pd.crosstab()构建公司规模与学历要求的联合分布“大厂”在此定义为company_scale 2000人以上。此图不是简单饼图而是pd.crosstab()生成的热力图Heatmap揭示大厂用人偏好# 构建交叉表行公司规模列学历要求值岗位数 crosstab pd.crosstab( df[df[company_scale] 2000人以上][degree], df[df[company_scale] 2000人以上][experience], marginsTrue # 添加行列总计 ) # 转为长格式供 plotly 使用 crosstab_long crosstab.stack().reset_index(namecount) crosstab_long.columns [degree, experience, count] # 绘制热力图 fig px.density_heatmap( crosstab_long, xexperience, ydegree, zcount, title大厂招聘学历要求与经验要求联合分布, labels{experience: 经验要求, degree: 学历要求, count: 岗位数}, text_autoTrue, # 在格子内显示数字 color_continuous_scaleBlues ) fig.write_html(大厂招聘比例.html)这张图的价值在哪它打破了“大厂只招名校硕士”的刻板印象数据显示本科学历在3-5年经验段占比高达 68%而硕士学历在0-1年段占比 42%——说明大厂既需要成熟即战力本科3年经验也储备应届生硕士应届。若你在简历里写“有大厂实习经历”面试官问“你们团队学历构成”你就能拿出这张图说“我们组 7 个人里 5 个本科、2 个硕士和 Boss 直聘上大厂招聘数据高度吻合。”3.3 WordCloud-图片.html用 jieba wordcloud 生成中文词云的避坑配置中文词云最大的坑是wordcloud默认不支持中文且jieba分词后若不去停用词会堆满“的”“了”“在”等虚词。本项目WordCloud-图片.html的生成脚本已预置 127 个中文停用词并强制使用simhei.ttf字体from wordcloud import WordCloud import jieba import numpy as np from PIL import Image # 加载停用词表项目自带 stopwords.txt with open(stopwords.txt, r, encodingutf-8) as f: stopwords set([line.strip() for line in f]) # 合并所有 job_tags用 jieba 分词 all_tags .join(df[job_tags].dropna()) words jieba.lcut(all_tags) # 过滤停用词和单字 filtered_words [w for w in words if w not in stopwords and len(w) 1] # 生成词云关键指定字体路径否则中文变方块 wc WordCloud( font_pathsimhei.ttf, # 必须存在项目已打包 width1200, height800, background_colorwhite, max_words100, colormapviridis, random_state42 ).generate( .join(filtered_words)) # 保存为 HTML嵌入 base64 图片 import base64 from io import BytesIO img_buffer BytesIO() wc.to_image().save(img_buffer, formatPNG) img_b64 base64.b64encode(img_buffer.getvalue()).decode() html_content f !DOCTYPE html html headtitle岗位标签词云/title/head body stylemargin:0; padding:20px; font-family: sans-serif; h2Boss直聘 Python 岗位热门标签词云/h2 img srcdata:image/png;base64,{img_b64} alt词云图 stylemax-width:100%; psmall数据来源job_clean1.csv过滤停用词后 Top 100 标签/small/p /body /html with open(WordCloud-图片.html, w, encodingutf-8) as f: f.write(html_content)提示simhei.ttf文件必须与脚本同目录否则font_path无效。项目压缩包中已包含该字体切勿删除.idea/或大数据分析就业.iml等 IDE 配置文件——它们虽不参与运行但simhei.ttf就放在同一级目录下。曾有同学误删导致词云全为方块重装字体后仍报错最终发现是font_path写成了./simhei.ttf多了一个点正确应为simhei.ttf。4. 高频踩坑与血泪排查指南95 分作业背后的 5 个真实翻车现场4.1 现象数据分析.ipynb运行到px.box()时报ValueError: All-NaN slice encountered原因job_clean1.csv中salary_monthly列存在全 NaN 的experience分组如10经验段仅有 2 条记录且salary_monthly均为np.nan。px.box()默认不处理全 NaN 组直接崩溃。解决在绘图前插入清洗逻辑——删除salary_monthly缺失率 80% 的experience组或强制用df.groupby(experience)[salary_monthly].apply(lambda x: x.fillna(x.median()))插补。本项目采用后者并在 notebook 中添加注释“# 修复 10 经验段薪资缺失用同经验段中位数填充”。4.2 现象前端.html打开后图表空白控制台报Uncaught ReferenceError: Plotly is not defined原因前端.html是纯静态 HTML依赖 CDN 加载 Plotly.js。但部分校园网或企业防火墙会拦截https://cdn.plot.ly/plotly-latest.min.js导致 JS 加载失败。解决将plotly-latest.min.js下载到本地js/目录修改前端.html中script src...为script srcjs/plotly-latest.min.js/script。项目压缩包中已预置该文件无需额外下载——只需确保前端.html与js/目录同级。4.3 现象爬虫.py运行 2 分钟后突然卡住无报错CPU 占用 100%原因requests.get()在超时后未主动中断陷入无限等待。尤其当 Boss 直聘返回空响应或重定向循环时timeout10参数未生效旧版 requests bug。解决升级requests到2.31.0并在fetch_page()中显式设置timeout(3.05, 27)连接超时 3.05 秒读取超时 27 秒。本项目 requirement.txt 已锁定requests2.31.0执行pip install -r requirements.txt即可覆盖。4.4 现象各学历工资.html中“博士”学历条目显示为0但job_clean1.csv里有 3 条博士岗位原因degree字段清洗时博士被归入硕士类别因原始数据中“博士”常与“硕士”混写为“硕士及以上”导致pd.crosstab()统计时博士岗位被合并。解决在数据清洗.ipynb的clean_degree()函数末尾添加特判逻辑# 在 clean_degree() 中追加 if 博士 in raw_degree: return 博士 elif 硕士 in raw_degree or 研究生 in raw_degree: return 硕士 # ... 其余逻辑不变项目源码已修复但若你自行修改清洗逻辑务必同步更新job_clean1.csv。4.5 现象大厂招聘数量.html的饼图中“已上市”公司占比显示为32.7%但手动统计company_stage 已上市的行数却是38.2%原因px.pie()默认按values列求和而本图values设为count岗位数但company_stage分组时未reset_index()导致count列是 Series 而非 DataFrame 列px.pie()错误地将索引当作值计算。解决严格按px.pie(namesdf_stage[company_stage], valuesdf_stage[count])格式传参其中df_stage df.groupby(company_stage).size().reset_index(namecount)。项目 notebook 中已用此写法切勿简写为px.pie(df_stage)。5. 从“能跑”到“讲透”答辩时让老师眼前一亮的三个验证技巧与一个必做习惯5.1 技巧一用df.sample(5).to_dict(records)展示原始数据质量答辩时老师常问“你这数据真实吗有没有人工核对” 别背诵“我爬了 2000 条”直接打开 Jupyter运行# 在数据分析.ipynb 末尾执行 sample_data df.sample(5)[[job_title, company_name, city, experience, degree, salary_monthly]].to_dict(records) for i, row in enumerate(sample_data, 1): print(f第{i}条{row[job_title]} {row[company_name]}{row[city]}{row[experience]}年{row[degree]}{row[salary_monthly]:.0f}元/月)输出示例第1条Python后端开发工程师 腾讯深圳3-5年本科24500元/月 第2条数据分析师 阿里巴巴杭州1-3年硕士18200元/月 第3条AI算法工程师 华为北京5-10年博士36800元/月 第4条Python爬虫工程师 美团上海0-1年本科12500元/月 第5条大数据开发工程师 字节跳动北京10年硕士31200元/月这比任何 PPT 文字都有说服力——老师一眼看到真实公司名、真实城市、真实薪资数字且格式整齐salary_monthly已四舍五入到整数。记住答辩不是秀代码是秀你对数据的理解深度。5.2 技巧二用df[salary_monthly].describe()对比清洗前后分布在数据清洗.ipynb中插入清洗前后的统计对比表。不要只贴数字要解读业务含义统计量清洗前job.csv清洗后job_clean1.csv业务解读count12871287样本量一致无行丢失mean187232134514%因“年薪20W”转为月薪后计入更贴近真实std6218789227%因区间薪资如15K-25K取中位数放大了离散度min6000850042%剔除“面议”和极低薪异常值如“3K-5K”实为实习岗max350003850010%保留合理高薪 outlier如华为 AI 岗这张表证明清洗不是“美化数据”而是“还原业务本质”。当老师质疑“为什么清洗后平均薪资涨了”你就指着min和max的变化说“因为原始数据混入了实习岗和模糊报价清洗后聚焦于正式岗位的合理薪资带所以均值上升、离散度扩大——这恰恰说明数据更真实了。”5.3 技巧三用plotly.io.write_html(fig, full_htmlFalse)生成可嵌入 PPT 的轻量 HTML 片段答辩 PPT 需要嵌入交互图表但fig.write_html(xxx.html)生成的是完整 HTML含htmlheadbody直接粘贴到 PPT 会错乱。正确做法是# 生成仅含图表 div 的 HTML 片段无 head/body html_fragment plotly.io.to_html(fig, full_htmlFalse, include_plotlyjscdn) # 复制 html_fragment 内容粘贴到 PPT 的“插入→对象→HTML 控件”中 # 或保存为 .html 文件用浏览器打开后右键“查看网页源码”复制 div id....../div 部分这样生成的 HTML 片段只有div和内联 JS体积 200KBPPT 加载流畅。实测用此法嵌入的图表在答辩现场投影仪上仍支持悬停看数值、缩放、双击重置——比静态截图高级十倍。5.4 一个必做习惯每次修改清洗逻辑后强制运行diff job_clean1.csv job_clean1_backup.csv并截图存档这是我在带学生做数据项目时定下的铁律。job_clean1.csv是分析基石任何清洗函数的微小改动比如把本科及以上统一为本科还是拆成本科硕士都会导致后续所有图表偏移。因此我要求每次修改数据清洗.ipynb后先cp job_clean1.csv job_clean1_backup.csv运行清洗脚本生成新job_clean1.csv执行diff -u job_clean1_backup.csv job_clean1.csv | head -n 50 diff_log.txt截取前 50 行差异将diff_log.txt和新图表一起存入v1.1/目录。这样当答辩老师问“你为什么把‘博士’单独列出来”你就能立刻打开v1.1/diff_log.txt指着博士,2024-05-12,36800这一行说“因为我们在 5 月 12 日发现原始数据中有 3 条博士岗之前归入硕士导致低估高端人才需求所以做了专项修正。”从那以后我每次提交清洗脚本都强制走一遍diff流程——不是怕出错而是让每一次数据演进都可追溯、可解释、可答辩。希望帮到你。本文还有配套的精品资源点击获取