简介基于Python实现的北京市大数据岗位招聘数据分析与可视化项目面向计算机、通信、人工智能、自动化等专业学生及数据分析从业者既可作为毕业设计与期末大作业的完整参考也适合Python初学者借助真实场景掌握爬虫、数据处理和可视化展示的全流程。项目从北京市招聘网站数据抓取起步依次完成数据清洗、字段整理、存储与统计分析最终通过可视化页面呈现岗位分布与薪资趋势代码经调试可运行答辩评审达98分完成度较高。资源以ZIP压缩包发布共110个文件、6.64MB核心包含4个Python脚本、CSV/XLS/DB数据文件以及基于Bootstrap等前端样式库构建的HTML/CSS/JS可视化页面并配套地图、图片、字体等静态资源方便本地还原项目效果。目前已有88人浏览学习。通过该项目可以理解招聘数据的采集口径、分析思路和可视化表达方法获得从数据抓取到图表展示的完整项目经验对提升实际数据处理与解读能力很有帮助。1. 一份打通爬虫到可视化的完整资源先搞清楚它能解决什么这份基于Python的毕业设计级资源把招聘数据从抓取到展示串成了一条完整链路爬虫采集北京市大数据岗位的招聘信息清洗脚本把薪资、学历、经验这些杂乱字段压成结构化表格分析脚本抽出岗位分布、薪资区间和技能要求最后由Web页面把结果渲染成可交互图表。核心价值在于给了一个现成的全流程参照系不用再东拼西凑找爬虫教案和数据可视化教程。适合正在准备课程大作业、期末大作业或者毕设开题的学生也适合想快速搭一套数据Demo的从业者。资源本身来自一份实际跑通答辩的毕设项目评审分达到98分代码整体不复杂但每一步都值得逐行读一遍。2. 招聘数据爬虫请求策略、字段抽取与落地去重2.1 为什么先自建爬虫而不是直接下载现成数据集乍一看网上有不少整理好的招聘数据包直接拿来分析好像更省事。但真到交作业或答辩时会碰到几个现实问题。第一是数据时效性网上现成的数据大多是几个月甚至更早抓的岗位名称和薪资水平跟当前市场对不上第二是字段不可控别人清洗过的数据往往缺了原始薪资文本或职位描述后面想分析“哪些公司给得起高薪”这类问题就无从下手第三是展示环节会被追问数据来源与其到时候支支吾吾不如自己把爬虫代码摆出来讲清楚采集口径。我一般建议保留自建爬虫这条路哪怕只抓几百条数据只要目标明确完整度和说服力都远胜于一份来路不明的csv。毕业设计或课程设计评审时数据获取能力本身就是评分点之一。把抓取逻辑理清楚后面所有分析都有出处可查答辩被问“数据怎么来的”也能讲出细节。2.2 请求构造与请求头伪装招聘网站的页面结构不算复杂但请求侧有几个老问题不带User-Agent容易被服务器拒绝请求频率太高会触发风控页面编码识别错会导致中文乱码。常见做法是准备一组UA池每次请求随机取一个再在两次请求之间加随机延时把采集频率降到接近人工浏览的节奏。import requests import time import random UA_POOL [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36, ] def fetch_page(url, retry3): # 每次请求随机换一个 UA避免同一指纹连续出现 headers { User-Agent: random.choice(UA_POOL), Referer: url.rsplit(/, 1)[0] /, Accept: text/html, application/json } for attempt in range(retry): try: resp requests.get(url, headersheaders, timeout10) if resp.status_code 200: # 用 apparent_encoding 兜底页面的 charset 识别 resp.encoding resp.apparent_encoding return resp.text except requests.RequestException as exc: print(f第{attempt 1}次请求失败: {exc}) time.sleep(random.uniform(2, 5)) return None逻辑说明random.choice每次从UA_POOL里随机选一个避免用固定UA跑完整批Referer用当前URL的目录部分回填模拟从列表页跳进详情页的正常路径retry配合sleep做三次重试间隔在2到5秒之间随机浮动。真正跑大批量时建议把sleep下限提到3秒以上虽然慢一点但换来更低的封禁概率。参数的调法看目标站点压力数据量小、抓取频率低UA池两三个就够数据量大则要扩充到十来个并额外加Accept-Language请求头。requests.get里的timeout要显式设置默认值在连接阻塞时会一直挂住全量抓取时遇到卡顿整批任务都会卡死。2.3 页面解析与字段抽取页面解析我习惯用BeautifulSoup加lxml解析器选择器写稳比写快更重要。岗位卡片的选择器要结合页面实际结构去调只要卡片容器不变内部字段用小范围选择器逐层取即可避免写一条超长选择器串到底。from bs4 import BeautifulSoup def parse_job_list(html): soup BeautifulSoup(html, lxml) items [] # 每条岗位卡片定位到同一个容器内部字段再逐层取 for card in soup.select(div.joblist-box__item): title card.select_one(.joblist-box__item-info a) salary card.select_one(.salary) company card.select_one(.company-name) area card.select_one(.joblist-box__item-area) desc card.select_one(.job-desc) if not all([title, salary, company, area]): # 四个核心字段缺一不可缺了就跳过这条 continue items.append({ job_id: card.get(data-id, ), job_name: title.get_text(stripTrue), salary: salary.get_text(stripTrue), company: company.get_text(stripTrue), area: area.get_text(stripTrue), description: desc.get_text(stripTrue) if desc else , fetch_time: time.strftime(%Y-%m-%d %H:%M:%S) }) return items逻辑说明job_id优先从卡片容器的data-id属性取这是后面去重的关键键取不到时退而求其次用“岗位名公司区域”拼一个复合键。description字段在有些页面可能不存在所以单独做了空值兜底。字段清单如下字段来源用途job_id容器data-id去重主键job_name标题链接岗位名称salary薪资标签原始薪资文本company公司名公司与规模分析area区域标签区域分布description描述标签技能关键词与经验要求fetch_time抓取时生成数据时效性校验字段设计上故意保留原始salary字符串不在爬虫阶段做数值化把解析工作留给清洗环节避免爬虫脚本越写越臃肿。2.4 数据落地与按岗位去重抓取结果先合并成一个DataFrame再按job_id去重最后写进csv。这里有个容易被忽略的细节如果存成默认utf-8编码Excel打开中文会乱码写入统一用utf-8-sig。import pandas as pd new_items parse_job_list(html) df_new pd.DataFrame(new_items) if df_new.empty: print(本次没有抓到新数据) else: # ignore_index 让两次数据的行号连续方便后续批次统计 df_all pd.concat([df_old, df_new], ignore_indexTrue) df_all df_all.drop_duplicates(subset[job_id], keepfirst) df_all.to_csv(jobs_raw.csv, indexFalse, encodingutf-8-sig) print(f累计 {len(df_all)} 条本次新增 {len(df_new)} 条)逻辑说明df_old是上一次已落地的数据pd.concat合并后统一去重keepfirst保留先抓到的版本。打印累计与新增数量便于在爬虫阶段就判断采集是否正常比如连续几批都是0新增说明页面结构变了或翻页逻辑卡住了。落地后的jobs_raw.csv就是清洗环节的输入建议把每次抓取的行数记到日志里防止中途被静默改写。3. 数据处理与薪资归一化把抓回来的字符串变成可分析的数值3.1 统一字段格式与数据类型爬虫落地的csv虽然能用但字段名是英文、类型又乱直接拿去统计容易出各种隐性问题。清洗第一步是重命名、删无用列、把时间字段解析成日期类型。薪资列保持字符串先不动等下一步单独处理。df pd.read_csv(jobs_raw.csv, dtype{job_id: str}) df df.rename(columns{ job_name: 岗位, salary: 薪资文本, company: 公司, area: 区域, description: 职位描述, fetch_time: 抓取时间 }) # 抽取日期后原始时间戳就没用了直接删掉 df[抓取日期] pd.to_datetime(df[抓取时间]).dt.date df df.drop(columns[抓取时间])逻辑说明dtype参数把job_id强制指定为字符串避免长ID被pandas当数字处理时出现科学计数法丢精度。pd.to_datetime再抽取日期后续按天分组或画趋势图会直接用上。列名重命名成中文是为了让项目中后段的可视化代码读起来更直观。3.2 薪资字符串解析从“15-25K·16薪”到“16500-27500元/月”这是清洗环节最肉疼的一步。真实抓到的薪资文本花样很多常见的有“15-25K·16薪”“8千-1.2万”“1.5-2万”“25-40K·15薪”。解析逻辑要先判断单位再判断月薪倍数最后统一折算成按月薪的元。import re def parse_salary(text): # 先把千转成K统一数字提取口径避免中文数字混算 if not isinstance(text, str): return None, None text text.replace(千, K) nums re.findall(r\d(?:\.\d)?, text) if len(nums) 2: return None, None low, high float(nums[0]), float(nums[1]) if K in text.upper(): low, high low * 1000, high * 1000 else: low, high low * 10000, high * 10000 # 16薪表示一年发16个月按全年收入均摊到月才是可比口径 m re.search(r(\d)薪, text) if m: month int(m.group(1)) low, high low / 12 * month, high / 12 * month return int(low), int(high)逻辑说明先把“千”统一替换成“K”这样数字提取不用区分中文数字单位文本里同时出现“万”和“K”的概率很低单位判断只看有没有K。16薪这类文本的含义是“月薪乘以16再除以12”折算成月度可比收入注意这里换算的是全年收入均摊到月而不是把月薪直接乘16。原始文本解析结果(元/月)说明15-25K·16薪16500-27500先转K再乘月数均摊8千-1.2万8000-12000千转K后按K计算1.5-2万15000-20000默认按“万”处理解析完用apply生成两列薪资下限、薪资上限再求中位值放第三列后面所有薪资统计直接用中位值减少极端值干扰。3.3 区域与经验字段的字典映射招聘平台各区域写法不完全一致同是海淀有时写成“海淀区”有时写成“北京-海淀”。统一做法是先建字典映射再做一次包含匹配兜底。AREA_MAP { 北京-海淀: 海淀, 海淀区: 海淀, 北京-朝阳: 朝阳, 朝阳区: 朝阳, 北京-通州: 通州, 北京-昌平: 昌平, } def normalize_area(value): if not isinstance(value, str): return 未知 if value in AREA_MAP: return AREA_MAP[value] # 包含匹配兜底防止个别写法没进字典 for district in [东城, 西城, 丰台, 石景山, 大兴, 顺义, 房山]: if district in value: return district return 其他逻辑说明先走精确映射再走包含匹配兜底最后归入“其他”。这样清洗出来的区域值只有十几种做柱状图和地图时不会因为同义写法被拆成两半。经验字段同理把“3-5年”解析成最低年限把“不限”标记为0后续做交叉分析时直接用数值参与排序。3.4 缺失值与异常值处理清洗环节最怕的不是缺数据而是脏数据。清完先扫一遍看薪资解析失败的行、区域为“未知”的行、公司为空的行的占比。常见策略是核心字段缺失直接丢弃薪资解析失败且占比小于5%直接丢弃区域缺失归为“其他”不丢行。before len(df) df df.dropna(subset[职位描述, 公司]) df df[df[薪资下限].notna()] # 清洗结果单独存一份后面分析和展示都用这份 df.to_csv(jobs_clean.csv, indexFalse, encodingutf-8-sig) print(f清洗前 {before} 行清洗后 {len(df)} 行丢弃 {before - len(df)} 行)逻辑说明丢弃前先打印前后行数这一步能帮你判断是不是解析逻辑本身有问题。如果一次丢了超过三成数据优先检查薪资正则而不是继续做分析。清洗结果另存成jobs_clean.csv与原始jobs_raw.csv分开保留原始数据做备份后续如果分析口径要改直接从原始文件重新清洗不用重新爬。4. 分析维度设计岗位分布、薪资结构与技能词频怎么算出来4.1 岗位数量与区域分布Top分析阶段先问问题再写代码。第一个问题是“北京的这些大数据岗位集中在哪些区域”直接对区域列做value_counts取Top10画柱状图。顺序排出来以后能明显看出哪些区是岗位供给主力。top_area df[区域].value_counts().head(10) print(top_area.to_frame())逻辑说明value_counts默认按频数降序head(10)截取前十个区域。这份数据里海淀、朝阳、昌平一般会排前面因为互联网公司和科技园密集如果结果里“其他”占比过高说明区域映射环节还有漏网写法回到3.3把AREA_MAP补全再重新清洗。4.2 学历与经验交叉分析招聘中“学历”和“经验”往往是一起提的单独看某一个维度看不出门槛。用交叉表看不同学历要求对经验年限的约束是答辩时能讲出深度的分析点。cross pd.crosstab(df[学历要求], df[经验要求], normalizeindex) cross cross.round(4) * 100 print(cross)逻辑说明normalizeindex让每行按行求和归一化成百分比输出结果能看到“本科学历岗位里要求3到5年经验的比例是多少”。实际跑出来通常本科以下岗位占比少硕士以上岗位对经验年限要求反而放宽这类结论放进答辩PPT里比单张饼图有说服力。需要注意cross的列是“经验要求”文本如果经验字段做了数值化这里应换成“经验最低年限”再做分段统计。4.3 薪资分位数与分组对比薪资中位值可以看整体但容易受个别高薪岗位影响。先看总体分位数再按区域分组对比中位数能回答“哪个区的大数据岗位整体给钱多”这个问题。q df[薪资中位].quantile([0.25, 0.5, 0.75]) print(q) # 按区域求薪资中位数的中位数排序看区域差距 grouped df.groupby(区域)[薪资中位].median().sort_values(ascendingFalse) print(grouped.head(8))逻辑说明quantile一次给出三个分位数P50是中位数P75减P25是四分位距用来描述薪资分散程度。分组对比时按中位数降序排排在前面的通常是一线互联网公司密度高的核心城区。这里有个细节分位数计算前最好把异常高薪和异常低薪的岗位单独筛出来看一眼比如月薪低于4000的岗位可能是实习岗或外包要不要纳入分析口径取决于你的结论方向。4.4 技能关键词词频统计分析技能要求需要把职位描述里出现的关键词挨个数一遍。先准备一份关键词表再用str.contains逐词统计出现条数。这里的统计口径是“岗位数”而不是“出现次数”一个岗位描述里出现三次Python也只计一次。SKILLS [Python, SQL, Spark, Hadoop, Hive, Flink, 机器学习, 数据挖掘, ETL] freq {} for skill in SKILLS: # caseFalse 忽略大小写naFalse 让NaN描述按不命中处理 freq[skill] df[职位描述].str.contains(skill, caseFalse, naFalse).sum() freq_df pd.DataFrame(list(freq.items()), columns[技能, 岗位数]) freq_df freq_df.sort_values(岗位数, ascendingFalse) print(freq_df)逻辑说明caseFalse让“python”和“Python”都命中naFalse把NaN描述按不命中处理不报错。词频结果可以做词云也可以做横向柱状图展示哪些是北京大数据岗位的硬技能。如果要算“技能组合度”还可以把两个关键词用正则同时匹配比如rPython.*?Spark表示同一岗位描述里两词都出现这类交叉统计比单看词频更能体现岗位画像。5. 可视化展示与常见问题排查图表怎么挂到页面上5.1 图表选型为什么用pyecharts而不是手写ECharts JSON数据可视化这块用pyecharts生成图表配置再由Flask渲染成页面。pyecharts的好处是图表配置全在Python侧和数据分析代码无缝衔接不用手动拼JavaScript初始化代码坏处是它生成的HTML默认从CDN引echarts.min.js在离线演示环境会白屏。所以项目里要提前把echarts.min.js下载到本地static目录模板里改成本地引用。整体链路是清洗脚本产出jobs_clean.csv分析脚本跑出汇总结果Flask启动时读取csv按路由生成图表配置前端Bootstrap模板负责排版。5.2 Flask后端与图表数据接口from flask import Flask, render_template from pyecharts import options as opts from pyecharts.charts import Bar, Pie import pandas as pd app Flask(__name__) df pd.read_csv(jobs_clean.csv) def make_bar(): # 区域分布Top10柱状图数据直接来自清洗后的DataFrame data df[区域].value_counts().head(10) bar ( Bar() .add_xaxis(data.index.tolist()) .add_yaxis(岗位数量, data.values.tolist()) .set_global_opts(title_optsopts.TitleOpts(title北京大数据岗位区域分布)) ) return bar app.route(/) def index(): bar make_bar() # dump_options_with_quotes 把图表配置序列化成JSON字符串传给模板 return render_template(index.html, bar_optionbar.dump_options_with_quotes())逻辑说明每个图表函数返回一个pyecharts对象通过dump_options_with_quotes把图表配置序列化成JSON字符串传给前端模板。数据都在后端统一处理前端只负责渲染答辩被问数据哪来的也能对着代码讲清楚。如果要在同一页面挂多张图就多写几个make_xxx函数分别dump成不同变量传进模板。5.3 Bootstrap模板集成与静态资源页面模板用到Bootstrap那套CSS项目里常见的文件名包括bootstrap.min.css、icofont.min.css、animate.css、boxicons.min.css、aos.css作用分别是栅格布局、图标、动画和滚动效果。模板挂图表的方式是在HTML里留一个div容器再把后端传来的option塞给echarts初始化。div idbar-chart stylewidth: 100%; height: 420px;/div script src{{ url_for(static, filenamejs/echarts.min.js) }}/script script var chart echarts.init(document.getElementById(bar-chart)); chart.setOption({{ bar_option|safe }}); /script逻辑说明url_for生成正确的静态资源路径防止硬编码路径在路由嵌套时404。bar_option通过safe过滤器原样输出成JavaScript对象如果不加safeJinja2默认会转义HTML字符引号被替换图表就崩了。这里最容易踩的坑就是静态资源路径和过滤器漏写下一节集中列几个高频问题。5.4 排查记录可视化上线前后的五处坑坑一页面空白F12里echarts.min.js加载失败 现象浏览器能打开页面但图表区域一片空白控制台报echarts.min.js 404。 原因pyecharts默认引用CDN上的echarts.min.js当前网络环境或评审现场网络受限脚本加载不到。 解决提前把echarts.min.js下载到static/js目录模板里改成url_for本地引用离线也能打开页面。坑二Excel打开csv中文乱码 现象jobs_raw.csv用记事本打开正常Excel打开全是乱码。 原因pandas默认utf-8写入Excel按GBK读取编码对不上。 解决所有to_csv加encodingutf-8-sigBOM头会让Excel正确识别编码。坑三区域Top榜里出现“北京-海淀”和“海淀区”两行 现象柱状图上同样的区域被拆成两根柱子看起来像两个地方。 原因清洗阶段区域映射没做完全同义表述没合并。 解决把3.3的AREA_MAP补全重新清洗后对比行数确认合并结果。坑四薪资解析把“8千-1.2万”解析成8000-12000万 现象清洗后薪资上限比下限还大得离谱排序错乱。 原因单位判断逻辑里“万”和“千”混用“千”替换成K后没统一再看单位。 解决先replace(千,K)再统一按K乘1000无K按万乘10000保证两个数字用同一单位。坑五Flask启动后静态css 404 现象页面能打开但没有样式控制台里bootstrap.min.css报404。 原因模板里写死了/css/bootstrap.min.css这种相对路径没有走url_for。 解决全部替换成url_for(static, filenamecss/bootstrap.min.css)重启服务并强制刷新浏览器缓存。这五条是我觉得跑通可视化环节最常遇到的每一条单独修都很快但攒在一起能让你排查两小时。项目资源里前端模板和静态文件已经是现成的你更多要做的是把路径和编码调对。6. 自测与扩展从能跑通到能交作业的收尾习惯6.1 数据一致性校验跑完整套流程后先用一次日志对比确认三个数字对得上爬虫落地行数、清洗后行数、页面图表里出现的数据条数。这关系到答辩时被问到“这个图为什么只有十根柱子”能不能答上来。把统计逻辑写进一个run_check脚本打印三行输出数字对不上就回对应环节查。最常见的错误是清洗环节悄悄丢掉大量行但人只看到最终图表没发现数据量已经不对了。6.2 断点续爬与重复数据兜底当抓取量目标较大时爬虫经常因为网络波动中断。加一个已抓取集合启动时读csv里的job_id新抓到的数据先比对再入库避免重复请求已经抓过的页面。这个set占内存很小几千条数据完全撑得住。seen set(df_all[job_id].astype(str)) if url_job_id not in seen: # 新ID才发起详情页请求已抓过的直接跳过 fetch_detail(url)逻辑说明这一步对跑批价值很大二次启动不用从第一页重新来省下的时间足够调试其他环节。配合重试机制网络抖动中断后重跑脚本剩下的任务会自动续上。6.3 扩展把静态图表升级成筛选页面如果想让项目多一个亮点可以在Flask路由里加一个area参数前端下拉选区域后重新请求渲染。比纯静态页面多一层交互但代码量只增加十几行答辩时能多讲一个“交互查询”的卖点。我从那以后每次交付这类全流程项目都强制自己走一遍数据量校验和静态资源本地化少熬夜改配置希望这份项目能帮你也一次跑通。本文还有配套的精品资源点击获取