简介一份面向Python开发者和金融数据分析初学者的上市公司网络舆情与股价相关性分析项目源码覆盖新闻数据采集、舆情评分、与股价做相关性计算并图形化展示的完整分析流程。项目基于新浪和百度新闻页面解析获取文本对上市公司进行舆情评分后结合股票价格数据进行相关性分析与可视化输出直观结论适合课程设计、毕业设计或舆情分析入门实践。压缩包共10个文件包括5个Python脚本数据爬取、舆情评分、相关性计算与图表展示、Excel数据表、建表语句和使用说明文档压缩后约136KB结构紧凑。已有6300人学习/下载。资源附有详细代码注解、使用说明与运行截图关键解析部分也给出网站变动时的修改提示便于按步骤复现舆情采集、评分建模和相关性分析全流程可作为进一步扩展的参考起点。1. 上市公司舆情与股价相关性分析一套能直接跑通的 Python 完整实验链路做过金融数据分析的人应该都有这种感觉新闻和股价的关系看着有想用代码验证却无从下手。这篇拆的项目是一套完整的 Python 上市公司网络舆情与股票相关性分析源码爬新闻、做舆情评分、取股票行情、算相关性、画图展示一条链路全打通。它解决的是“新闻热度到底和股价走势有没有关系”这个具体问题适合想把舆情量化落地的人也适合正在做金融数据分析课题或毕业设计的学生。关键在于它不是黑匣子数据落到 Excel逻辑在源码里看得清清楚楚你可以对照自己的需求改参数、换股票池、换数据源直接复现。2. 舆情数据采集sina.py 与 baidu.py 把新闻变成结构化表格2.1 新闻源选择与请求参数舆情数据是整个分析的地基。这套源码里有两个爬虫文件sina.py 和 baidu.py分别对应新浪财经和百度资讯两个来源。为什么选这两个因为新浪财经的新闻结构化程度高发布时间和标题都规整百度资讯覆盖面广能搜到更多非财经类平台的报道两者互补能缓解单一信源的偏差。爬虫的核心思路是构造搜索 URL然后从 HTML 里解析出标题、来源、发布时间这三个字段。我见过不少人在这一步翻车主要问题出在请求头。很多财经网站对默认的 Python requests 请求头识别很敏感不带 User-Agent 直接请求大概率被拒。常见做法是伪装成浏览器请求模拟真实的浏览器环境。import requests import re from bs4 import BeautifulSoup import pandas as pd import time def fetch_sina_news(keyword, pages5): 采集新浪财经搜索结果 :param keyword: 搜索关键词建议用股票名称 :param pages: 翻页数默认5页每页约10条 :return: DataFrame包含标题、来源、日期 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept-Language: zh-CN,zh;q0.9, } news_list [] for page in range(1, pages 1): # 新浪财经搜索的URL参数结构page控制页码 url fhttps://search.sina.com.cn/?q{keyword}cnewspage{page} try: resp requests.get(url, headersheaders, timeout10) resp.encoding utf-8 soup BeautifulSoup(resp.text, html.parser) # 搜索结果常见于 box-result 容器中 for item in soup.select(.box-result): title item.select_one(h2 a) date item.select_one(.fgray_time) if title and date: news_list.append({ title: title.get_text(stripTrue), source: sina, date: date.get_text(stripTrue), }) except Exception as e: print(f第{page}页抓取失败: {e}) time.sleep(1) # 温和爬取避免对目标网站造成压力 return pd.DataFrame(news_list)这段代码的逻辑不复杂关键是三个参数keyword 直接传股票名称pages 控制采集深度time.sleep(1) 是间隔。翻页频率和解析规则要跟着实际页面结构走。这里必须说清楚网页结构是经常变的如果返回的列表是空的大概率是页面改版导致选择器失效不是代码逻辑错误。项目里那个 .txt 文件也提示了这一点网站有变动时就自己去改解析部分。2.2 把采集结果落库或落盘score.xlsx 的标准化字段爬下来的数据不能直接拿去做分析必须先统一字段格式。这套源码的设计思路是把新闻数据整理成 score.xlsx每一行是一条新闻列里包含股票代码、股票名称、新闻标题、来源、日期。这样后面评分和合并行情数据时pandas 可以直接按日期对齐。我在实际处理中习惯先建一张 MySQL 表把爬到的结果存进去方便增量更新。项目里的建表语句.txt 对应的就是这一步。如果你不想碰数据库直接存 Excel 也行但要注意编码问题。写 Excel 时我一般会用 openpyxl 引擎加 utf-8-sig 编码否则之后用 Excel 打开中文会乱码。-- 舆情新闻表存储采集到的原始新闻 CREATE TABLE news_data ( id INT AUTO_INCREMENT PRIMARY KEY, stock_code VARCHAR(10) COMMENT 股票代码, stock_name VARCHAR(20) COMMENT 股票名称, title VARCHAR(500) COMMENT 新闻标题, source VARCHAR(20) COMMENT 来源站点, news_date DATE COMMENT 新闻日期, content TEXT COMMENT 正文内容或摘要, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, KEY idx_date (news_date), KEY idx_code (stock_code) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;注意表里的两个索引进news_date 和 stock_code。数据量大了以后后面的相关性计算会反复按日期筛选没有索引的话效率会明显下降。news_date 用 DATE 类型而不是 VARCHAR是为了避免日期格式不统一导致排序错乱。处理 Excel 时有一个很容易被忽略的细节如果直接 df.to_excel(score.xlsx)Excel 打开中文列会显示为乱码。正确做法是给 ExcelWriter 指定 encodingutf-8-sig这是从 pandas 写入 Excel 的标准处理方式。另外日期字段要先格式化成 YYYY-MM-DD否则 pandas 读回来时可能会变成 Timestamp 对象和行情数据的日期对不齐。3. 舆情评分与股票行情对齐score.py 和 stock.py 的评分口径3.1 评分逻辑情感词表打分与归一化拿到新闻只是第一步要把文本变成数值才能做相关性分析。score.py 做的就是这个事对新闻标题或正文做分词然后匹配情感词表给每条新闻打一个情感分。正面词加 1 分负面词减 1 分最后按日期聚合得到这只股票每天的网络舆情分。这个评分逻辑是最朴素的情感词典法没有上机器学习模型但好处是结果可解释每一分扣在哪都能追溯到具体词汇。如果你的场景需要更高精度可以替换成 SnowNLP 或大模型接口但中小数据集上词表法已经够用。import jieba import pandas as pd # 极简情感词表实际项目里可以扩充到几千词 POSITIVE_WORDS {上涨, 增长, 盈利, 突破, 利好, 回购, 中标, 创新高} NEGATIVE_WORDS {下跌, 亏损, 减持, 违规, 处罚, 诉讼, 造假, 退市} def sentiment_score(text): 基于词表的情感打分 :param text: 新闻标题或正文摘要 :return: 整数分数正数偏利好负数偏利空 words jieba.lcut(text) score 0 for w in words: if w in POSITIVE_WORDS: score 1 elif w in NEGATIVE_WORDS: score - 1 return score def daily_score(df): 按日期聚合舆情得分 :param df: 包含 title、date 两列的DataFrame :return: 按日期统计的舆情分 df[score] df[title].apply(sentiment_score) daily df.groupby(date)[score].agg([sum, count]).reset_index() daily.columns [date, total_score, news_count] # 归一化用新闻数量做分母避免某天新闻多导致分数虚高 daily[norm_score] daily[total_score] / (daily[news_count] 1) return daily这里有两个设计取舍值得说。第一sum 是舆情总分count 是新闻条数norm_score 是平均分。总分隐含了热度平均分隐含了态度倾向后面计算相关性时要明确自己用的是哪个口径。第二分母加 1 是为了防零除某天一篇新闻都没有时norm_score 是 0而不是报错。实际使用中我会把 norm_score 作为主评分口径因为它消除了新闻量差异的干扰更能反映市场对公司的情绪倾向。如果你关心的是“新闻轰炸”本身的影响那应该用 total_score 或者 news_count。3.2 stock.py 取价格与复权处理行情数据这边由 stock.py 负责。常见做法是用 akshare 或 tushare 拉日线数据。akshare 不需要 tokentushare 需要注册积分对新手更友好的是 akshare。源码里的输入文件 share.xlsx 存放股票代码列表和名称stock.py 读这个清单逐只拉取。import akshare as ak import pandas as pd def fetch_stock_daily(stock_code, start_date20230101, end_date20231231): 拉取个股前复权日线数据 :param stock_code: 六位股票代码如 sh600519 :param start_date: 起始日期 :param end_date: 结束日期 :return: DataFrame包含 date、close、pct_change # akshare 的接口按沪深代码分为 sh/sz 前缀 symbol stock_code if stock_code.startswith(6): symbol fsh{stock_code} else: symbol fsz{stock_code} df ak.stock_zh_a_hist( symbolsymbol, perioddaily, start_datestart_date, end_dateend_date, adjustqfq # qfq 前复权避免除权导致价格跳空 ) # 统一列名只保留分析需要的字段 df.rename(columns{日期: date, 收盘: close, 涨跌幅: pct_change}, inplaceTrue) df[date] pd.to_datetime(df[date]).dt.strftime(%Y-%m-%d) return df[[date, close, pct_change]]参数上最值得注意的就是 adjustqfq前复权。如果不去复权股票分红或送股会在 K 线上留下一个向下的跳空缺口收益率计算会被严重扭曲。aqfq 是前复权、hfq 是后复权做相关性分析一般用前复权因为它抹掉了历史除权事件保证价格序列的连续性。日期范围建议拉长一点两头各多留几天因为后面做滞后相关时前一天的价格要和当天的舆情分对齐日期边界不够容易丢数据。拉数据的频率也要控制akshare 的免费接口有频率限制循环拉几十只股票时最好每只间隔 0.5 到 1 秒避免被临时封 IP。4. 相关性与可视化analysis.py 的计算口径和画图陷阱4.1 相关性计算Pearson 与 Spearman 的差异analysis.py 是这个项目里最核心的分析模块。它做的事是把舆情分和收益率按日期对齐然后计算相关系数。这里有一个数据对齐的细节必须提前说舆情数据是自然日交易日才是市场开放的日子两者天然对不齐。常见做法是舆情数据向前合并到最近的交易日比如周末的新闻算到周五。import pandas as pd from scipy import stats def merge_and_corr(sentiment_df, price_df): 合并舆情与行情数据并计算相关系数 :param sentiment_df: 列包含 date、norm_score :param price_df: 列包含 date、pct_change :return: 合并后的DataFrame与相关系数字典 # 舆情数据向前合并到最近的交易日 sentiment_df[date] pd.to_datetime(sentiment_df[date]) price_df[date] pd.to_datetime(price_df[date]) merged pd.merge_asof( sentiment_df.sort_values(date), price_df.sort_values(date), ondate, directionbackward ) merged.dropna(inplaceTrue) pearson_r, pearson_p stats.pearsonr(merged[norm_score], merged[pct_change]) spearman_r, spearman_p stats.spearmanr(merged[norm_score], merged[pct_change]) return merged, { pearson: round(pearson_r, 4), pearson_p: round(pearson_p, 4), spearman: round(spearman_r, 4), spearman_p: round(spearman_p, 4), }为什么既算 Pearson 又算 SpearmanPearson 捕捉的是线性相关但它对异常值很敏感遇到极端涨跌时结果会被拉偏Spearman 是基于秩次的不要求数据正态分布抗离群点能力更强。两个都算如果结论一致说明结果是稳健的如果矛盾说明存在极端值干扰需要进一步看散点图。merge_asof 的 directionbackward 参数值得单独说明。它的含义是舆情日期向后匹配找到最近的交易日。比如 3 月 8 日是周六舆情数据落在了 3 月 8 日它会自动对齐到 3 月 6 日周五的行情。这个逻辑比普通 merge 更符合实际业务场景因为周日的新闻影响的应该是下一个交易日。4.2 可视化matplotlib 双轴图与热力图算完相关性一定要画图否则数字很容易误导人。源码里的可视化部分用的是 matplotlib核心是双轴图左轴画舆情分右轴画股价或收益率。双轴图能直观看出两个序列的走势是否同步。import matplotlib.pyplot as plt import matplotlib matplotlib.rcParams[font.sans-serif] [SimHei] # 中文显示 matplotlib.rcParams[axes.unicode_minus] False # 负号正常显示 def plot_dual_axis(merged_df, stock_name): 绘制舆情分与收盘价的双轴对比图 :param merged_df: 包含 date、norm_score、close :param stock_name: 股票名称用于标题 fig, ax1 plt.subplots(figsize(12, 6)) color tab:red ax1.set_xlabel(日期) ax1.set_ylabel(舆情得分, colorcolor) ax1.plot(merged_df[date], merged_df[norm_score], colorcolor, linewidth1.2, label舆情分) ax1.tick_params(axisy, labelcolorcolor) ax1.set_xticklabels(merged_df[date], rotation45, haright) ax2 ax1.twinx() color tab:blue ax2.set_ylabel(收盘价, colorcolor) ax2.plot(merged_df[date], merged_df[close], colorcolor, linewidth1.0, label收盘价) ax2.tick_params(axisy, labelcolorcolor) fig.suptitle(f{stock_name} 舆情得分与收盘价走势对比) plt.tight_layout() plt.savefig(f{stock_name}_correlation.png, dpi150) plt.show()这里最容易踩的坑是 matplotlib 中文乱码。Windows 上直接设置 SimHei 字体通常能解决但 Linux 服务器上如果没有中文字体包SimHei 仍然是无效的会显示方框。解决方案是提前检查系统字体或者干脆把图内文字改成英文。dpi150 是导出清晰度的底线默认 100 放大后会有明显锯齿。另一个画图细节是 x 轴刻度。如果时间跨度长日期刻度过密会导致标签叠成一片代码里 rotation45 能缓解但更好的做法是用 matplotlib 的 MaxNLocator 限制刻度数或者直接按周采样显示。5. 避开五个常见坑爬虫失效、中文乱码与相关性误读5.1 爬虫爬不到数据返回空列表现象sina.py 或 baidu.py 跑完打印出来的 DataFrame 是空的一行数据都没有。原因目标网站的 HTML 结构改版了选择器选择不到对应节点。也可能是请求头缺失导致返回的是验证页而不是搜索结果页。解决先用浏览器打开对应搜索 URL按 F12 查看当前页面结构找到新闻标题所在的 class 名称更新代码里的 select 选择器。如果页面包含动态加载内容需要改用 requests 直接请求后端 JSON 接口或者换用 selenium 渲染。项目说明 txt 里也写了这句话其他步骤都正确但爬取不了数据有可能是网站有变动自行修改解析部分的代码。5.2 Excel 表格打开后中文乱码现象score.xlsx 用代码读回来没问题但双击用 Excel 打开中文全部是乱码。原因pandas 写 Excel 时默认编码与 Excel 不兼容。CSV 的坑大家知道要加 utf-8-sig但很多人不知道 ExcelWriter 也有同样的问题。解决写 Excel 时指定 encodingutf-8-sig。with pd.ExcelWriter(score.xlsx, engineopenpyxl, encodingutf-8-sig) as writer: df.to_excel(writer, indexFalse)如果用的是 CSV 中间格式同理df.to_csv(score.csv, encodingutf-8-sig)。5.3 舆情日期和行情日期对不齐现象merge 之后数据大量缺失或者画出图来曲线错位舆情分最高那天股价图上是断层。原因新闻发生在周末或节假日但行情数据只有交易日按日期做普通 merge 会匹配不上。解决用 merge_asof 按 directionbackward 向前对齐把非交易日的舆情分归到下一个交易日。要特别注意的是对齐前两个 DataFrame 都必须按日期排好序否则 merge_asof 会报错或产生错误匹配结果。5.4 相关系数接近 0结论是“没相关性”现象好不容易跑通了全流程算出的 Pearson 相关系数只有 0.03P 值大于 0.05感觉白做了。原因舆情对股价的影响不一定在当天体现而是有滞后效应。用当天的舆情分对当天的收益率逻辑上就存在一个时间错位。另外简单词表评分本身噪声大新闻标题里“下跌”和“不复跌”这种语义反转是词表法处理不了的。解决先算滞后 1 天和滞后 2 天的相关性把舆情分整体向后移动一天再对齐行情。同时把评分结果走一遍人工抽检挑几条新闻看看打分是否合理。5.5 数据量太小相关性结果不稳定现象只取了一只股票一个月的新闻数据算出的相关系数浮动巨大增加几条新闻后结论就反转。原因样本量太小相关性估计的标准误很大。30 天的样本不足以支撑一个稳健的结论。解决把股票池扩展到 10 只以上时间窗口拉长到一年。先按单只股票算相关再用 Fisher 变换或简单平均汇总成组合层面的结论。源码里的 share.xlsx 本身就是股票清单建议你往里面多塞几只流动性好的标的。6. 进阶验证把舆情评分换成滞后效应与事件窗口法如果你的数据已经跑通了单日的相关性分析接下来最值得做的是滞后效应检验。我的习惯是先把舆情分做 shift 操作生成 lag1 和 lag2 序列再与收益率做相关。这样能验证“新闻发酵需要时间”这个假设。这个改起来非常快只需要在 merge 前给 sentiment_df 加两列。def add_lag_features(sentiment_df): 生成滞后舆情分 :param sentiment_df: 按日期排序的舆情数据 :return: 增加 lag1_score、lag2_score 两列 df sentiment_df.sort_values(date).copy() df[lag1_score] df[norm_score].shift(1) df[lag2_score] df[norm_score].shift(2) return df配合事件窗口法效果更好。思路是筛选舆情评分超过历史均值加两倍标准差的日期作为事件日统计事件日后 1 到 3 天的累计收益率。这个做法比单纯的滞后相关更贴近真实市场逻辑因为市场对一个突发新闻的反应往往是脉冲式的而不是平滑的线性关系。这些年做舆情与股价相关性的分析我最大的教训就是别急着下“有关系”或“没关系”的结论先把评分口径和数据对齐逻辑检查一遍。大多数失败案例不是因为算法不够高级而是因为日期错位或者评分定义模糊。从那以后我每次跑完相关性都会强制走一遍三件事看对齐后的数据是否有断档、对比 Pearson 和 Spearman 是否一致、再画一张双轴图肉眼确认方向。希望帮到你。本文还有配套的精品资源点击获取