最近一段时间陆续有几个朋友找我聊同一个问题做企业创新相关的实证研究企业家精神这个变量到底怎么取数、怎么构建。说实话这个需求在A股上市公司面板数据研究里太常见了——论文里经常看到“企业家精神促进企业数字化转型”之类的实证结论但你真去数据库里找“企业家精神”字段是找不到的。这个概念必须拆解成可量化的代理指标再从年报、专利、财务数据里逐一拼出来。我花了几个月的时间从口径设计到数据清洗最后攒出一套2012-2024年上市公司层面的企业家精神数据。今天把整个整理过程、踩过的坑、以及拿到数据之后怎么自检完整写下来。如果你正在做类似的研究或者准备写相关主题的论文这篇可以帮你省下大量试错时间。我会把口径选择、数据来源、清洗流程以及几个特别值得注意的细节坑摊开聊。每个环节背后我都会说清楚为什么这样做因为数据整理这件事最怕的就是“代码跑通了但口径错了”那样比没有数据还危险。1. 为什么“企业家精神”在数据库里没有现成字段概念落地的第一步1.1 学术概念到实证变量之间隔着三道工序企业家精神在文献里的定义版本很多核心大致是这几个关键词识别机会、承担风险、推动创新。这套话语在理论推演和案例研究里非常好用但到了面板回归这个层面问题就来了——你没法给几千家公司逐家打分“谁的精神更强”。凡是实证需要用的变量最终都得落在某张可下载、可核验的表格里。从概念到变量我理解通常要过三道工序。第一道是把宽泛概念拆成可操作维度第二道是给每个维度找到上市公司层面确实存在的观测证据第三道是用统一口径把这些证据落成数字。就拿“创新精神”来说拆下来可以是“企业在研发上投入了多少资源”对应的观测证据就是年报里的研发支出落成数字的结果就是研发投入强度。没有这三道工序你在任何数据库里搜索“企业家精神”都只能得到零结果。1.2 研发、专利、波动率三个最主流的代理维度我在这套数据里最终采用了三个维度分别对应创新投入、创新产出和风险承担具体变量如下表维度核心变量对应文献逻辑数据可得性创新投入研发投入强度研发支出 / 营业收入真金白银的投入反映创新意愿2012年后披露相对完整创新产出发明专利申请量投入之后是否真的有产出专利检索渠道可按申请人获取风险承担经行业调整的盈利波动率敢于承担不确定性才会接受业绩大起大落由利润数据构造为什么不直接用“管理层研发背景”“研发人员占比”这类指标它们当然也常被当作企业家才能或人力资本的代理但严格说测量的是能力结构而不是行为和精神倾向。而且管理层背景数据需要逐份翻阅高管简历、逐条手工编码样本大之后误码率很高。相比之下财务和专利数据是结构化公开数据可复现性更强。为什么把起始年份定在2012年一个很现实的原因是研发支出披露规则的变化。2012年之前A股公司研发支出披露范围窄、口径混乱大量公司直接在“管理费用”里打包导致研发字段的缺失比例高到没法用。从2012年前后开始披露要求逐步收紧研发数据的覆盖面和可比性明显改善。所以2012-2024这个区间兼顾了可用性和时间跨度做面板研究是够用的。提示三个维度之间是互补关系不是替代关系。研发投入高不代表专利产出一定高风险承担强也不一定导致更多研发。实际研究里建议三个变量都保留作为不同稳健性口径使用。2. 数据来源与字段设计从“原始报表”到“直接可跑实证”的表2.1 底层数据从哪几个渠道拿我整理时用的底层数据主要来自三类渠道。第一类是上市公司定期报告及临时公告包括年报、半年报和季报。研发支出、营业收入、总资产、净利润这些核心财务字段最终都以定期报告披露为准。财务字段的采集优先用结构化金融数据终端的导出结果但遇到终端字段为空而年报附注里有数据的情况我会回到公告原文手工补录。这一步没法省尤其早期年份终端覆盖不全的情况比想象中多。第二类是专利公开检索渠道。发明专利申请量需要按企业名称逐一检索公开渠道提供按申请人名称的检索结果可以按年导出申请数量。专利数据的特点是不能直接下载一个整表你得处理好企业名称的标准化和历史变更否则检索出来的东西对不上。第三类是交易所公开披露的上市状态、行业分类和公司基本信息。这部分包括股票代码、公司全称、所属行业门类、上市状态、是否被特别处理等信息用于样本筛选和面板结构搭建。行业分类这里我统一按最新一版的分类回溯调整避免新旧分类标准切换导致行业层面不可比。2.2 最终字段清单这套数据最终的主表格式是“公司-年度”面板每个观测值对应一家公司在某一年的一组变量。核心字段如下字段名含义单位来源证券代码公司股票代码六位字符文本基本信息表证券简称当年使用的公司简称文本基本信息表会计期间会计年度如2012数值定期报告行业代码行业大类代码文本行业分类表上市状态正常上市 / 特别处理 / 暂停上市文本交易所公告研发支出当年研发投入总额万元定期报告营业收入当年营业收入万元定期报告总资产期末总资产万元定期报告净利润当年归母净利润万元定期报告研发投入强度研发支出 / 营业收入比例构造变量发明专利申请量当年公司及子公司发明专利申请数件专利检索渠道企业规模ln(总资产)对数构造变量风险承担经行业调整ROA的五年滚动标准差数值构造变量专利数据的匹配有一个关键口径问题到底按母公司名称匹配还是按“上市公司及其合并报表范围内的子公司”匹配我做的时候是按合并口径也就是把上市公司本身和纳入合并报表的子公司专利加总。理由很简单企业家精神的落地载体是整个经营主体研发活动经常发生在子公司层面只看母体会漏掉大量创新产出。如果你后续做稳健性检验可以单独把“仅母公司”口径跑一遍结果方向一致会更踏实。3. 清洗与拼接的完整链路从三张底表到一张面板3.1 先定样本筛选规则拼接之前我先把样本筛选规则定死了避免后面来回改。第一保留样本期内处于正常上市状态的公司。对曾被特别处理、暂停上市或退市的公司处理方式是保留其正常期数据剔除异常期观测。这里“异常期”指的是公司被特别处理或暂停上市的那几个年度。第二剔除金融类公司。银行、保险、证券公司的报表结构和普通工商企业差异太大研发投入和风险承担的指标可比性差。不过这不是绝对规定如果你的研究主题就是金融企业可以单独跑一版但不要把金融和非金融混在一起当全样本。第三剔除关键字段大面积缺失的观测。研发支出、营业收入、总资产这三个字段如果同时缺失这个观测留着也没法构造核心变量。单年缺失可以用前后年补连续多年缺失就直接删。3.2 年份口径一律按会计年度所有财务变量统一按会计年度对齐。这里有个小坑年报里“营业收入”披露的是期末累计数但年报都存在一个“前期差错更正”的问题少量公司会调整前期比较数据。我在合并时以最终披露的调整后数据为准同时记录原始值方便后续判断是否受会计政策变更影响。滞后项的处理我倾向于不内置。为什么不同研究对滞后期的选择差异很大有人用当期有人用t-1期有人用t-1到t-3取均值。与其替使用者做一个固定选择不如在数据表里保留原始同期值让使用者在回归里自己生成滞后项。表里只做一件事情保证公司-年度唯一同时提供年份和行业字段这样任何滞后、差分、固定效应操作都能正常跑。3.3 Python拼接的核心逻辑底层表拿回来后我处理的顺序是先统一代码格式再按“证券代码 会计期间”合并最后构造变量。下面是简化版的核心代码import pandas as pd import numpy as np # 三张底表财务数据、专利数据、基本信息 fin pd.read_csv(financial_data.csv) patent pd.read_csv(patent_data.csv) basic pd.read_csv(company_basic.csv) # 1. 统一证券代码格式去掉小数点和后缀 for df in [fin, patent, basic]: df[证券代码] ( df[证券代码] .astype(str) .str.replace(r\.0$, , regexTrue) .str.zfill(6) ) df[会计期间] df[会计期间].astype(str).str[:4] # 2. 基本信息表做主体骨架 panel basic.copy() # 3. 拼接财务字段剔除重复的公司-年度 fin_uniq fin.drop_duplicates(subset[证券代码, 会计期间]) panel panel.merge(fin_uniq, on[证券代码, 会计期间], howleft) # 4. 按公司-年度汇总专利申请量 patent_annual ( patent.groupby([证券代码, 会计期间], as_indexFalse)[发明专利申请量].sum() ) panel panel.merge(patent_annual, on[证券代码, 会计期间], howleft) # 5. 构造核心变量 panel[研发投入强度] panel[研发支出] / panel[营业收入] panel[企业规模] np.log(panel[总资产]) # 6. 缺失专利按0填充没有专利就是0件 panel[发明专利申请量] panel[发明专利申请量].fillna(0)这段代码删掉了很多琐碎的异常处理但主逻辑就是这个思路。有一点要特别提醒金融终端导出的原始csv里证券代码经常显示成“000001.0”这种带小数点的形式不做规整后面全部匹配错位这个坑我一开始就踩过。3.4 风险承担指标怎么构造风险承担用的是“经行业调整ROA的五年滚动标准差”。构造逻辑分三步。第一步计算ROA净利润/总资产 第二步用ROA减去同一行业同年度的ROA中位数得到经行业调整的ROA 第三步对每家公司在t-2到t2的五年窗口内计算上述调整值的标准差要求窗口内至少有三个有效观测。这一步用Python实现也不复杂# 行业调整ROA panel[行业ROA中位数] ( panel.groupby([行业代码, 会计期间])[ROA].transform(median) ) panel[行业调整ROA] panel[ROA] - panel[行业ROA中位数] # 排序保证滚动窗口时间顺序正确 panel panel.sort_values([证券代码, 会计期间]) # 五年滚动标准差至少3个有效观测 panel[风险承担] ( panel.groupby(证券代码)[行业调整ROA] .transform(lambda x: x.rolling(window5, min_periods3).std()) )注意这里用的是“行业内调整”而不是“全样本中心化”。因为不同行业的机会集差异很大同样的盈利波动在制造业和批发业含义完全不同。如果不做行业调整风险承担指标会被行业属性主导而不是反映企业家层面的冒险偏好。3.5 缺失值、极端值处理缺失值处理的核心原则核心变量尽量不补、辅助变量按需补。研发支出如果当年未披露但前后两年都有我会用前后两年的均值填充并在表里加一个“是否填充”标记如果连续三年缺失这个观测直接标为无效。专利没有申请的年份填0因为“没申请专利”本身是有意义的信息不代表缺失。极端值使用的是缩尾处理研发投入强度、企业规模、风险承担这三个连续变量分别在1%和99%分位做缩尾。有人习惯按行业做缩尾我建议不要直接按行业缩尾因为部分行业样本量太小缩尾会缩掉太多有效信息先做全样本缩尾需要按行业讨论时再单独处理。4. 数据自检清单拿到这张表后我先做的四件事数据拼出来只是第一步敢不敢拿出去跑回归是另一回事。我每次整理完一批数据都会走一遍自检流程实测下来最管用的是下面四件事。4.1 跟年报原文抽样比对随机抽三十家公司把研发支出、营业收入、总资产三个字段跟年报原文人工核对。重点看的是是否存在把“研发人员数量”误录成“研发支出”的情况是否存在把“母公司数”当作“合并数”的情况。这类错误在纯人工补录阶段特别容易发生抽样核对能很快暴露。我还习惯把“抽样的三十家”分散到早期、中期、近期三个时间段而不是集中抽最近几年。因为披露规则在变早年数据最容易出问题。4.2 检查关键变量的分布特征研发投入强度的合理范围绝大多数落在0到0.5之间超过1的基本可以认定数据有问题除非遇到营业收入接近于零而研发投入巨大的极端事件。发明专利申请量是典型的右偏分布均值应远大于中位数最大值会在几件到几百件之间分布。如果你看到的分布是“均值等于中位数”大概率是变量构造错了。还有一个很简单的检查发明专利申请量如果出现小数几乎可以断定是join的时候把不同公司的数据串了。申请量一定是整数出现0.5件这种值说明合并键出了问题。4.3 检查面板结构的完整性用groupby检查每个“证券代码-会计期间”组合是不是唯一的有没有重复行、缺年、错年。我还习惯检查每个年度观测数是否在合理范围内——如果某一年突然少了三分之一那是原始数据导出漏了不是真实样本变化。另外值得做的是“年份 × 行业”的透视表看一眼行业分布是否平滑变化。如果某个行业在2019年整块消失大概率是行业分类标准切换的时候没做映射而不是行业真的没了。4.4 极值复查缩尾之后不是结束还要看看缩尾前后哪些公司被动过。如果一个公司连续八年都被缩尾那它可能是被特别处理过的极端样本考虑愿不愿意保留。我一般会把缩尾标记单独存一列写论文时还能报一句“做了1%缩尾结果稳健”。5. 这套数据能支撑哪些研究几个典型场景与使用提醒5.1 创新、数字化转型与ESG方向最直接的用法是把研发投入强度或发明专利申请量作为解释变量放进“企业家精神影响X”的回归里。这类研究的通例是X换成企业数字化转型、ESG评分、绿色创新之类的变量。我帮人复核过一个稿子用研发投入强度做核心解释变量样本是2012-2024年控制了企业规模、财务杠杆、企业年龄、董事会规模等一组变量双向固定效应跑下来系数稳定在1%水平上显著为正。这种结果能给的信心来自数据口径干净而不是代码多精巧。5.2 风险承担与高管激励方向盈利波动率更适合放在“冒险行为”语境里。典型的问题是股权激励计划是不是让高管更愿意承担风险这里企业家精神是结果变量或者说是激励机制的中介。我的建议是不要只用一个波动率就下结论最好把研发投入强度也放进模型做机制分析解释起来更立体。5.3 内生性问题这是必答题任何用企业家精神解释企业绩效的研究都绕不开双向因果。企业家精神可能推动企业变得更好但业绩好的企业也有更多资源招揽优秀管理者、加大研发反过来影响企业家精神的显性化程度。我的经验是至少在三层做加固一是核心解释变量滞后一期二是用公司和年份固定效应控制遗漏变量三是尝试工具变量。工具变量的选择可以多动脑筋常用的思路包括“同行业其他企业企业家精神的平均水平”、区域层面的产业历史特征等。使用工具变量前一定要论证排他性这部分编不来。5.4 政策事件研究中的样本期选择2012-2024年跨越多个重要政策节点很多研究喜欢做政策前后对比。但要注意政策和年份效应天然相关政策本身就发生在某个年份识别上容易混淆。靠谱的做法是加入行业固定效应和省份固定效应利用政策影响在不同行业、不同地区之间的差异来识别处理效应。如果政策强度对所有公司都一样那就只能做时间对比识别力会弱很多。6. 整理过程中最想提醒的几个坑这部分我认为是对读者价值最大的不是那种查文档能查到的点全是实际操作里磨出来的。6.1 研发支出的披露口径前后不一致从2018年前后开始研发投入的披露要求细化了很多但在这之前大量公司把研发费用打包放在“管理费用”里不单独列示。如果你看到2015-2017年研发支出为0就直接填0会把很多真实投入抹掉。正确做法是回到年报附注“管理费用”明细里找“研发费用”或“研究开发费”手工补录。这也是为什么我坚持把表的起始时间定在2012年而不是更早——2012年之前这种补录的工作量会大到失控。6.2 专利按母公司匹配会严重低估创新产出很多研究的专利数据用的是“上市公司主体名称”匹配结果创新产出被系统性低估尤其对集团化运作的公司。比如一家母公司在A股上市、旗下有五六家业务子公司的企业它的发明专利申请大部分登记在子公司名下。只用母公司名称检索专利量可能只有真实量的一小部分。我给的方案是把合并报表子公司名单拉出来逐一做名称标准化后再检索。注意名称标准化要处理“股份”“有限”“集团”等后缀差异还有历史上更名的情况。名称匹配这事很磨人但做和不做数字可能差一倍。6.3 代码会变、简称会变历史匹配别用现行代码A股公司借壳上市、迁址注册、重大资产重组都会导致代码和简称的变更。如果你用今天的代码回头匹配2015年的财报早期年份的所有关联都会被切断。要解决这个问题必须用交易所披露的历史代码对照表按当年使用的代码进行匹配。这也是很多人在数据清洗阶段遇到“神秘缺失”的最常见原因。6.4 2020-2022年数据的“异常波动”要心里有数特殊时期里很多公司营业收入和利润出现剧烈波动。研发投入强度这个比值会因此被动变大或变小盈利波动率也会被异常年份放大。我的处理办法是主回归里保留年份固定效应稳健性检验里剔除那几年的观测再看一遍结果如果系数方向和显著性没变写论文时心里有底。不要为了追求好看的结果专门去删年份审稿人会问。6.5 别把“企业家精神”当成单一指标直接塞进模型三个维度各测一个侧面单独一个维度都不能完整代表企业家精神。我建议的做法是主回归用研发投入强度或专利量机制分析里用风险承担稳健性检验里三个维度换着跑。如果一定要合成总指数用主成分分析把三个指标合成一个并在论文里报告各维度的载荷而不是简单地加总。我在实际使用这套数据的过程中最大的体会是数据整理最花时间的从来不是写代码而是把口径和背后的业务逻辑搞对。研发支出什么时候该补录、专利该按哪个主体范围来算、特殊年份的数据怎么处理这些决策直接决定你的回归结果可不可信。把这份2012-2024年的数据整理流程完整记录下来就是希望后来的研究者能少走这些弯路把精力放在真正的研究问题上。