简介覆盖2000—2023年上市公司战略性新兴产业企业面板数据面向经济学、金融学及产业研究方向的研究者、分析师和数据爱好者可用来识别战略新兴产业企业观察其经营表现、成长能力与产业格局演变也适用于硕博论文初筛、课题前期探索及实证复现。资源包共9个文件整体约7MB以dta和xlsx格式分别存放原始数据与处理后的“战略新兴产业分组变量”并附PDF参考文献、数据来源HTML页面及说明TXT便于核对行业口径、追溯原始出处也可按说明复现加工过程。目前已有46人学习下载。除中国战略新兴产业综合指数样本股列表外资源直接输出分组变量免去手工匹配环节数据覆盖2000—2023年时间跨度长适合开展面板回归、企业异质性、政策效应评估等计量分析也可作为高校产业经济、公司金融课程的教学实训素材。总体而言这是一份可直接上手的数据资料为后续建模提供干净的基础。1. 上市公司战略性新兴产业企业面板数据2000—2023年拆开zip之前先弄清这包数据能做什么如果你做企业金融或产业政策实证大概率见过这类zip上市公司基本信息、战略新兴产业分类名录、财务指标和研发数据按年份或板块拆成几十个子文件塞进一个压缩包。拿到手的第一步不是双击解压而是先想清楚——这份数据解决什么问题你又将按什么样的结构去使用。它最典型的三个用途把“战略新兴产业”作为处理组标签观察企业进入名录前后的财务与研发变化把财务报表同产业分类合并成统一面板比较新能源、新材料、高端装备等赛道差异用作产业政策评估或事件研究的识别样本。适合多年份、多公司的纵向研究只看单年横截面这包数据反而笨重。因为交付物是zip数据流水线第一环从压缩包开始确认压缩方式、处理编码、建立目录、读懂主键。这四步做扎实后面无论用 Stata、R 还是 Python 都会顺手很多。2. 解压这包数据的正确姿势伪加密、中文编码和目录结构一个都不能省先说结论从zip到可用目录我最常踩的三个坎分别对应压缩包加密标志、压缩包内文件名编码和解压后的文件组织。处理顺序上先看后解先测后全量。2.1 三步确认压缩包大小、加密状态和内部文件清单拿到这个zip先做三步确认避免白解压一遍查文件大小与完整性。在终端里用ls -lah看压缩包体积。如果文件大小接近0字节或明显小于同口径数据应有的量级先怀疑传输或下载中断。然后运行unzip -t对压缩包做一次内部CRC校验输出末尾出现No errors detected in compressed data才继续。查加密状态。用zipinfo -v看central directory里的加密标记。不是所有标成encrypted的包都真的需要密码存在“zip伪加密”的可能文件数据本身没有加密但加密标志位被置位导致常规解压工具要求输入密码。先区分真加密与伪加密避免卡在密码输入环节。查内部文件清单。用7z l列出所有条目确认内部是按年度拆文件还是按科目拆文件确认有没有README、变量说明、数据字典这样的入口文件。这三步看起来多实际上代码只有三条ls -lah 上市公司-战略性新兴产业企业面板数据2000-2023年.zip unzip -t 上市公司-战略性新兴产业企业面板数据2000-2023年.zip | tail -5 7z l 上市公司-战略性新兴产业企业面板数据2000-2023年.zip | head -60unzip -t的参数-t是test archive integrity它会解压所有内部文件并校验CRC但不会把文件写到磁盘。7z l的l是list只读取目录不释放文件所以速度很快。这两条命令都不改动原压缩包适合在数据迁移前先走一遍。第三行的head -60是为了防止子文件数量大时终端刷屏先把前60行看完确认有没有README再决定是否往下翻。如果7z l输出中看到文件名出现类似ҵ.csv的乱码不要慌张。这只表示压缩包内部文件名不是UTF-8常见于用Windows中文版压缩工具生成的zip。乱码只影响文件名显示和解压后的路径不意味着文件内容损坏。下一步在解压时正确指定编码即可。2.2 伪加密与编码问题三端解压的一致性做法先处理伪加密。要在解压前确认“伪加密”而非真加密最直接的办法是对其中一个文件做单文件测试提取。用7-Zip在密码输入框中随便输一个错误密码观察报错发生在“密码验证”阶段还是“数据解压”阶段伪加密包多数在数据解压阶段报错。更可靠的判断是读加密方式zipinfo -v 上市公司-战略性新兴产业企业面板数据2000-2023年.zip \ | grep -E file security status|encryption|compression method | head -20如果某个条目同时出现file security status: encrypted和compression method: Deflated这是传统ZIP加密。若加密方式显示Strong Encryption或AES则属于真加密需要找数据提供方拿密码。若加密标志异常但用7-Zip不输入密码仍能解出文件内容基本可判定为伪加密。此时我一般用 p7zip 做单文件测试提取7z e -y 上市公司-战略性新兴产业企业面板数据2000-2023年.zip \ -o./test_unzip README* -pe表示extract到单一路径不保留内部目录-y表示覆盖确认-o./test_unzip指定输出目录README*是通配符过滤器只解压以README开头的文件-p表示以空密码尝试解压。很多伪加密包在空密码状态下可以直接解开。这里的关键是不要一开始就动用二进制编辑器去改标志位先用空密码试一次成本最低。再处理编码。文件名乱码的本质是zip包内部的文件名是GBK字节序而macOS和Linux默认按UTF-8或CP437解析。在Linux或macOS上直接给unzip加-O gbkunzip -O gbk 上市公司-战略性新兴产业企业面板数据2000-2023年.zip -d data_raw-O gbk的含义是“强制将压缩包内文件名按GBK编码解析并在解压时转换为当前系统编码”。-d data_raw把解压后的全部内容放进data_raw文件夹。如果你的unzip版本不支持-O就用Python的zipfile模块处理具体方法在2.3节和排查清单里都会出现。Windows端我一般直接用7-Zip右键解压前在“选项→代码页”里选“ANSI(GBK)”如果文件清单依然乱码再改“UTF-8”。有些整理规范的包会在压缩时额外设置UTF-8标志位这样的包无论在哪一端解压现代系统都能正常识别。2.3 建两层目录给后续清洗留一条后悔药数据流水线里目录结构常被低估。我的习惯是解压后立刻建两层目录一层放原始档案一层放加工产物。原始档案只读不动加工产物可以由脚本反复覆盖。mkdir -p data_project/{raw,docs,processed} mv data_raw/* data_project/raw/ mv data_raw/.* data_project/docs/ 2/dev/null || true rm -rf data_raw{raw,docs,processed}是bash对大括号的展开语法一次创建三个子目录。mv data_raw/* data_project/raw/把所有解压文件放进raw目录。mv data_raw/.* data_project/docs/ 2/dev/null || true顺手把隐藏文件、README之类的入口文档归到docs下这里2/dev/null屏蔽“没有该文件”的报错|| true保证该条件不满足时脚本继续执行。这套结构的核心价值用一句常对同事讲的话概括processed 目录不管怎么改raw 目录永远是你回退的锚点。面板数据清洗极易反复某一版合并逻辑如果有误而你又只有一份“已修改文件”想回到原始状态就得重新解压整个zip反而再次引入编码问题。把raw隔绝出来等于给整个数据工程上了保险。2.4 第一次打开数据读一行为什么不等于看到整个面板解压完成后我建议先不碰财务表而是先看README。入口文档会告诉你主键是证券代码还是股票代码年份是否唯一一家公司能否同时属于多个新兴产业。这些信息决定了后面合并的写法。import pathlib docs_dir pathlib.Path(data_project/docs) for f in docs_dir.iterdir(): if f.suffix in [.txt, .md, .pdf]: print(f)这段代码列出docs目录下的说明文档。输出后逐一打开重点找“变量说明”“口径说明”“更新记录”这几种文件。没有这些文档的数据包要么作者不专业要么数据来源不明后面每条分析结论都很难追溯要格外谨慎。3. 面板数据的结构与变量设计从多张子表到一张规范长表3.1 子表关系与主键设计股票代码年份整理得规范的战略新兴产业企业面板包内部分工通常是企业基本信息表证券代码、证券简称、省份、上市板块、是否ST、上市日期、行业分类战略新兴产业分类表证券代码、行业大类名称新能源、新材料、高端装备、节能环保、新一代信息技术、生物医药、数字创意等、认定年份或所属时段年度财务指标表证券代码、年份、总资产、净资产、营业收入、净利润、ROA、ROE等补充数据表研发费用、专利数量、员工人数等主键几乎总是二维的证券代码 年份唯一确定一行。要注意代码格式有的表是000001.SZ有的表是纯数字000001。合并前先把所有表统一成同一种格式。我的做法是先统一为6位数字代码在需要区分交易所时再用上市板块字段补后缀。这一步虽小却几乎每次都能遇到。3.2 长表优于宽表面板分析的底层习惯一张“年份作为列名”的宽表方便人工查看但不适合回归。Stata的xtset、R的plm、Python的linearmodels都需要“公司一行时间一行”的长表结构。长表里每个公司每年占一行年份列是普通数值列分组变量和交互项能直接用列名构造。从zip里解出的原始数据经常是混合形态财务表按年拆分企业信息表是宽表加多行历史记录新兴产业分类表又是一张长表。所以拿到后的第一项加工就是统一转成长表并且把证券代码、年份两列作为全表唯一主键。这一条看似基础却决定了后续合并与回归能否顺利跑通。3.3 Python 代码把按年度拆分的财务文件合并成规范长面板如果压缩包里的财务表是按年拆分的比如财务指标2000.csv、财务指标2001.csv可以用下面的代码合并成一张完整面板import pandas as pd import re from pathlib import Path raw_fin Path(data_project/raw/finance) frames [] for csv_path in sorted(raw_fin.glob(财务*.csv)): # 从文件名提取年份例如 “财务指标2000.csv” - 2000 m re.search(r(\d{4}), csv_path.stem) if not m: continue year int(m.group(1)) df pd.read_csv(csv_path, encodinggbk, dtype{证券代码: str}) # 如果某年文件没有年份列则手工补列 if 年份 not in df.columns: df[年份] year frames.append(df) panel pd.concat(frames, ignore_indexTrue, sortFalse) # 统一代码只保留6位数字部分之后再按需补后缀 panel[证券代码] panel[证券代码].str.extract(r(\d{6})) panel[年份] pd.to_numeric(panel[年份], errorscoerce) # 去重同一代码同一年份保留最后一条记录 panel panel.drop_duplicates(subset[证券代码, 年份], keeplast) panel.to_csv(data_project/processed/long_panel.csv, indexFalse, encodingutf-8-sig)代码逻辑分四步先用glob(财务*.csv)匹配以“财务”开头的所有CSV按文件名排序后逐个读入保证年份顺序稳定读取时指定encodinggbk这是Windows中文环境最常用的编码若报解码错误我一般改试gb18030它是GBK的超集dtype{证券代码: str}很关键证券代码以0开头比如“000001”如果按数值读取前导0会被丢弃后续merge必然错位pd.concat把多年文件拼成一个长表ignore_indexTrue避免每次拼接保留旧索引导致重复。drop_duplicates的keeplast用来处理同一代码同一年份出现多份记录的脏数据保留最后一次出现的行。这个处理建立在两个前提上一是确认重复行确实存在内容差异二是确认保留顺序有意义。如果每次重复的内容完全一致倒是无所谓如果差异很大应该先把重复行抽出来检查而不是直接删。合并之后我用一行代码验证主键唯一性assert panel.duplicated(subset[证券代码, 年份]).sum() 0, 主键不唯一assert触发时会抛出一个AssertionError在数据流水线里相当于一道闸门。它防止你把带有重复键的表带进后续回归如果触发返回上一步查重复来源。4. 读入数据前必看的高频坑伪加密、乱码、重复键与年份断层这章按“现象 → 原因 → 解决”的格式整理四类我在实际操作中反复遇到的问题。4.1 现象一解压被“伪加密”挡在门外现象解压时系统弹出密码输入框但数据提供方没有给过密码输入空密码或任意值始终解不出来用WinRAR有时提示“文件头破坏”。原因打包人设置了加密标志但文件数据没有真正加密。伪加密在中文数据交流中非常常见Windows右键“压缩并加密”功能偶尔会产生这类不一致的包也有少量工具会误写中央目录的flag bit。解决先用空密码试一次运行7z e -p或GUI里密码留空。如果还不行再用Python重新打包并清除加密标志位from zipfile import ZipFile src data_project/raw/issue.zip dst data_project/raw/fixed.zip with ZipFile(src) as zin, ZipFile(dst, w) as zout: for item in zin.infolist(): # 确认是伪加密时把加密标志位清0 item.flag_bits ~0x0001 data zin.read(item.filename) zout.writestr(item, data)这段代码把每个条目的flag_bits最低位清0生成一个新zip。~0x0001是按位取反后做与运算作用是保留其他标志位只关掉加密标记。注意这适用于你已经判断为伪加密的情况如果文件是真加密zin.read会因密码错误直接报错所以这一步不要对来源不明的数据乱跑。4.2 现象二解压后文件名乱码现象解压出来的文件名是ҵ.csv之类的内容Python用pd.read_csv按预期路径读取时报FileNotFoundError。原因压缩包内文件名使用GBK编码而解压环境按CP437或UTF-8解析。文件内容完好无损只是名字在系统里变成了乱码。解决在Linux/macOS上优先用unzip -O gbk重新解压如果已经解压了用Python对乱码文件名做一次重编码修正import pathlib path pathlib.Path(data_project/raw) for p in path.glob(*): if in p.name: fixed p.name.encode(cp437).decode(gbk, errorsreplace) p.rename(p.with_name(fixed))逻辑是把当前系统里显示的cp437字符串重新编码回原始字节再按gbk解码成正确中文。errorsreplace是保险丝个别生僻字如果还是解码不了至少不会中断循环。实际操作中这个办法能覆盖绝大多数Windows中文zip的乱码问题。4.3 现象三合并后出现大量重复行现象财务表和企业信息表merge之后行数比预期多出数倍或者按“证券代码年份”分组时每组出现两行以上。原因合并键未标准化。常见的三类证券代码在左表是000001.SZ右表是纯数字年份在左表是数值2019右表是字符串2019或2019年数据提供方在同一年的录入存在重复未在源文件里剔除。解决合并前把两表的键统一起格式left[证券代码] left[证券代码].astype(str).str.zfill(6) right[证券代码] right[证券代码].astype(str).str.extract(r(\d{6})) left[年份] pd.to_numeric(left[年份], errorscoerce).astype(Int64) right[年份] pd.to_numeric(right[年份], errorscoerce).astype(Int64) merged pd.merge(left, right, on[证券代码, 年份], howouter, indicatorTrue)str.zfill(6)把纯数字代码补足到6位.str.extract(r(\d{6}))从000001.SZ这类带后缀的代码里提取6位数字两表键就一致了。Int64是pandas的可空整数类型允许年份缺失值参与合并。indicatorTrue会在合并结果里加一个_merge列标出每行来源是左表、右表还是两边匹配。用这一列去筛查只出现单边的代码往往就是命名变体或重复数据的线索。4.4 现象四时间序列不连续早年数据明显稀疏现象合并后发现2010年前每个年份的行数很少或者年份之间出现断层面板明显非平衡。原因部分公司在2010年前还没上市没有财务披露义务数据库自然没有对应记录也有公司在样本期间退市或ST导致后续缺失。这类问题属于数据真实结构不是损坏。解决先确认口径。多数面板分析并不强制要求平衡面板保留非平衡结构并在模型中控制上市年份即可。如果特定研究设计要求平衡面板就做公司覆盖年限过滤valid panel.groupby(证券代码).size().reset_index(namecnt) valid valid[valid[cnt] 5] panel_use panel[panel[证券代码].isin(valid[证券代码])]先统计每家公司在样本期的记录条数只保留记录数达到5年的公司。这个5年阈值需要根据研究设计调整并不是固定值。注意此操作会系统性丢弃“后上市企业”在政策效应评估中可能带来样本选择偏差所以处理后要单独描述样本筛选规则。5. 进阶用“首次认定年份”构造可复现的效应研究样本对你手上这份战略新兴产业企业面板数据一个高频需求是识别公司“何时进入战略新兴产业名录”然后以此作为事件时点分析财务绩效的后续变化。这个操作不复杂但有两个小技巧值得掌握。5.1 一个代码识别首次认定年份如果分类表给你的是一个持续标签而不是逐年认定记录需要先用面板历史构造首发年份first_year ( panel.sort_values(年份) .groupby(证券代码)[年份] .min() .reset_index() .rename(columns{年份: 首发年份}) ) panel panel.merge(first_year, on证券代码, howleft) panel[相对年份] panel[年份] - panel[首发年份]sort_values按年份排序groupby(证券代码)[年份].min()得到每家公司最早出现在分类表中的年份。相对年份构造的是事件研究时间轴负数是进入名录之前0是当年正数是进入之后第几年。后续无论是用虚拟变量还是连续变量落在这个时间轴上都能观察到效应是渐进还是跳变。5.2 一个习惯验证面板质量键唯一、时间覆盖与交叉复核我每次交付代码前习惯至少跑三类验证assert panel.duplicated([证券代码, 年份]).sum() 0 record_cnt panel.groupby(证券代码).size() print(覆盖公司数, len(record_cnt)) print(平均覆盖年数, round(record_cnt.mean(), 2)) check panel.groupby([首发年份, 年份]).size()第一行验证主键唯一第二行统计覆盖公司数和平均覆盖年数让你量化这个面板非平衡到了什么程度第三行看每个首发年份在每个日历年份的分布能直观发现某一特定年份是否存在覆盖缺口。在做完内部验证之后我还会抽10家公司把手里的ROA、总资产指标与公开披露的年报做一次抽样比对。对不上的回去查数据字典的口径说明而不是先怀疑数据。这个交叉验证的习惯在业界很重要它直接决定别人愿不愿用你整理后的版本。回到文章开头那个zip我现在处理顺序是先看大小和加密标志再按GBK/UTF-8正确解压随后固定raw/processed两层目录合并前统一代码和年份格式最后用主键唯一性闸门收尾。用这个流程处理这类数据集我几乎没有因为编码或重复键问题返工过。这些踩过的坑希望对你也有帮助。本文还有配套的精品资源点击获取