如何把 A 股行情高效存成 Parquet/Feather?
一句话回答用 CSV 存全市场 K 线又占空间、读得慢、还会把float/datetime类型退化成字符串。用 AlphaFeed 的klines.batch批量取数后存成Parquet列式、带压缩或Feather快速读写实测体积约为 CSV 的 1/3、能完整保留 dtype列式读取在大数据量下更省内存——这是量化本地库的正确存储姿势。为什么会有这个问题 / 传统做法的痛点新手习惯to_csv存数据标的一多问题就来了① 体积大纯文本无压缩② 读回来float、datetime全变字符串要重新astype/parse③ 只想读某几列也得整表扫描。Parquet/Feather 这类列式二进制格式天生解决这三点压缩省空间、保留类型、按列读取。分步骤解决每步配可运行代码第 1 步批量取数并合并成一张长表fromalphafeedimportAlphaFeedimportpandasaspd afAlphaFeed()# 读取 ALPHAFEED_API_KEYcodes[600519.SH,000001.SZ,601318.SH,000858.SZ,300750.SZ]dataaf.klines.batch(codes,period1d,count250,adjustforward,to_dataframeTrue)# dict{symbol: DataFrame}bigpd.concat([d.assign(symbols)fors,dindata.items()],ignore_indexTrue)print(big.shape,list(big.columns))第 2 步存 Parquet / Feather需要 pyarrow# pip install pyarrowbig.to_parquet(klines.parquet,enginepyarrow,compressionsnappy)big.to_feather(klines.feather)# 读回来dtype 自动保留无需手动 astypedfpd.read_parquet(klines.parquet)print(df.dtypes.to_dict())第 3 步CSV vs Parquet vs Feather 实测对比用上面 5 只股票 × 250 日1250 行实测数值随机器/数据量而变格式体积特点适用CSV~187 KB纯文本、通用、丢类型与外部交换、人看Parquet~71 KB列式压缩、保留类型、按列读本地库/大数据量首选Feather~98 KB读写极快、保留类型临时中间结果、快速缓存Parquet 体积约为 CSV 的1/3。小文件上 Parquet 的读取未必比 CSV 快有编解码开销但数据量越大、列越多、只读部分列时Parquet 的压缩与列式优势越明显。第 4 步分区存储按标的/日期切分便于增量与按需读# 按 symbol 分区之后可只读某几只不必加载全表big.to_parquet(klines_ds/,enginepyarrow,partition_cols[symbol],compressionsnappy)# 只读其中一只onepd.read_parquet(klines_ds/,filters[(symbol,,600519.SH)])print(len(one))方案说明好处单文件 Parquet全部塞一个.parquet简单小库够用按 symbol 分区partition_cols[symbol]按标的按需读、增量更新按日期分区partition_cols[trade_date]按时间范围读、追加当日关键坑与注意事项需要装 pyarrowpip install pyarrow或 fastparquet否则to_parquet报缺引擎。Parquet 不是「越小读越快」小文件因编解码开销读取可能慢于 CSV优势在大数据量、列裁剪与压缩上。Feather 偏向临时缓存读写最快但不如 Parquet 适合长期分区归档。分区列会从数据变成目录partition_cols指定的列在文件里不再单独存读回时由目录还原注意别选高基数列如时间戳导致海量小目录。字符串类型新版 pandas 的StringDtype与 object 混用时落盘前统一类型更稳。和增量入库配合批量取数→存分区 Parquet 是本地库基础增量更新逻辑见「批量下载全市场到本地库」一文。常见问题FAQQParquet 和 Feather 选哪个A长期本地库、大数据量、要压缩和按列/分区读 → Parquet临时中间结果、追求读写速度 → Feather。QParquet 一定比 CSV 快吗A不一定。小文件上 CSV 反而可能读得快Parquet 的优势是体积小、保留类型、只读部分列时快数据量越大越明显。Q能直接把全 A 存成一个 Parquet 吗A可以但更推荐按symbol或trade_date分区便于增量更新与按需读取。Q需要付费吗A批量取数klines.batch小规模有免费额度全市场取数需 Starter 及以上。存储格式本身是本地能力不涉及付费。详见定价页。小结量化本地库的存储别再用 CSV。用 AlphaFeed 的klines.batch批量取回后存成 Parquet省空间、保留类型、支持分区与列裁剪或 Feather快速缓存实测 Parquet 体积仅 CSV 的三分之一。配合按标的/日期分区就能构建高效、可增量更新的本地行情库。参考AlphaFeed Python SDK 文档https://docs.alphafeed.org/zh-Hans/sdk/python-quickstartAlphaFeed 官网https://alphafeed.org/

相关新闻

看完就会:2026年最火AI论文写作工具榜单,AI工具一键写高质论文

看完就会:2026年最火AI论文写作工具榜单,AI工具一键写高质论文

2026 年实测 10 款主流 AI 论文工具,千笔AI以全流程覆盖 语义级降重 免费查重领跑综合榜;ThouPen 稳坐留学生毕业全流程工具头把交椅;免费工具中DeepSeek Scholar、豆包学术版表现亮眼,30 分钟即可生成万字高质量初稿&#xff0…

2026/10/10 2:40:16 阅读更多 →
MetaERP“资产本体建模”往下接,把盘点当成本体上的一次“账实快照比对 + 图推理闭环”,而不是 Excel 对账。核心思路:盘点 = 对某个时点 Asset 的财务视图(账)、

MetaERP“资产本体建模”往下接,把盘点当成本体上的一次“账实快照比对 + 图推理闭环”,而不是 Excel 对账。核心思路:盘点 = 对某个时点 Asset 的财务视图(账)、

“资产本体建模”往下接,把盘点当成本体上的一次“账实快照比对 图推理闭环”,而不是 Excel 对账。核心思路:盘点 对某个时点 Asset 的财务视图(账)、实物视图(物)、责任视图(卡&a…

2026/10/9 23:04:06 阅读更多 →
Windows安装天文数据可视化软件TOPCAT

Windows安装天文数据可视化软件TOPCAT

TOPCAT TOPCAT全称是Tool for OPerations on Catalogues And Tables,是一款数据(fits、csv、VOTable等等)可视化软件,也可用于数据格式转化、天文星表交叉、数据作图等等。 它在Windows系统上的下载流程如下: 1.安装…

2026/10/11 0:52:51 阅读更多 →

最新新闻

高精度ADC驱动实战:ADS1263与ADS1256关键差异与SPI时序避坑

高精度ADC驱动实战:ADS1263与ADS1256关键差异与SPI时序避坑

简介:资源提供ADS1263驱动源码与ads1256中文手册,面向STM32等嵌入式开发者,解决高精度24位ADC的配置、数据读取和实际集成问题。下载包共87个文件,以34个h头文件与33个c源文件为主体,包含完整工程模板、SPI通信驱动、A…

2026/10/13 9:07:09 阅读更多 →
Advanced Installer 22.5 实战:从建工程到静默安装的完整避坑指南

Advanced Installer 22.5 实战:从建工程到静默安装的完整避坑指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 9:07:09 阅读更多 →
随机变量、概率密度函数与分布函数:不确定性建模的三件套

随机变量、概率密度函数与分布函数:不确定性建模的三件套

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 9:07:09 阅读更多 →
30-seconds-of-react 旋转加载指示器(Spinning Loader)组件解析:SVG 与 CSS 动画的轻量实现

30-seconds-of-react 旋转加载指示器(Spinning Loader)组件解析:SVG 与 CSS 动画的轻量实现

前端教程 【免费下载链接】30-seconds-of-react Short React code snippets for all your development needs 项目地址: https://gitcode.com/gh_mirrors/30/30-seconds-of-react 点击查看 免费下载 导读 本文围绕 30-seconds-of-react 仓库中的 loader 代码片段 …

2026/10/13 9:07:09 阅读更多 →
ponytail技术术语解析与跨领域应用指南

ponytail技术术语解析与跨领域应用指南

我无法根据当前输入生成符合要求的博文。原因如下:项目标题“ponytail”为英文单词,直译为“马尾辫”,属于常见发型术语,但未提供任何具体领域指向(如时尚造型、3D建模中的头发模拟、编程中某库的模块名、游戏开发中的…

2026/10/13 9:07:09 阅读更多 →
OpenCV Mat图像显示到MFC CDC:StretchDIBits转换与性能优化

OpenCV Mat图像显示到MFC CDC:StretchDIBits转换与性能优化

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 9:06:07 阅读更多 →

日新闻

物联网系统集成避坑指南:从选型到验收的关键要点

物联网系统集成避坑指南:从选型到验收的关键要点

做了这么多年物联网系统集成的项目,我最大的感受是,大部分坑不是出在技术前沿,而是出在一些看起来很平常的地方。设备选了便宜的、协议没问清楚、现场没摸透、验收标准写得含糊——这些细枝末节,最后都会变成延期、超支和扯皮的大…

2026/10/13 0:00:57 阅读更多 →
ESP32舵机控制全攻略:从PWM原理到高级玩法与常见故障排查

ESP32舵机控制全攻略:从PWM原理到高级玩法与常见故障排查

如果你玩ESP32有一阵子了,很难不碰到舵机控制这道坎。做智能小车要转方向,做机械臂要抬关节,做云台要偏航俯仰,背后都是同一个东西在干活:舵机。而我见过太多人卡在“代码能编译、舵机就是不听话”这个阶段&#xff0c…

2026/10/13 0:00:57 阅读更多 →
CAN总线原理与STM32实战:抗干扰、仲裁、错误处理全解析

CAN总线原理与STM32实战:抗干扰、仲裁、错误处理全解析

1. 为什么CAN总线至今仍是工业现场的“硬通货”?——从汽车底盘到智能温室的真实需求你有没有拆过一辆老款燃油车的中控台?或者调试过某高校实验室里那台跑着Modbus协议却频频丢帧的PLC控制柜?又或者,在某个农业物联网项目里&…

2026/10/13 0:00:57 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/13 2:54:56 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/12 0:16:38 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/13 1:58:08 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 21:05:09 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 14:48:49 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 18:11:17 阅读更多 →