先说实话过去我对“机器学习炒股”这件事一直保持怀疑。市面上讲“AI量化”的内容要么是拿未来函数硬凑收益率要么是堆了一堆深度模型讲得云里雾里散户听了除了焦虑什么都得不到。但最近这段时间我把自己的分析流程重构了一遍用机器学习去增强传统技术面与基本面分析整个思路完全变了。它没有神奇到给你一个“稳赚代码”但它实实在在地解决了我过去手动分析里最难受的几个问题指标打架、信息维度不够、决策靠感觉。先说清楚“增强”这两个字的意思。不是让模型替你判断买什么然后闭眼梭哈而是把传统分析的逻辑做成特征和标签让模型帮你完成“数据量太大、关系太非线性、人脑算不过来”的那一部分。技术面管市场情绪与短期节奏基本面管企业质地与长期锚点机器学习负责把这两条线缝合起来。这篇文章就是我这个流程的完整复盘从数据预处理、特征构造、模型选型到回测避坑全部摊开讲。适合两种人看一是传统技术派想给自己的分析加个验证维度二是有点编程底子但还没想清楚“AI炒股”到底怎么落地的开发者。1. 先把“增强”这件事说清楚不是替代是补盲1.1 传统分析模式的三个瓶颈做技术分析的应该都有这种体会MACD金叉、KDJ超卖、布林带收口几套指标同时出现的时候你的判断力反而下降了。历史经验不足的人容易迷信单一指标经验足的人则靠“盘感”做综合判断但盘感这东西很难传承、很难验证更很难扩大覆盖面。一天盯十只票是极限盯一百只票就彻底乱套。基本面分析那边也一样一份年报几百个字段真正有效的核心数据其实集中在成长性、盈利能力和财务健康度三块但要把这些信息与股价节奏对应上纯靠人脑去看效率低到不现实。更麻烦的是技术面和基本面之间存在天然的数据形态差异。技术面是高频、连续的行情时间序列基本面是低频、零散的报表快照。传统分析师往往偏科一边做技术的人看不上基本面“太慢”做基本面的人觉得技术分析“没逻辑”。这种割裂恰恰是机器学习最擅长弥补的因为它不在乎数据来自哪个流派它只关心这些输入能不能共同预测一个标签。1.2 机器学习能补在哪个环节先说结论机器学习在这套流程里补的是三个盲区高维组合人脑能同时处理的变量最多就七八个模型可以吃下几十上百个特征还能控制住相互关系。非线性映射基本面数据和技术面数据之间很少是线性关系高ROE不一定立刻涨高动量叠加基本面拐点才是信号。这种“组合条件”用规则很难写用树模型天然合适。统一评估过去你判断“这个票不错”是感性的现在所有的判断都统一成“输入特征到标签的概率映射”对错可以复盘参数可以调优。这不是说人的经验没用了。恰恰相反人的经验在前半段更重要选什么特征、设什么标签、怎么清洗数据全靠行业知识。模型做的是后半段“识别模式与排序”的体力活。1.3 目标怎么定才现实我建议任何做这个方向的人先把自己的目标从“预测涨跌”改成“三维度打分”。我自己的系统就只输出三个东西排序分股票池内相对强弱、分类概率未来一段时间上涨/震荡/下跌、风险提示波动率异常、财务质量恶化。为什么这么定因为精确预测涨跌在数学上就是一个高难度问题但“找出哪些票相对更强”是模型完全可以做到的而且这个能力直接对应组合构建的刚需。目标定得现实后续工程实现才不拧巴。从工程角度看这个目标转化为监督学习任务很直接。我选择的是监督学习里的分类框架把未来一段时间的收益状态作为标签。这样做的好处是输出概率可以解释成置信度和仓位管理直接挂钩组内排序则可以用模型打分完成替代传统的多因子加权。2. 两条数据线的处理技术面要防未来函数基本面要防可比性陷阱2.1 技术面数据怎么组织才干净技术面数据看似最不缺K线随手就来但90%的人第一步就做错了。原始行情数据必须处理成“可学习的时间切片”才行。我的做法是按股票代码分组把每日OHLCV转成若干时间窗口内的统计特征同时做一个严格的异步处理校验。核心原则只有一条任何特征在T时刻的取值只用T时刻及之前已确定的数据计算。举个例子很多人在算“当日涨幅”时不小心用了未来数据比如用当天的收盘价与第二天的开盘价比这会引入前视偏差。再比如均线如果你在T日盘中决策T日的收盘均线其实还没定盘合理做法是全部指标用T-1日收盘数据计算信号最早在T日开盘执行。这种“滞后一拍”的设计让回测结果具备实盘意义。技术面特征我分为三组趋势类不同周期均线位置关系、MACD柱方向、ADX强度。波动类ATR归一化、布林带宽度、历史波动率百分位。量价类量比、资金流强度、收盘价在当日区间中的位置。这三组特征有一个共性问题量纲差异巨大。股价50块的票和股价5块的票涨跌幅特征量级一样但绝对价差不同直接丢给模型会带来偏差。我的习惯是做横截面标准化也就是在每个交易日对全市场股票的同一特征做排序或Z-Score归一化。这背后是“相对强弱”的逻辑模型学的不是某只票自己涨了多少而是它在全市场中的相对位置。2.2 基本面数据要过三道关基本面数据看着规整实际暗坑更多。第一道关是滞后性。企业年报的财报期截止日和实际公开披露日差出几个月很正常。如果你直接用报告期日期做特征等于提前知道了未来信息。正确做法是使用“可获取日期”也就是数据供应商里标注的披露日期特征在那个日期之后才生效。第二道关是可比性。不同行业的ROE天生分布不同银行业杠杆高所以ROE不错但成长性有限科技企业ROE波动大但增速曲线陡峭。跨行业直接对比绝对值毫无意义。我自己的处理方式是行业中性化先将每只股票的财务指标减掉其所属行业同期的中位数再除以行业的四分位距得到“相对行业位置”的特征。第三道关是长周期对齐。财报数据按季度更新技术指标按天变化两个频率完全不同的数据源合在一起必须给基本面数据做“填充”处理。这里的正确填充不是简单向前填充就完了而是要在填充时保留“该信息已经存在多久了”这个信号。比如财报发布后第1天和第60天市场对信息的消化程度完全不同直接用发布当天的数值填60天会让模型误以为信息新鲜度相同。我会额外生成一个“距披露日天数”的特征让模型自己学习信息衰减的节奏。经过这三道关基本面特征才算干净。实际中我保留了这几类成长性营收增速、净利增速、经营现金流增速、盈利能力ROE、毛利率、净利率的水平和变化、财务健康度资产负债率、流动比率、商誉占比。2.3 两类特征怎么合并这是很多人纠结的点技术特征和基本面特征到底怎么喂给模型。我试过三种方案直接拼接每个样本包含全部技术基本面特征一股脑塞给模型。分模型再融合技术面训练一个模型、基本面训练一个模型再把两个模型输出作为高层特征。用复杂结构建模例如图神经网络做股票间关系建模基本面和行情图一起丢进去。我最终选择的是第一种直接拼接外加一个时间掩蔽特征表示“基本面新鲜度”。原因很实际直接拼接最简单、可解释性最好、也不容易过拟合。分模型再融合会多一层误差传播调参成本翻倍。图神经网络听起来高大上但数据量和算力要求高散户和一般团队根本扛不住。树模型完全可以在输入端同时处理两类特征它会自己找到“技术特征在基本面披露前后作用不同”这种交叉规律。3. 模型怎么选和训练要注意什么3.1 为什么我用梯度提升树而不是深度学习市面上很多量化教程一上来就讲LSTM、Transformer好像不用深度网络就不算AI。实际上对于表格形态数据的建模梯度提升树至今仍然是性价比之王。我的理由有四点样本量不够。A股几千只股票能用的有效日频样本看着几十万但独立样本其实很少深度学习很容易把噪声背下来。表格特征没有空间结构。图像有卷积的归纳偏置、文本有序列的归纳偏置但财务行情拼接起来的特征没有任何天然结构MLP和树模型在这个场景下没有本质差距。可解释性。做投资最怕模型是个黑箱你不敢把真金白银交给一个说不清逻辑的东西。树模型有特征重要性、有分箱图、有SHAP值能让你看清楚模型在依赖什么。训练效率。LightGBM训练一次只要几十秒深度学习调一轮就是几小时。在特征迭代阶段效率就是生命线。我不是说深度模型一无是处如果你有另类数据比如新闻原文、舆情文本需要做语义建模那确实得上深度学习。但在纯结构化特征这个场景树模型够了。3.2 标签设计直接决定模型天花板我踩过最深的坑之一就是标签设计草率。一开始我拿未来“涨/跌”二分类做标签阈值取0结果模型学的全是噪声准确率过不了55%。后来想明白了一个道理你给模型定义的“好”和“坏”不够清楚模型就无法判断。最终我用的标签方案是未来20个交易日收益率按阈值切成三分类——显著上涨1.5%、震荡±1.5%之间、显著下跌-1.5%。为什么选20日1日太短噪声大到几乎没有预测性60日太长和交易频率不匹配且样本重叠度过高导致评估失真。1.5%阈值是一个经验值对应A股日波动特征的累积效应你可以按自己交易周期调整为“未来5日收益1%”之类的设定。标签确定后样本划分是关键中的关键。时间序列数据绝对不能随机切分训练集和测试集不然就是作弊。我的划分方式是时间滚动窗口第1到第36个月做训练第37到第42个月做验证第43到第48个月做测试然后整体向后滚动保证任何测试集都严格晚于训练集。更重要的是样本独立性相邻交易日的样本高度相关我按每个“股票-月份”抽一个交易日做验证集而不是全部样本随机抽。3.3 训练参数与验证策略我用的主力模型是LightGBM因为它快、内存省、对缺失值友好。核心参数如下import lightgbm as lgb params { objective: multiclass, num_class: 3, boosting_type: gbdt, learning_rate: 0.05, n_estimators: 500, num_leaves: 31, min_child_samples: 50, colsample_bytree: 0.8, subsample: 0.8, subsample_freq: 1, reg_alpha: 0.1, reg_lambda: 1.0, random_state: 42, n_jobs: -1, }这个参数没什么神秘感但每一条都有来由。学习率0.05配合500棵树是“小步慢走”保证精度的同时减少过拟合num_leaves31在树复杂度和表达能力之间取平衡min_child_samples50强制每个叶子至少50个样本防止树学到个别极端值。colsample_bytree和subsample是两重随机化等于给模型加了正则。训练时的早停early stopping非常重要。我用验证集的AUC变化做早停指标patience设30轮也就是说如果验证集连续30轮没有提升就停止训练并回滚到最佳模型。信我这个机制能省下你几个小时的调参时间也能直接避免“训练集完美验证集稀烂”的尴尬。验证不做单一指标。准确率没什么参考价值因为三分类天然有类别不平衡震荡样本占了大头。我看三个东西一是三分类的AUC均值二是IC值模型打分与未来收益的秩相关性三是分层回测收益。AUC解决“模型有没有区分度”的问题IC解决“打分排序有没有单调性”的问题分层回测直接告诉你“按模型分数从高到低分五组最高组是否跑赢最低组”。三个指标能互相印证任何一个单独亮眼都值得怀疑。4. 从数据到信号的一整条流水线怎么落地4.1 数据准备如果不想栽跟头无论你从哪拿行情和财务数据有几件事必须做否则后边全是白费。第一是复权处理前复权是标准做法不然除权跳空会被误读成真实波动。第二是交易日历对齐股票停牌日、非交易日要统一填充到同一套日历上缺失值用前值填充并生成缺失标记。第三是存储格式一批数据几十GCSV慢到怀疑人生我用parquet格式存储读取速度快一个数量级。数据清洗的一个示意流程长这样import pandas as pd # 按股票分组处理避免跨股票泄漏 def process_stock(df): df df.sort_values(trade_date) # 前复权 df[close_adj] df[close] * df[adjust_factor] # 技术特征基于T-1日保证未来函数隔离 for window in [5, 10, 20, 60]: df[fret_{window}] df[close_adj].pct_change(window).shift(1) # 波动率特征 df[vol_20] df[ret_5].rolling(20).std().shift(1) return df注意最后那个shift(1)这一下就把所有特征全部滞后了一天从机制上杜绝当日前视。这是我反复强调的点宁可让特征晚一天也不能让信息提前。4.2 特征与标签生成的可复现写法特征工程一旦开始就要用“函数化”的方式管理尽量避免一把梭的脚本。我的做法会把每一类特征封装成独立函数入参是干净的日线表或财务表出参是数据集里的列。比如技术面特征函数、基本面特征函数、市场环境特征函数各有各的入口。这样做的最大好处是可以回溯某次模型异常你能快速定位是哪个特征引入的问题。标签生成必须在一个独立脚本里完成它和特征生成物理隔离。核心逻辑是对每只股票用T日收盘买入价对应的基准价计算T1到T20的收益。这里要特别注意收益计算不能跳过未来交易的复权因素我直接用复权价的百分比变化并用处理好的交易日列表做索引对齐不用“自然日5”这种拍脑袋写法。特征和标签生成后最终的数据集是一个宽表每一行是“股票代码 交易日”唯一键列是特征加标签。这个宽表马上会遇到一个现实问题几百列特征里到底选哪些我的答案是先用树模型跑一遍特征重要性把重要性接近零的砍掉再根据业务理解检查有没有漏掉关键组合。特征不是越多越好样本量有限时每多一列无关特征都是给过拟合送弹药。4.3 回测评估不要自嗨成本和换手模型训练完不直接上实盘必须回测。但市面上一大堆开源回测框架默认不扣费率和滑点这种结果就是自嗨。我回测时固定扣双边手续费万五、滑点按0.1%计算并且把涨跌停无法成交的情况写进撮合逻辑。这套成本模型不复杂但能让回测收益直接缩水两三个百分点看清策略真实的费后收益。换手率是最容易被忽视的隐形杀手。你建个组合每周调仓一次如果每次换掉50%仓位一年下来交易成本可能吃掉大部分超额收益。我在回测里会单独统计换手率并在策略层面加一个惩罚项如果模型打分变化不大就不要调仓。也就是说连续两周分数排序基本稳定的股票直接沿用上一期权重不折腾。这个小改动能把年化换手从50倍降到15倍后边我再讲具体数字。分层回测是检验模型“是否真有用”的照妖镜。具体做法是每个月末按模型打分把股票池分成5-10层统计每一层的未来20日平均收益。合格模型应该是严格单调的前10%的组收益显著大于后10%的组。如果分层结果是锯齿状比如第3层突然高过第2层说明模型打分不稳定或者关键特征有泄漏。我用这个方法否掉过几个“看着AUC很高”的模型因为它高AUC来源于震荡区间的正确区分而不是真正抓住上涨头部。5. 实战中我踩过的一些坑5.1 数据泄漏是最大隐形杀手这个坑我前前后后踩了三次每次都让回测收益翻倍然后实盘打脸。最常见的泄漏有三种场景全样本标准化先看完整数据集的最大最小值再归一化把未来信息渗进训练集。应对标准化参数只在训练集上计算验证和测试集直接复用。报表日期用错把财报期截止日当成可取日期结果模型在财报发布前就“知道”了业绩。应对严格使用披露日后首个交易日才激活特征。标签与特征互含某次我用成交量变异系数做特征而标签计算里也隐含了成交量分布结果模拟出虚假规律。应对每次特征新增后专门做一次“特征-标签相关性”审计。我在工程里加了一条死规矩任何特征生成的脚本必须显式注释“这一列在T日是否可知”。如果答不上来一律不允许放进训练集。这句话值很多钱。5.2 模型会过拟合“历史规律”市场转换就会失效模型学到的是历史规律而市场风格是轮动的。2023年有效的“小市值高弹性”特征2024年可能变成杀估值重灾区。我见过太多人训练一个模型然后永远不更新最后只能看着净值曲线滑滑梯。应对方案有两层第一层是监控每周计算最新IC和分层收益如果连续三周下降超过30%立刻诊断是市场风格切换还是模型退化第二层是重训每个月用最新数据重训一次用滚动窗口让模型保持对当下风格的敏感度。别指望一个模型包打天下它是个需要不断保养的工具。5.3 换手率的隐性成本比想象中大不计算不知道一算吓一跳。假设组合平均每周换手50%双边交易成本0.15%佣金加滑点加印花税模型一年52周就是26倍换手成本累计是26*0.15%3.9%。这还只是直接成本还没算冲击成本。如果你的策略费后年化超额只有8%其中近4个点交给交易成本实际到手大脑一片空白。解决方案是给调仓信号加一个“死区”只有当新组合与老组合的预期收益差超过1%时才做调整。这个阈值看着简单直接降低换手一半以上。5.4 别忽略可解释性这个硬需求模型再能打解释不了就是定时炸弹。尤其是当你想把模型输出用于实盘决策时心里必须清楚“模型为什么这么判断”。我用两个工具维持可解释性。一个是SHAP值看单个样本的预测主要受哪些特征驱动另一个是分箱图把特征从低到高切成20段看每一段的平均预测概率变化。有件印象很深的事某次训练完发现“20日动量因子”重要性特别高但分箱图显示它和预测概率是倒U型关系——动量太低预测下跌动量太高也预测下跌只有中等动量才看涨。这个发现翻译成人话就是“追涨杀跌要控制节奏”和经典技术分析理论完全对上了。那一刻我对模型的信任度大幅提升因为可解释性告诉你模型学到的是真实规律而不是数据集噪声。后来每次出模型我都先跑分箱图再谈收益率宁可慢一点也要让模型的每一条关键决策链路在自己脑子里过一遍。如果你只记得一个操作要点请记住这个严格的时间对齐是一切的前提。回测里再多收益如果经不起“这个特征在当时真能拿到吗”的追问全部归零。这个方向继续往前走的自然延伸其实是多因子框架的升级版本把模型打分当作一个新的因子与传统风格因子做正交化后再使用相当于给模型加了一个“不要把鸡蛋放在同一个篮子里”的保险。我目前就在往这个方向迭代把机器学习预测、风险模型和组合优化三个模块合在一起让每个环节各司其职。它的工程复杂度会高不少但每一步改进都能在业绩曲线上看到痕迹。投资分析这条路没有终点但每前进一步过去靠直觉做判断的模糊地带都会清楚一点这就是做这件事最有意思的地方。