机器学习增强技术面与基本面分析：量化策略实战

机器学习增强技术面与基本面分析这个话题我盯了很久。做了几年量化研究最深的感受就是传统技术指标和基本面财务数据单拎出来用噪声大、规律不稳定回测曲线稍微顺滑一点就忍不住怀疑是过拟合还是幸存者偏差。于是我用了一个模拟项目X把两套分析体系里的原始信号统一丢进机器学习框架里让模型自己去学哪些特征真正有用、什么条件下信号才稳定。这篇文章就围绕这个项目把数据构造、特征工程、模型选型、训练细节、回测评估和踩坑经验完整梳理一遍。这个内容适合正在做量化策略但觉得传统规则太死板的朋友也适合有一定机器学习基础、想往金融数据上落地的开发者。整体思路是不指望模型预测精准的涨跌幅而是通过增强特征表达和信息利用率让它在概率意义上给出比单一指标更可靠的信号排序。我会把每个环节背后的为什么讲清楚同时给出一套可以直接照着改的工程方案。1. 为什么要把机器学习搬进技术面与基本面分析1.1 传统分析的痛点在哪里先说说传统技术面分析。均线、MACD、RSI、布林带这些指标本质上是对价格、成交量的某种函数变换它们确实捕捉到了部分市场情绪和趋势特征但有几个非常明显的问题。第一指标之间的信息高度重叠。均线金叉和MACD金叉在很多行情阶段几乎是同时发生的把它们都作为独立信号用等于给同一个信息加了双倍权重。第二固定参数无法适应市场状态的切换。震荡市里RSI超买超卖很好用趋势市里它可能让你过早离场。第三人的规则是离散的、阈值化的价格刚好在均线上方和偏离均线5%在规则系统里可能触发完全不同的结论但模型会告诉你这其实是一个连续的风险递增过程。基本面分析的问题也类似。PE、PB、ROE这些指标更新频率低、滞后性强而且不同行业的估值中枢差异巨大直接横向比较很容易得出错误结论。传统做法是人工做行业中性化、再和涨幅排名做对照这套流程不仅繁琐而且很难覆盖多因子之间的非线性交互。1.2 机器学习补上的三块短板把机器学习引入之后解决的核心问题有三个。非线性交互。ROE高且边际改善、同时技术面上动量刚启动、成交量温和放大这种组合在传统多因子模型里需要人工显式构造交互项而在树模型里它会被自动挖掘。特征重要性加权。过去我们拍脑袋定权重机器学习的做法是从数据中学权重。某个因子在某个市场状态下有效、在另一个状态下失效模型会通过分裂点的选择自动记住这种条件关系。信息利用效率。传统分析往往只取指标的最终数值但机器学习可以把指标的历史分布、变化斜率、离散程度都作为特征喂进去让模型看到的是更完整的信息画像。1.3 这个项目究竟在做什么模拟项目X的核心任务很明确以沪深300成分股为股票池用过去5年的日线行情数据、季度财务数据和基础的行业分类数据构造一个融合技术面与基本面的特征体系训练模型输出股票未来20个交易日的相对收益排序然后构建一个调仓周期为20日的截面策略。选择沪深300成分股有几个好处流动性足够、财务数据覆盖完整、不容易出现极端的价格操纵问题而且股票池相对稳定基本面特征的时间序列可比性比全市场好很多。整个流程从数据落地到回测结果输出完全本地化运行不依赖任何商业终端这也是我觉得这个项目比较适合个人研究者复现的原因。2. 数据工程特征构造是成败的第一道关卡2.1 技术面特征怎么构造技术面特征我分成了四大类动量类、波动类、量价类、分布形态类。每一类都在传统指标基础上做了增强。动量类特征不只是简单取过去N日收益率。我额外计算了均线偏离度也就是当前价格相对于20日、60日均线的百分比偏离还计算了动量加速度也就是过去10日收益率减去过去20日收益率用来捕捉动能是正在加强还是衰减。波动类特征以ATR和已实现波动率为主。ATR用真实波幅的20日均值来刻画绝对波动水平已实现波动率用日收益率的滚动标准差年化值。比较关键的一个特征叫波动率状态把当前波动率除以过去120日波动率中位数数值大于1说明市场波动在放大这种情况下很多趋势信号的可靠性会下降。量价类特征包括成交量变化率、量比、资金流向近似值。资金流向我没有用复杂的逐笔数据而是用当日涨跌和成交量的组合做近似估计比如当日收涨且成交量放大就近似视为资金净流入。这个方法不精确但在日线级别上作为相对排序特征是够用的。分布形态类特征容易被忽略但对模型帮助很大。我用过去20日收益率序列的偏度和峰度来描述收益分布形状还用当前价格在近60日最高最低区间中的百分位位置作为特征。这些特征本质上在告诉模型当前处于什么样的市场微观状态。所有技术面特征都做了统一的行业中性化处理。处理方式不算复杂在每个行业分组内做z-score标准化再用全市场截面上的排名百分位作为最终特征值。这一步非常重要因为不同行业的波动率基准差异很大不做中性化模型会优先学到行业属性而不是股票本身的质量。2.2 基本面特征怎么构造基本面数据来自季度财务报表使用时我严格做了滞后处理财报发布日期之后的第一个调仓日才允许使用该数据避免用到未来信息。基本面特征我分成三类水平类、改善类、预期类。水平类包括PE、PB、PS、ROE、毛利率、资产负债率。这些指标在原始数值上差异极大直接进模型会被高数值特征的梯度主导。我全部做了截面排名百分位转换部分指标还做了行业相对值也就是个股值减去行业中位数的差值再标准化。改善类特征比水平类更重要。比如ROE的季度环比变化、营收增速的同比变化、毛利率的连续两期趋势方向。市场对基本面的边际变化比绝对水平更敏感这个规律通过特征重要性的排序也能在模型中体现出来。预期类特征我用了分析师一致预期的营收增速和净利润增速。这类数据不是每个股票都有覆盖缺失率大概在10%到15%我单独用一个标志位特征来标记缺失而不是直接把缺失值填充成一个常数。这样模型可以学会没有分析师覆盖本身也是一个信息。基本面和技术面每期拼接时我额外生成了几个跨域特征基本面改善且技术面动量为正的双重确认信号、基本面恶化和价格创新高的背离特征。这类跨域交互是传统分析里人工看盘最关注的场景把它们显式构造出来等于给模型提供了先验知识而不是让它完全从零开始探索。2.3 标签设计与样本划分预测目标我定为未来20个交易日相对收益。相对收益不是绝对收益而是个股未来收益减去同期股票池等权平均收益这样做可以剔除市场整体涨跌的影响让模型专注于学习截面上的相对强弱。标签形式用了两种排序标签和分类标签。排序标签就是相对收益的数值本身训练时用回归损失分类标签把相对收益按截面分成五档训练时用多分类损失。实践中我发现排序标签配合回归模型的效果更稳定分类标签虽然看起来直观但分档边界的设定会引入额外噪声。样本划分最需要注意的是时间顺序。我严禁随机打乱后切分训练集和测试集因为金融数据有强时间依赖性随机切分等于让模型偷看未来。我采用的做法是按时间段切分前三年做训练集之后半年做验证集最后一年多做测试集。滚动训练时每三个月把窗口向前推一次保证模型一直在用最新的数据学习。2.4 数据清洗的隐形坑数据清洗这一环节有几个非常隐蔽的坑都是实操中踩出来的。第一个是停牌和涨跌停的极端值处理。停牌复牌当天的收益率经常出现极端值如果不剔除模型会学到停牌后复牌大涨这类并不稳定的规律。涨跌停日的成交量和收益率也失真因为流动性缺失导致价格发现不充分。我对这类样本单独打标而不是直接删除让模型自己判断要不要利用它们。第二个是幸存者偏差。如果直接用当前成分股列表去拉历史数据会漏掉那些曾经在指数里但后来被剔除的股票回测会虚高。我的处理方式是使用历史的成分股快照数据某个时点只要它在指数里就纳入当时的股票池。这个数据获取相对麻烦但必须做否则结果参考价值会大打折扣。第三个是财务数据的跨期对齐。很多新手直接把最新财报数据和当前股价拼接这会导致严重的标签穿越。正确的做法是掌握每个公司财报的实际披露日期构造数据时按披露日期对齐。我在模拟项目中用了一个近似方法统一假设所有公司季报在报告期结束后一个月披露虽然和真实披露日期有偏差但至少避免了把未来信息混进当期特征。3. 模型选型与训练策略3.1 候选模型对比这个项目里我对比了四类模型线性回归、随机森林、梯度提升树和简单多层感知机。为了避免模型对比时掺入太多不确定因素所有模型都使用完全相同的特征输入和样本权重。线性回归是基准模型它的价值在于提供了一个可解释性下限。如果复杂模型和线性模型表现差异不大说明这个任务里的规律主要是线性的大规模上非线性模型就是浪费算力。实测下来梯度提升树的IC比线性回归高不少尤其在加入了跨域交互特征之后说明数据里确实存在非线性信号。随机森林和梯度提升树之间的差异也很有代表性。随机森林对异常值更稳健特征重要性分布更均匀但整体精度不如梯度提升树。梯度提升树在金融数据上的优势在于它对少数样本中的规律更敏感能把连续的分裂点拟合得很细但也因此更容易过拟合。多层感知机在这个项目里表现一般。金融数据信噪比极低样本量只有几万条深度网络在这种场景下很容易记住噪声。除非把网络做得非常浅、加大量正则化否则性价比不如树模型。最终我选了梯度提升树作为主力模型理由有三个对表格数据天然友好、自带特征重要性输出、训练速度快且调参空间大。LightGBM和XGBoost我都试过LightGBM在大样本下训练更快XGBoost在缺省值处理上更稳健。实际项目里我以LightGBM为主XGBoost做结果交叉验证。3.2 核心参数与训练细节参数名设定值选择逻辑学习率0.01偏低的学习率配合更多迭代次数能让模型更平滑地逼近最优解树数量1500配合早停策略验证集IC不再提升时提前截断最大深度4控制单棵树的复杂度防止学到过于细碎的模式叶子节点最小样本数100强制每个叶子有足够样本支撑减少偶然规律特征采样比例0.8每棵树只随机使用80%特征增加树间多样性L2正则化系数1.0对叶子权重做收缩是控制过拟合最直接的手段训练时的目标函数我用了分位数损失而不是普通的MSE。分位数损失对标签中的极端值不那么敏感因为金融收益的尾部噪声极大如果让模型去精确拟合那些极端值会严重干扰对主体规律的捕捉。设定分位数为0.5时相当于用中位数回归的思路做截面排序实测比MSE稳定很多。3.3 防止过拟合的三板斧金融数据建模最怕的就是过拟合。我在这个项目里用了一套组合拳效果非常好。第一板斧是严格的时间序列交叉验证。我把训练集再按时间切成五段每次用前四段训练、最后一段验证轮转五次。每次验证都严格保证训练数据时间在前、验证数据时间在后绝不允许任何交叉折叠出现时间倒挂。模型在所有五折里IC都稳定的特征才会被保留。第二板斧是特征级冗余检测。我计算了特征间的Spearman相关系数把相关系数高于0.85的特征合并或者只保留其一。比如均线偏离20日和均线偏离60日相关性很高就只保留一个。这一步有效降低了模型把权重分散在共线特征上的问题也让特征重要性更加可读。第三板斧是空模型检验。我把标签随机打乱后重新训练一遍同样的模型观察它的IC和特征重要性分布。如果真实模型和空模型的表现差距不明显说明模型学到的大概率是随机噪声。这个检验简单又有效很多看起来不错的模型就是在这里现了原形。4. 完整实操从原始数据到信号的流水线4.1 整体流程架构整套流水线我用Python实现核心依赖是pandas、numpy、lightgbm和sklearn。流程分为五个模块数据接入、特征计算、样本生成、模型训练、信号输出与回测。import pandas as pd import numpy as np import lightgbm as lgb from sklearn.preprocessing import QuantileTransformer # 模拟数据加载行情数据、财务数据、成分股快照 price_df pd.read_parquet(daily_price.parquet) financial_df pd.read_parquet(quarterly_financial.parquet) index_constituents pd.read_csv(index_constituents_snapshot.csv) # 统一日期格式并排序 price_df[trade_date] pd.to_datetime(price_df[trade_date]) price_df price_df.sort_values([stock_code, trade_date]).reset_index(dropTrue)上面这段代码是整个流水线的起点。数据接入模块的职责很单一就是把不同来源的数据统一成标准格式并在源头完成基本校验日期是否连续、股票代码是否有重复、收益率是否有明显异常值。4.2 特征计算与标准化特征计算我写了一个统一的功能函数模块。每个特征族有独立的计算函数最后用一个主函数汇总。这样做的好处是新增特征时不需要改动主流程只要在特征族字典里注册一下即可。def calculate_technical_features(price_df): # 动量类 price_df[ret_5d] price_df.groupby(stock_code)[close].pct_change(5) price_df[ret_20d] price_df.groupby(stock_code)[close].pct_change(20) price_df[ma20] price_df.groupby(stock_code)[close].transform(lambda x: x.rolling(20).mean()) price_df[ma60] price_df.groupby(stock_code)[close].transform(lambda x: x.rolling(60).mean()) price_df[ma20_bias] price_df[close] / price_df[ma20] - 1 price_df[ma60_bias] price_df[close] / price_df[ma60] - 1 # 波动类 price_df[daily_ret] price_df.groupby(stock_code)[close].pct_change() price_df[realized_vol_20d] price_df.groupby(stock_code)[daily_ret].transform( lambda x: x.rolling(20).std() * np.sqrt(252) ) price_df[vol_status] price_df.groupby(stock_code)[realized_vol_20d].transform( lambda x: x / x.rolling(120).median() ) return price_df标准化环节我用的是QuantileTransformer把特征映射到0到1之间的均匀分布。相比z-score标准化分位数变换对异常值不敏感而且能把偏态分布的特征拉成比较规整的分布对树模型的分裂计算也更友好。所有特征计算完成后我会生成一个特征清单文件记录每个特征的计算口径、缺失率、在训练集上的均值方差。这个清单看起来笨拙但在模型上线后排查数据异常时能派上大用场。4.3 模型训练与特征筛选模型训练采用滚动训练方式。核心代码如下def train_model(train_feature, train_label, valid_feature, valid_label): train_data lgb.Dataset(train_feature, labeltrain_label) valid_data lgb.Dataset(valid_feature, labelvalid_label, referencetrain_data) params { objective: quantile, alpha: 0.5, learning_rate: 0.01, num_leaves: 31, max_depth: 4, min_data_in_leaf: 100, feature_fraction: 0.8, lambda_l2: 1.0, verbose: -1, seed: 42, } model lgb.train( params, train_data, num_boost_round1500, valid_sets[valid_data], callbacks[lgb.early_stopping(100), lgb.log_evaluation(200)], ) return model训练完成后我按特征重要性做两轮筛选。第一轮删除重要性始终为0的特征第二轮删除在滚动训练中重要性排名波动过大的特征。波动过大的特征是模型不稳定的信号删除后能显著降低不同训练窗口间的预测差异。用LightGBM自带的特征重要性作为筛选依据很容易被单一模型视角误导。所以我额外做了置换重要性检验把某个特征在验证集上随机打乱观察IC下降幅度。下降幅度越大说明该特征对预测贡献越真实。两套方法取交集作为最终保留特征。4.4 回测与评估回测我采用滑窗方式每个调仓日模型输出全部候选股票的预测分数按分数从高到低构建等权组合持有20个交易日然后换仓。手续费和冲击成本统一按双边千分之二估算。评估指标核心看三个IC、ICIR和分层回测。IC是预测分数与未来20日相对收益的Spearman相关系数衡量的是模型排序能力的稳定性。ICIR是IC的均值除以标准差我一般要求大于0.3才认为策略可用。分层回测更有业务含义。按预测分数从高到低分成五组每组等权持有观察最高组和最低组的收益差。这个差值越大说明模型的单调性越强策略执行时的容错度就越高。我自己项目的实测结果是测试集上IC均值在0.06左右ICIR约0.4多空组合年化收益差在12%左右。这个数字不算惊艳但胜在稳定换手率也低扣掉交易成本后依然有正收益。说实话做量化久了就知道稳定比暴利重要得多。5. 常见问题与排查技巧实录5.1 典型问题速查表问题现象可能原因排查手段回测IC很高但实盘失效特征穿越、幸存者偏差检查特征是否用了未来数据、股票池是否包含已退市股票训练集表现好但验证集崩盘时间切分不当、过拟合改用严格时间序CV添加正则化参数特征重要性前几名全是技术面基本面特征构造不够有区分度检查行业中性化和缺失值处理增加改善类和预期类特征预测分数集中在极端值附近标签存在极端噪声改用分位数损失或对标签做winsorize缩尾模型每期输出股票高度重叠换手率过低、模型对特征不敏感增加截面多样性特征或适当提高学习率不同随机种子下结果波动很大样本量不足、噪声过大增加样本量使用多模型集成后取平均输出回测IC高但实盘失效这个现象我单独多聊几句。它出现最多的原因就是特征穿越。最常见的一种是用当天收盘后才知道的数据却在当天开盘价上做了交易决策。这类错误在回测代码里非常隐蔽因为整体逻辑跑得通数字也很好看但一到实盘就全部崩塌。排查方法也很直接在特征计算函数里逐变量检查数据的时间戳是否严格早于交易信号时间戳。5.2 几个值得反复提的经验第一不要把模型预测值直接当作仓位依据。我的习惯是把预测分数先做截面排名再映射到目标仓位权重区间。模型输出的绝对值受标签分布影响很大截面排名是更稳定的信号形式。第二特征的更新频率要匹配调仓频率。我最初把日频技术面特征和季度基本面特征拼接后直接训练结果模型大量依赖基本面改善类特征但这些特征在季度中期根本不会更新导致模型在两次财报之间的表现明显回落。解决办法是手动把特征的更新日期记录下来训练时按实际可得时间对齐。第三训练数据不是越多越好。我试过把历史数据从5年扩展到10年IC反而略有下降。原因是市场结构在变早期的规律对当前市场的参考价值有限。带时间衰减权重的样本加权方案比盲目堆数据更有效。第四要做残差分析。模型预测值和实际收益的残差中如果残差和某个特征仍然有明显相关性说明该特征的信息没有被充分学习。我通常会把残差按行业、市值、波动率分组统计找到模型系统性失效的细分区间然后在特征工程上定向补强。机器学习增强技术面和基本面分析做到最后拼的不是模型有多高级而是对数据的理解有多深。我个人在实际操作中的体会是先花70%的时间把数据口径、特征逻辑和评估框架打磨扎实再用剩下的30%去调模型效率和效果都会好很多。这个项目后续还可以往两个方向扩展一是引入分钟级数据做日内信号增强二是把模型输出的排序信号和组合优化器打通直接生成满足行业中性、换手约束的最终持仓。如果大家也在折腾类似的方向欢迎就特征构造和评估细节多交流。