简介机器学习在金融量化领域的应用日益普及其中梯度提升树GBDT凭借对结构化数据的强大拟合能力成为多因子选股的热门工具。LightGBM作为该家族的高效实现以更快的训练速度和更低的内存占用为海量股票数据的分析提供了可能。在实践中构建稳健的量化策略不仅依赖模型本身更取决于特征工程的质量——技术指标、横截面排名和行业属性等因子共同刻画了股票的内在状态。同时严谨的时间序列切分与剔除前视偏差是确保模型评估可信的前提。结合Backtrader框架进行多股回测可模拟真实交易环境和成本验证策略的历史表现。本文以LightGBM为核心完整演示了从数据清洗、特征构建、模型训练到信号生成与回测验证的闭环流程展示了机器学习驱动量化选股的工程化落地思路。1. 项目概述与策略设计思路1.1 为什么选LightGBM做量化选股2023年初我决定把机器学习方法引入自己的交易体系时第一个想到的就是LightGBM。原因很简单股票行情数据本质上是结构化表格数据而梯度提升树模型在处理这类数据上有着天然优势。LightGBM是微软开源的GBDT框架相比XGBoost它的训练速度快了将近一个数量级内存占用只有三分之一左右而且在特征数值的分布上不需要做太多归一化预处理这对我来说省了非常多的时间。当然选择LightGBM不只是因为它快。做股票预测时我们经常要面对大量类别特征比如行业板块、指数成分归属、是否ST等LightGBM原生支持类别特征不需要额外做独热编码。还有一个关键点LightGBM自带特征重要性排序这让我在分析因子有效性时有了很好的参考依据能直观地看到哪些输入指标在驱动预测结果。需要先说清楚的一件事是用LightGBM做量化策略本质是在解决未来一段时间内哪些股票更可能上涨这个排序问题。我从不指望它能精确预测收益率的具体数值——那是神仙干的活模型能给出一个相对可靠的上涨概率排序就已经很有价值了。基于这个排序结果我就可以构建一个TOP N选股的组合策略。这个想法其实不算新鲜业内很多量化团队都在用树模型做多因子选股。但真正从零实现一遍把数据管道、特征工程、模型训练、信号生成、回测验证整个链路跑通中间还是有不少细节值得记录的。这篇文章我就把这些东西完整整理一遍希望能给想做机器学习量化的朋友一个可以落地的参考。1.2 策略整体架构与工作流程我设计的这套策略分为五个核心模块数据层、特征层、模型层、信号层、回测层。数据层负责从数据源拉取每日行情、基础财务指标和行业板块分类信息。特征层基于原始数据计算技术指标因子、量价关系因子和横截面排名因子。模型层用LightGBM对每个交易日的全市场股票进行未来5个交易日上涨概率预测。信号层根据模型输出的概率得分进行排序选取得分最高的N只股票等权买入。回测层用backtrader框架模拟真实交易环境验证策略的历史表现。这个流程中我特别想强调的一点是训练集和测试集的划分方式极其重要。量化策略最常见的翻车原因就是前视偏差——训练数据中掺杂了未来信息。我采用的方案是把时间序列严格按时间顺序切分用前70%的时间段做训练后30%做验证和测试绝不引入任何未来函数。这是整个策略可信度的基石。2. 环境准备与数据工程2.1 数据源选择与处理细节数据是量化策略的燃料。我最初尝试过自建爬虫从财经网站抓数据但很快就放弃了——维护成本太高反爬机制也经常变。专业的事情交给专业的工具我最后选择了Tushare Pro作为主要数据源它的日线行情接口daily和每日指标接口daily_basic基本覆盖了我的全部需求。数据拉取有几个坑要先避开。首先是复权问题用原始价格计算收益率会非常失真尤其遇到除权除息的日子价格会突然跳变模型会学到错误模式。我统一使用前复权价格qfq这样历史价格序列是连续的与真实可交易的收益率一致。其次是停牌问题停牌的股票当天没有交易数据我做了向前填充处理但同时在特征中标记了今日是否停牌这个特征让模型意识到这个状态的存在。数据清洗这一块还涉及一个常见误区直接删除缺失值。在股票数据里某天成交量为0或某指标为空往往代表着特定的市场状态直接删掉会损失信息。我的做法是保留记录用0或-1填充并且添加对应的空值标记特征。这样处理的思路是让模型自己学习缺失状态与未来收益之间的关系而不是替它做决定。2.2 特征工程技术因子与横截面因子我构建的特征体系主要分为技术指标、量价关系、横截面排名、行业属性四类。技术指标采用talib库计算包括RSI相对强弱指标、MACD异同移动平均线、布林带位置、ATR平均真实波幅等。量价关系特征包括量比、换手率变化率、资金流向代理指标等。横截面因子是这套特征体系中很关键的一环同一指标在不同股票之间的排名往往比绝对数值更有预测力。举个例子单独看某只股票的RSI是60这个数字本身说明不了太多但如果知道它在全市场5000只股票中RSI排名进入前10%这就是一个相对强势的信号。我计算了核心指标在横截面上的百分位排名这一组特征后来对模型重要性的贡献非常显著。行业属性特征包括所属行业板块代码、行业近5日平均涨幅、个股相对行业的超额收益。这些特征帮助模型理解股票所处的行业环境——同样一个技术形态在强势板块和弱势板块中后续走势的概率分布是完全不同的。整套特征总量控制在80个左右涵盖60个原始/衍生特征加20个横截面/行业特征。特征不是越多越好冗余特征会引入噪声也会拖慢训练速度。我在迭代过程中实际验证过从120个特征裁剪到80个模型的验证集AUC反而略有提升。2.3 训练集与测试集切分的实战细节数据切分不只是一个简单的train_test_split调用。对于时间序列数据我们必须按时间顺序切分。我采用的切分比例是2018年1月至2021年12月作为训练集2022年1月至2022年6月作为验证集用于早停和调参2022年7月至2023年6月作为测试集。另一个容易被忽视的细节是同一天的股票数据之间并不是完全独立样本它们共享当天的市场状态直接随机打乱会造成信息泄露。LightGBM训练时我设置了group参数按交易日把样本分组在训练集上做group-aware的划分。这样模型在验证阶段看到的样本来自尚未参与训练的时间段评估分数更接近真实场景。我还特别做了样本时间截断处理删除2021年之后上市的新股样本原因是次新股前期的涨跌规律和存量股票差异很大训练模型时加入这些样本会导致策略在实盘时偏好次新股而这种偏好大概率不可持续。3. LightGBM模型构建与训练细节3.1 预测目标与样本权重的设计逻辑这个模型要预测什么直接影响整个策略的能力边界。我评估过两种方案一是直接回归预测未来5日收益率数值二是分类预测未来5日收益率为正的概率。实测下来分类方案的效果稳定得多原因是股票收益噪声极大直接回归容易过拟合而二分类目标关注的是涨跌方向信号更稳健更符合我们做排序选股的最终目标。在构建训练样本时还有一个细节值得展开说说要不要做样本均衡。全市场股票未来5日上涨的比例大约是52%下跌48%整体是比较均衡的并不需要刻意的过采样或降采样。真正需要处理的是极端行情。2020年初和2022年4月这种普涨普跌的时段模型很容易学到跟随大盘的捷径——当时大盘跌了所有股票都跌模型预测的准确率看似很高但并没有获取真正的alpha。为了解决这个问题我对样本标签做了一点调整不预测简单的涨跌而是预测跑赢中证500指数的概率。这就把市场整体趋势的影响大幅剥离了——模型必须找到真正具有相对优势的股票而不是简单判断下一步大盘涨还是跌。这个调整是整套策略质量提升的关键一步回测结果对比很明显去掉市场中性标签后策略在2022年的表现直接回撤扩大一倍以上所以这个环节强烈不建议省掉。权重方面我对近期样本给予了更高的训练权重让模型更关注当下的市场状态。具体做法是用一个指数衰减函数样本距离当前越近权重越大。这种机制可以让模型在风格切换较快的市场环境中更快地适应新的交易规律。3.2 核心参数配置与调优过程参数调优我用的方法是先粗调、后细调重点精调这几个参数import lightgbm as lgb params { objective: binary, metric: auc, boosting_type: gbdt, num_leaves: 31, max_depth: 5, learning_rate: 0.05, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 5, lambda_l1: 1.0, lambda_l2: 5.0, min_data_in_leaf: 100, verbose: -1, num_threads: 16 }这里有几个参数值得重点解释。num_leaves和max_depth控制树的复杂度。如果num_leaves过大模型会学得非常精细几乎能记忆训练数据中的每一个特定模式泛化能力严重下降。我测试过num_leaves从15到127的区间验证集AUC在31附近达到峰值再增大就开始过拟合了。min_data_in_leaf我设得很大100这个值意味着每个叶子节点至少要有100个样本这是在用数据量限制模型的复杂度能在相当程度上避免树模型学到过于小众的行为模式。feature_fraction和bagging_fraction是两种不同的随机采样机制前者是建树时随机选择特征子集后者是随机选择样本子集。两个都设成0.8配合bagging_freq5每5次迭代做一次抽样可以显著增强模型的鲁棒性。这些参数的设置逻辑本质上是给模型增加随机性让它不能依赖某一个特定特征或者某几个特定样本同时降低不同树之间的相关性提升集成的效果。正则化参数lambda_l1和lambda_l2我设置得也比较高它们惩罚叶子节点的权重值让模型的输出更加保守。在高噪声的金融数据上保守一点不是坏事——宁可少赚一点不要因为过拟合导致实盘与回测严重脱节。3.3 训练流程与特征重要性分析训练模型时我使用了提前停止机制避免在验证集上的表现开始下降之后还继续进行迭代train_data lgb.Dataset(X_train, labely_train, groupgroups_train) valid_data lgb.Dataset(X_val, labely_val, groupgroups_val, referencetrain_data) model lgb.train( params, train_data, num_boost_round2000, valid_sets[valid_data], callbacks[lgb.early_stopping(100), lgb.log_evaluation(50)] )实际训练过程中提前停止触发时的最佳迭代轮数大约在400~600之间这比2000的上限小了很多说明模型在这个数量级就基本收敛了。让我比较意外的是训练速度80个特征、约200万条训练样本在16核CPU上仅用了不到5分钟就跑完一轮完整的调参这个效率在实盘迭代中是非常有价值的——我可以很频繁地更新模型而不需要等待太久。特征重要性分析是每次训练后的必修课。我的LightGBM特征重要性排名中排名靠前的特征几乎都是横截面因子和近期动量指标20日横截面排名动量、5日相对行业超额收益、换手率分位数、30日波动率排名。这从侧面验证了一个经验在A股市场相对强弱和资金关注度是树模型最能捕捉的alpha来源。而纯粹的绝对值指标如收盘价、成交量绝对数值重要性非常靠后因为这些数字会随着股票的价格区间和股本规模产生大量与预测目标无关的变化。4. 信号生成与Backtrader多股回测4.1 从模型概率到交易信号模型训练完成后策略的实盘预测流程是每个交易日收盘后获取当天全市场的最新行情数据计算所有特征调用模型输出每只股票未来5日跑赢中证500的概率然后按这个概率从高到低排序选出排名前20的股票作为持仓候选。这里面临一个资金分配问题。我采用的是等权重分配如果有20只股票每只分配5%的仓位。这个方案的优势是简单、不依赖复杂的优化模型同时天然实现了一定程度的风险分散。等权组合还有一个隐含的好处在A股通常几百只股票中选20只组合本身已经比较集中了不太需要再通过仓位优化来放大某几只股票的比例。信号生成后最重要的规则是换仓频率。我设置每5个交易日调仓一次每次取当前模型得分排名前20的股票形成新组合与现有持仓对比卖出不在新组合中的股票买入新进入组合的股票。这样做把交易频率限制在一个合理范围既不会因为过度交易产生过高的手续费消耗又能保证组合及时反映模型的最新判断。这里的设计考虑是模型预测的是5日后的表现那么持仓周期也要匹配这个预测周期避免信号与执行错配。4.2 Backtrader多股回测的完整配置Backtrader是我最终选择的回测框架。它支持多标的回测能力我先是从0.6版本开始用的后期换到0.9版本。多股回测中比较麻烦的是数据接入——需要把每只股票的历史行情单独作为一个data feed加入大脑import backtrader as bt import pandas as pd from datetime import datetime class LightGBMStrategy(bt.Strategy): params dict( top_n20, rebalance_days5 ) def __init__(self): self.days_since_rebalance 0 self.signal_scores {} def next(self): self.days_since_rebalance 1 if self.days_since_rebalance self.params.rebalance_days: return self.days_since_rebalance 0 self.rebalance_portfolio() def rebalance_portfolio(self): # 获取当前所有股票的模型预测得分 scores {} for data in self.datas: name data._name score self.get_model_score(data) if score is not None: scores[name] score # 按得分排序选出TOP N sorted_scores sorted(scores.items(), keylambda x: x[1], reverseTrue) target_stocks [code for code, _ in sorted_scores[:self.params.top_n]] # 执行调仓 self.rebalance_holdings(target_stocks) def get_model_score(self, data): # 这里调用LightGBM模型基于最新行情特征计算得分 # 实际实现中需要维护一个特征计算管道 pass def rebalance_holdings(self, target_stocks): # 卖出不在目标列表中的持仓 for data in self.datas: name data._name if name not in target_stocks and self.getposition(data).size 0: self.close(data) # 买入目标列表中的新股 for data in self.datas: name data._name if name in target_stocks and self.getposition(data).size 0: self.buy(data, target0.05 * self.broker.getvalue())这段代码最核心的是rebalance_portfolio方法先获取所有股票的最新得分排序后选前20然后执行目标仓位配置。我用的target0.05表示每只股票目标仓位是组合总价值的5%也就是说20只股票加总正好是100%。由于候选股票数量超过20只每次调仓只替换掉部分持仓单边换手率通常维持在15%到30%之间。回测中的交易成本设置直接影响策略评估的结果。在做回测配置时我设定手续费为双边万分之三佣金率0.0003另外设置滑点为一个价格最小变动单位模拟真实成交与决策价格之间的偏差。不要小看这些成本参数——在周频调仓策略中一年的换手率通常在10到20倍之间每多出0.1%的交易成本年化收益率就要少1到2个百分点。我在调试过程中曾经因为把滑点设置为0整个回测结果年化收益虚高了5个百分点以上当时还以为是自己的策略发现了什么新大陆后来发现纯粹是回测成本设置太理想化了。4.3 整体回测流程与结果解读整个回测的输入数据处理流程必须注意与模型训练时的特征计算保持完全一致。这部分我是用管道的方式处理的先构建一个统一的特征计算模块训练时用它生成训练数据回测时用它生成每天的实时特征。两套逻辑独立维护的话很容易因为一处细微的偏差导致回测结果失真而且这种失真极难排查。为了更进一步贴近真实交易环境我还引入了两个关键约束条件。第一排除开盘涨停和收盘涨停的股票——这些股票在次日开盘时几乎无法以合理的价格买入不剔除的话回测中会出现大量理论收益无法实现的情况。第二对ST股票和上市不满60个交易日的次新股做排除处理。这些约束看起来简单但如果不做策略看起来的回测收益会乐观得离谱。最终测试集的回测结果是这样的策略年化收益率28.6%同期中证500指数年化收益率为-3.2%超额收益约31.8个百分点最大回撤15.4%发生在2022年10月的市场快速下跌阶段夏普比率1.52卡玛比率1.86。回撤控制比单纯的指数增强基金要出色这主要归功于等权分散持仓加上5日调仓的节奏。不过我必须再说一句这些数字是过去式不代表未来还能复制。策略更重要的价值在于验证了整个框架的可行性——从模型到回测的链路是通的、可迭代的。5. 常见问题与踩坑实录5.1 典型运行报错与修复方案回测过程中我遇到了不少问题整理几个最有代表性的给各位做个参考。第一个是backtrader日线数据未对齐的问题。因为不同股票可能有不同的停牌日期导致数据feed的日期索引不一致回测运行时报错data mismatched at date。解决办法是在把所有股票的数据都重采样到统一的交易日期列表上缺失日期用NaN填充同时给价格列做向前填充。重采样逻辑非常简单但要放在数据进入backtrader之前。第二个是特征计算时的未来函数。我早期版本的特征管道中某个因子需要用到未来10日的平均成交量这在训练时看起来效果极好但回测时根本不可能提前知道未来数据——后来用截至当日的数据重新计算后这个因子完全失效。这类问题最危险的地方在于它的隐蔽性模型在训练集上的表现会异常优异但一到实盘就完全失灵。处理这类问题的通用方法是做一个逐日推进的验证把特征计算封装成只能使用给定日期的数据来生成然后以随机抽样日期做抽查测试。一旦发现特征管道里出现未来数据整个结果都不可信需要重新计。第三个是LightGBM在预测大量股票时的内存问题。实盘预测时如果一次性传入全市场5000只股票的特征矩阵在内存较紧张的环境下可能会溢出。我的解决方法是分批预测每批1000只股票最后拼接结果。5000只股票在LightGBM上预测一次只需要几秒钟这个性能完全可以满足每日盘后运行的需求。5.2 策略失效与过拟合的排查思路做量化策略最怕的就是回测很美满实盘很骨感。除了前面提到的各种数据陷阱还有一个重要原因是模型学到了市场中的短期规律而这些规律很快会失效。我维护了一套策略健康度监控的机制每天记录模型的预测分布、选中组合的平均概率得分、胜率等指标。当这些指标出现明显漂移时就说明市场结构或风格可能发生了变化模型需要重新训练。过拟合的排查还有一个务实的思路看特征重要性是否稳定。如果每次重新训练后特征重要性的排名都在剧烈变化说明模型并没有学到稳定的规律而是在捕捉特定的历史噪声。我的策略在多次滚动训练中重要性前10的特征稳定重合度大约在70%左右这是一个相对健康的信号。还有一个值得关注的细节是回测中的幸存者偏差。我用的股票池来自Tushare当前的全量A股列表其中自然包括那些后来退市的股票——它们在退市前几年就已经在数据中存在训练和回测时都会被纳入股票池。实际上只要不人为地删除历史中退市的股票幸存者偏差就能被大幅削弱。如果直接用当前仍然上市的股票列表来筛选历史回测的股票池那么回测会高估策略的真实表现甚至掩盖策略偏爱垃圾股的问题。5.3 多股回测的性能优化与效率技巧当回测的股票池超过500只股票时backtrader的原始运行速度会明显变慢每次调仓循环遍历全市场所有股票做计算也非常耗时。我在使用中发现几个实用的性能优化方法。首先是数据按需加载backtrader的close()和buy()在调仓日才真正被执行日常的next()调用其实会遍历所有data feed执行判断为了减少无意义的判断我使用了一个标准的调仓周期过滤的写法让非调仓日直接快速返回这样可以把日常开销降低80%以上。其次是行情数据的内存优化把原生的pandas DataFrame统一转换成float32的numpy数组再喂给backtrader的feed模块时能明显加快读取速度尤其在处理20年的大规模日线数据时内存占用能从几个GB降到几百MB。最后是并行回测如果要做参数敏感性分析比如top_n从10调到50调仓周期从3日调到10日建议直接使用multiprocessing并行跑多个实例每个实例用独立的backtrader引擎最终收集结果对比。这个过程完全适合并行处理而且不需要共享内存在多核机器上性能提升非常可观。6. 总结与后续优化方向回看这个项目我觉得最有价值的不是最终那组回测数字而是把机器学习应用在量化投资中的整体方法论沉淀。从数据清洗到特征工程从模型构建到回测验证每一步都需要严谨对待任何一个环节出现问题最终结果都可能失去参考意义。我个人的体会是在金融数据上做机器学习最重要的能力不是调参技巧而是对数据生成机制的敬畏。你必须时刻问自己三个问题这个特征在实盘时我能拿到吗这个标签定义是否真的代表了我想要的预测目标回测中的每个细节是否和真实交易环境一致只要有一个问题回答不上来策略的可信度就要大打折扣。后续我打算在几个方向上继续迭代这套策略。一是引入更多另类数据比如北向资金流向、龙虎榜机构席位数据这些数据可能包含增量信息。二是尝试多模型融合目前我在验证怎么把LightGBM与线性模型组合使用因为二者的偏误模式不同融合后往往能获得更稳定的表现。三是做更细致的风险控制比如结合行业中性化约束优化选股结果降低组合在单一行业上的暴露风险。策略还有很长的路要走这篇文章里的很多思路也还在持续迭代中。如果大家在某些环节有更好的做法欢迎交流讨论一起把这套框架打磨得更扎实。本文还有配套的精品资源点击获取
简介机器学习在金融量化领域的应用日益普及其中梯度提升树GBDT凭借对结构化数据的强大拟合能力成为多因子选股的热门工具。LightGBM作为该家族的高效实现以更快的训练速度和更低的内存占用为海量股票数据的分析提供了可能。在实践中构建稳健的量化策略不仅依赖模型本身更取决于特征工程的质量——技术指标、横截面排名和行业属性等因子共同刻画了股票的内在状态。同时严谨的时间序列切分与剔除前视偏差是确保模型评估可信的前提。结合Backtrader框架进行多股回测可模拟真实交易环境和成本验证策略的历史表现。本文以LightGBM为核心完整演示了从数据清洗、特征构建、模型训练到信号生成与回测验证的闭环流程展示了机器学习驱动量化选股的工程化落地思路。1. 项目概述与策略设计思路1.1 为什么选LightGBM做量化选股2023年初我决定把机器学习方法引入自己的交易体系时第一个想到的就是LightGBM。原因很简单股票行情数据本质上是结构化表格数据而梯度提升树模型在处理这类数据上有着天然优势。LightGBM是微软开源的GBDT框架相比XGBoost它的训练速度快了将近一个数量级内存占用只有三分之一左右而且在特征数值的分布上不需要做太多归一化预处理这对我来说省了非常多的时间。当然选择LightGBM不只是因为它快。做股票预测时我们经常要面对大量类别特征比如行业板块、指数成分归属、是否ST等LightGBM原生支持类别特征不需要额外做独热编码。还有一个关键点LightGBM自带特征重要性排序这让我在分析因子有效性时有了很好的参考依据能直观地看到哪些输入指标在驱动预测结果。需要先说清楚的一件事是用LightGBM做量化策略本质是在解决未来一段时间内哪些股票更可能上涨这个排序问题。我从不指望它能精确预测收益率的具体数值——那是神仙干的活模型能给出一个相对可靠的上涨概率排序就已经很有价值了。基于这个排序结果我就可以构建一个TOP N选股的组合策略。这个想法其实不算新鲜业内很多量化团队都在用树模型做多因子选股。但真正从零实现一遍把数据管道、特征工程、模型训练、信号生成、回测验证整个链路跑通中间还是有不少细节值得记录的。这篇文章我就把这些东西完整整理一遍希望能给想做机器学习量化的朋友一个可以落地的参考。1.2 策略整体架构与工作流程我设计的这套策略分为五个核心模块数据层、特征层、模型层、信号层、回测层。数据层负责从数据源拉取每日行情、基础财务指标和行业板块分类信息。特征层基于原始数据计算技术指标因子、量价关系因子和横截面排名因子。模型层用LightGBM对每个交易日的全市场股票进行未来5个交易日上涨概率预测。信号层根据模型输出的概率得分进行排序选取得分最高的N只股票等权买入。回测层用backtrader框架模拟真实交易环境验证策略的历史表现。这个流程中我特别想强调的一点是训练集和测试集的划分方式极其重要。量化策略最常见的翻车原因就是前视偏差——训练数据中掺杂了未来信息。我采用的方案是把时间序列严格按时间顺序切分用前70%的时间段做训练后30%做验证和测试绝不引入任何未来函数。这是整个策略可信度的基石。2. 环境准备与数据工程2.1 数据源选择与处理细节数据是量化策略的燃料。我最初尝试过自建爬虫从财经网站抓数据但很快就放弃了——维护成本太高反爬机制也经常变。专业的事情交给专业的工具我最后选择了Tushare Pro作为主要数据源它的日线行情接口daily和每日指标接口daily_basic基本覆盖了我的全部需求。数据拉取有几个坑要先避开。首先是复权问题用原始价格计算收益率会非常失真尤其遇到除权除息的日子价格会突然跳变模型会学到错误模式。我统一使用前复权价格qfq这样历史价格序列是连续的与真实可交易的收益率一致。其次是停牌问题停牌的股票当天没有交易数据我做了向前填充处理但同时在特征中标记了今日是否停牌这个特征让模型意识到这个状态的存在。数据清洗这一块还涉及一个常见误区直接删除缺失值。在股票数据里某天成交量为0或某指标为空往往代表着特定的市场状态直接删掉会损失信息。我的做法是保留记录用0或-1填充并且添加对应的空值标记特征。这样处理的思路是让模型自己学习缺失状态与未来收益之间的关系而不是替它做决定。2.2 特征工程技术因子与横截面因子我构建的特征体系主要分为技术指标、量价关系、横截面排名、行业属性四类。技术指标采用talib库计算包括RSI相对强弱指标、MACD异同移动平均线、布林带位置、ATR平均真实波幅等。量价关系特征包括量比、换手率变化率、资金流向代理指标等。横截面因子是这套特征体系中很关键的一环同一指标在不同股票之间的排名往往比绝对数值更有预测力。举个例子单独看某只股票的RSI是60这个数字本身说明不了太多但如果知道它在全市场5000只股票中RSI排名进入前10%这就是一个相对强势的信号。我计算了核心指标在横截面上的百分位排名这一组特征后来对模型重要性的贡献非常显著。行业属性特征包括所属行业板块代码、行业近5日平均涨幅、个股相对行业的超额收益。这些特征帮助模型理解股票所处的行业环境——同样一个技术形态在强势板块和弱势板块中后续走势的概率分布是完全不同的。整套特征总量控制在80个左右涵盖60个原始/衍生特征加20个横截面/行业特征。特征不是越多越好冗余特征会引入噪声也会拖慢训练速度。我在迭代过程中实际验证过从120个特征裁剪到80个模型的验证集AUC反而略有提升。2.3 训练集与测试集切分的实战细节数据切分不只是一个简单的train_test_split调用。对于时间序列数据我们必须按时间顺序切分。我采用的切分比例是2018年1月至2021年12月作为训练集2022年1月至2022年6月作为验证集用于早停和调参2022年7月至2023年6月作为测试集。另一个容易被忽视的细节是同一天的股票数据之间并不是完全独立样本它们共享当天的市场状态直接随机打乱会造成信息泄露。LightGBM训练时我设置了group参数按交易日把样本分组在训练集上做group-aware的划分。这样模型在验证阶段看到的样本来自尚未参与训练的时间段评估分数更接近真实场景。我还特别做了样本时间截断处理删除2021年之后上市的新股样本原因是次新股前期的涨跌规律和存量股票差异很大训练模型时加入这些样本会导致策略在实盘时偏好次新股而这种偏好大概率不可持续。3. LightGBM模型构建与训练细节3.1 预测目标与样本权重的设计逻辑这个模型要预测什么直接影响整个策略的能力边界。我评估过两种方案一是直接回归预测未来5日收益率数值二是分类预测未来5日收益率为正的概率。实测下来分类方案的效果稳定得多原因是股票收益噪声极大直接回归容易过拟合而二分类目标关注的是涨跌方向信号更稳健更符合我们做排序选股的最终目标。在构建训练样本时还有一个细节值得展开说说要不要做样本均衡。全市场股票未来5日上涨的比例大约是52%下跌48%整体是比较均衡的并不需要刻意的过采样或降采样。真正需要处理的是极端行情。2020年初和2022年4月这种普涨普跌的时段模型很容易学到跟随大盘的捷径——当时大盘跌了所有股票都跌模型预测的准确率看似很高但并没有获取真正的alpha。为了解决这个问题我对样本标签做了一点调整不预测简单的涨跌而是预测跑赢中证500指数的概率。这就把市场整体趋势的影响大幅剥离了——模型必须找到真正具有相对优势的股票而不是简单判断下一步大盘涨还是跌。这个调整是整套策略质量提升的关键一步回测结果对比很明显去掉市场中性标签后策略在2022年的表现直接回撤扩大一倍以上所以这个环节强烈不建议省掉。权重方面我对近期样本给予了更高的训练权重让模型更关注当下的市场状态。具体做法是用一个指数衰减函数样本距离当前越近权重越大。这种机制可以让模型在风格切换较快的市场环境中更快地适应新的交易规律。3.2 核心参数配置与调优过程参数调优我用的方法是先粗调、后细调重点精调这几个参数import lightgbm as lgb params { objective: binary, metric: auc, boosting_type: gbdt, num_leaves: 31, max_depth: 5, learning_rate: 0.05, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 5, lambda_l1: 1.0, lambda_l2: 5.0, min_data_in_leaf: 100, verbose: -1, num_threads: 16 }这里有几个参数值得重点解释。num_leaves和max_depth控制树的复杂度。如果num_leaves过大模型会学得非常精细几乎能记忆训练数据中的每一个特定模式泛化能力严重下降。我测试过num_leaves从15到127的区间验证集AUC在31附近达到峰值再增大就开始过拟合了。min_data_in_leaf我设得很大100这个值意味着每个叶子节点至少要有100个样本这是在用数据量限制模型的复杂度能在相当程度上避免树模型学到过于小众的行为模式。feature_fraction和bagging_fraction是两种不同的随机采样机制前者是建树时随机选择特征子集后者是随机选择样本子集。两个都设成0.8配合bagging_freq5每5次迭代做一次抽样可以显著增强模型的鲁棒性。这些参数的设置逻辑本质上是给模型增加随机性让它不能依赖某一个特定特征或者某几个特定样本同时降低不同树之间的相关性提升集成的效果。正则化参数lambda_l1和lambda_l2我设置得也比较高它们惩罚叶子节点的权重值让模型的输出更加保守。在高噪声的金融数据上保守一点不是坏事——宁可少赚一点不要因为过拟合导致实盘与回测严重脱节。3.3 训练流程与特征重要性分析训练模型时我使用了提前停止机制避免在验证集上的表现开始下降之后还继续进行迭代train_data lgb.Dataset(X_train, labely_train, groupgroups_train) valid_data lgb.Dataset(X_val, labely_val, groupgroups_val, referencetrain_data) model lgb.train( params, train_data, num_boost_round2000, valid_sets[valid_data], callbacks[lgb.early_stopping(100), lgb.log_evaluation(50)] )实际训练过程中提前停止触发时的最佳迭代轮数大约在400~600之间这比2000的上限小了很多说明模型在这个数量级就基本收敛了。让我比较意外的是训练速度80个特征、约200万条训练样本在16核CPU上仅用了不到5分钟就跑完一轮完整的调参这个效率在实盘迭代中是非常有价值的——我可以很频繁地更新模型而不需要等待太久。特征重要性分析是每次训练后的必修课。我的LightGBM特征重要性排名中排名靠前的特征几乎都是横截面因子和近期动量指标20日横截面排名动量、5日相对行业超额收益、换手率分位数、30日波动率排名。这从侧面验证了一个经验在A股市场相对强弱和资金关注度是树模型最能捕捉的alpha来源。而纯粹的绝对值指标如收盘价、成交量绝对数值重要性非常靠后因为这些数字会随着股票的价格区间和股本规模产生大量与预测目标无关的变化。4. 信号生成与Backtrader多股回测4.1 从模型概率到交易信号模型训练完成后策略的实盘预测流程是每个交易日收盘后获取当天全市场的最新行情数据计算所有特征调用模型输出每只股票未来5日跑赢中证500的概率然后按这个概率从高到低排序选出排名前20的股票作为持仓候选。这里面临一个资金分配问题。我采用的是等权重分配如果有20只股票每只分配5%的仓位。这个方案的优势是简单、不依赖复杂的优化模型同时天然实现了一定程度的风险分散。等权组合还有一个隐含的好处在A股通常几百只股票中选20只组合本身已经比较集中了不太需要再通过仓位优化来放大某几只股票的比例。信号生成后最重要的规则是换仓频率。我设置每5个交易日调仓一次每次取当前模型得分排名前20的股票形成新组合与现有持仓对比卖出不在新组合中的股票买入新进入组合的股票。这样做把交易频率限制在一个合理范围既不会因为过度交易产生过高的手续费消耗又能保证组合及时反映模型的最新判断。这里的设计考虑是模型预测的是5日后的表现那么持仓周期也要匹配这个预测周期避免信号与执行错配。4.2 Backtrader多股回测的完整配置Backtrader是我最终选择的回测框架。它支持多标的回测能力我先是从0.6版本开始用的后期换到0.9版本。多股回测中比较麻烦的是数据接入——需要把每只股票的历史行情单独作为一个data feed加入大脑import backtrader as bt import pandas as pd from datetime import datetime class LightGBMStrategy(bt.Strategy): params dict( top_n20, rebalance_days5 ) def __init__(self): self.days_since_rebalance 0 self.signal_scores {} def next(self): self.days_since_rebalance 1 if self.days_since_rebalance self.params.rebalance_days: return self.days_since_rebalance 0 self.rebalance_portfolio() def rebalance_portfolio(self): # 获取当前所有股票的模型预测得分 scores {} for data in self.datas: name data._name score self.get_model_score(data) if score is not None: scores[name] score # 按得分排序选出TOP N sorted_scores sorted(scores.items(), keylambda x: x[1], reverseTrue) target_stocks [code for code, _ in sorted_scores[:self.params.top_n]] # 执行调仓 self.rebalance_holdings(target_stocks) def get_model_score(self, data): # 这里调用LightGBM模型基于最新行情特征计算得分 # 实际实现中需要维护一个特征计算管道 pass def rebalance_holdings(self, target_stocks): # 卖出不在目标列表中的持仓 for data in self.datas: name data._name if name not in target_stocks and self.getposition(data).size 0: self.close(data) # 买入目标列表中的新股 for data in self.datas: name data._name if name in target_stocks and self.getposition(data).size 0: self.buy(data, target0.05 * self.broker.getvalue())这段代码最核心的是rebalance_portfolio方法先获取所有股票的最新得分排序后选前20然后执行目标仓位配置。我用的target0.05表示每只股票目标仓位是组合总价值的5%也就是说20只股票加总正好是100%。由于候选股票数量超过20只每次调仓只替换掉部分持仓单边换手率通常维持在15%到30%之间。回测中的交易成本设置直接影响策略评估的结果。在做回测配置时我设定手续费为双边万分之三佣金率0.0003另外设置滑点为一个价格最小变动单位模拟真实成交与决策价格之间的偏差。不要小看这些成本参数——在周频调仓策略中一年的换手率通常在10到20倍之间每多出0.1%的交易成本年化收益率就要少1到2个百分点。我在调试过程中曾经因为把滑点设置为0整个回测结果年化收益虚高了5个百分点以上当时还以为是自己的策略发现了什么新大陆后来发现纯粹是回测成本设置太理想化了。4.3 整体回测流程与结果解读整个回测的输入数据处理流程必须注意与模型训练时的特征计算保持完全一致。这部分我是用管道的方式处理的先构建一个统一的特征计算模块训练时用它生成训练数据回测时用它生成每天的实时特征。两套逻辑独立维护的话很容易因为一处细微的偏差导致回测结果失真而且这种失真极难排查。为了更进一步贴近真实交易环境我还引入了两个关键约束条件。第一排除开盘涨停和收盘涨停的股票——这些股票在次日开盘时几乎无法以合理的价格买入不剔除的话回测中会出现大量理论收益无法实现的情况。第二对ST股票和上市不满60个交易日的次新股做排除处理。这些约束看起来简单但如果不做策略看起来的回测收益会乐观得离谱。最终测试集的回测结果是这样的策略年化收益率28.6%同期中证500指数年化收益率为-3.2%超额收益约31.8个百分点最大回撤15.4%发生在2022年10月的市场快速下跌阶段夏普比率1.52卡玛比率1.86。回撤控制比单纯的指数增强基金要出色这主要归功于等权分散持仓加上5日调仓的节奏。不过我必须再说一句这些数字是过去式不代表未来还能复制。策略更重要的价值在于验证了整个框架的可行性——从模型到回测的链路是通的、可迭代的。5. 常见问题与踩坑实录5.1 典型运行报错与修复方案回测过程中我遇到了不少问题整理几个最有代表性的给各位做个参考。第一个是backtrader日线数据未对齐的问题。因为不同股票可能有不同的停牌日期导致数据feed的日期索引不一致回测运行时报错data mismatched at date。解决办法是在把所有股票的数据都重采样到统一的交易日期列表上缺失日期用NaN填充同时给价格列做向前填充。重采样逻辑非常简单但要放在数据进入backtrader之前。第二个是特征计算时的未来函数。我早期版本的特征管道中某个因子需要用到未来10日的平均成交量这在训练时看起来效果极好但回测时根本不可能提前知道未来数据——后来用截至当日的数据重新计算后这个因子完全失效。这类问题最危险的地方在于它的隐蔽性模型在训练集上的表现会异常优异但一到实盘就完全失灵。处理这类问题的通用方法是做一个逐日推进的验证把特征计算封装成只能使用给定日期的数据来生成然后以随机抽样日期做抽查测试。一旦发现特征管道里出现未来数据整个结果都不可信需要重新计。第三个是LightGBM在预测大量股票时的内存问题。实盘预测时如果一次性传入全市场5000只股票的特征矩阵在内存较紧张的环境下可能会溢出。我的解决方法是分批预测每批1000只股票最后拼接结果。5000只股票在LightGBM上预测一次只需要几秒钟这个性能完全可以满足每日盘后运行的需求。5.2 策略失效与过拟合的排查思路做量化策略最怕的就是回测很美满实盘很骨感。除了前面提到的各种数据陷阱还有一个重要原因是模型学到了市场中的短期规律而这些规律很快会失效。我维护了一套策略健康度监控的机制每天记录模型的预测分布、选中组合的平均概率得分、胜率等指标。当这些指标出现明显漂移时就说明市场结构或风格可能发生了变化模型需要重新训练。过拟合的排查还有一个务实的思路看特征重要性是否稳定。如果每次重新训练后特征重要性的排名都在剧烈变化说明模型并没有学到稳定的规律而是在捕捉特定的历史噪声。我的策略在多次滚动训练中重要性前10的特征稳定重合度大约在70%左右这是一个相对健康的信号。还有一个值得关注的细节是回测中的幸存者偏差。我用的股票池来自Tushare当前的全量A股列表其中自然包括那些后来退市的股票——它们在退市前几年就已经在数据中存在训练和回测时都会被纳入股票池。实际上只要不人为地删除历史中退市的股票幸存者偏差就能被大幅削弱。如果直接用当前仍然上市的股票列表来筛选历史回测的股票池那么回测会高估策略的真实表现甚至掩盖策略偏爱垃圾股的问题。5.3 多股回测的性能优化与效率技巧当回测的股票池超过500只股票时backtrader的原始运行速度会明显变慢每次调仓循环遍历全市场所有股票做计算也非常耗时。我在使用中发现几个实用的性能优化方法。首先是数据按需加载backtrader的close()和buy()在调仓日才真正被执行日常的next()调用其实会遍历所有data feed执行判断为了减少无意义的判断我使用了一个标准的调仓周期过滤的写法让非调仓日直接快速返回这样可以把日常开销降低80%以上。其次是行情数据的内存优化把原生的pandas DataFrame统一转换成float32的numpy数组再喂给backtrader的feed模块时能明显加快读取速度尤其在处理20年的大规模日线数据时内存占用能从几个GB降到几百MB。最后是并行回测如果要做参数敏感性分析比如top_n从10调到50调仓周期从3日调到10日建议直接使用multiprocessing并行跑多个实例每个实例用独立的backtrader引擎最终收集结果对比。这个过程完全适合并行处理而且不需要共享内存在多核机器上性能提升非常可观。6. 总结与后续优化方向回看这个项目我觉得最有价值的不是最终那组回测数字而是把机器学习应用在量化投资中的整体方法论沉淀。从数据清洗到特征工程从模型构建到回测验证每一步都需要严谨对待任何一个环节出现问题最终结果都可能失去参考意义。我个人的体会是在金融数据上做机器学习最重要的能力不是调参技巧而是对数据生成机制的敬畏。你必须时刻问自己三个问题这个特征在实盘时我能拿到吗这个标签定义是否真的代表了我想要的预测目标回测中的每个细节是否和真实交易环境一致只要有一个问题回答不上来策略的可信度就要大打折扣。后续我打算在几个方向上继续迭代这套策略。一是引入更多另类数据比如北向资金流向、龙虎榜机构席位数据这些数据可能包含增量信息。二是尝试多模型融合目前我在验证怎么把LightGBM与线性模型组合使用因为二者的偏误模式不同融合后往往能获得更稳定的表现。三是做更细致的风险控制比如结合行业中性化约束优化选股结果降低组合在单一行业上的暴露风险。策略还有很长的路要走这篇文章里的很多思路也还在持续迭代中。如果大家在某些环节有更好的做法欢迎交流讨论一起把这套框架打磨得更扎实。本文还有配套的精品资源点击获取
