2022年12月20日

机器学习策略的可解释性分析

机器学习研究系列之五

投资要点：

机器学习类量化策略效果较好但无法直观理解

在前期的报告中，我们构建了利用卷积神经网络进行自动化特征抽取并通过全连接层输出分类结果的非线性择时模型，并在指数择时的场景下取得了良好的结果。但深度模型的预测过程往往被人看作是一个黑箱（Blackbox)，本文将通过构建机器学习的可解释性框架从定量的角度解释机器学习策略的内在逻辑。

? 引入可解释性框架对机器学习策略进行可解释性分析，深入理解策略收益来源

机器学习模型的可解释性一直是学术界研究的重要方向，但模型的效果和可解释性却难以权衡。例如，深度学习模型往往效果最为突出，但无法直观理解。本文介绍了当前已有的解释性框架及原理，并尝试使用SHAP框架对择时策略进行可解释性分析。

? SHAP框架适用范围较广，能够解释特征输入如何影响预测值

SHAP 框架的核心是计算特征的Shapley值，该值衡量了特征对于预测结果的贡献。通过特征的Shapley值进行分析可以判断在一次或多次预测过程中输入特征的重要程度，从而得到因子对于资产收益率的非线性相关性关系，相比于因子的IC值，因子的 Shapley 值信息含量更高。

? 风险提示

模型基于对历史数据统计，仅作为投资参考。

评级及分析师信息

证券分析师：王祥宇

SAC NO:S1120520080004

证券分析师：杨国平

SAC NO:S1120520070002

研究助理：周游

邮箱：zhouyou2@hx168.com.cn

每日免费获取报告

1、每日微信群内分享7+最新重磅报告；

2、每日分享当日华尔街日报、金融时报；

3、每周分享经济学人

4、行研报告均为公开版，权利归原作者所有，起点财经仅分发做内部学习。

扫一扫二维码
关注公号
回复：研究报告
加入“起点财经” 微信群。。

正文目录

1．机器学习模型的可解释性. 3
1.1．可解释性的定义.. 3
1.2．可解释性的重要性. 3
1.3．统计学习模型解释性较好. 4
1.4．机器学习模型的解释性框架. 5
2．卷积神经网络择时策略的可解释性分析. 8
2.1．择时策略设计思路.. 8
2.2．择时策略的构建和评估. 10
2.3．基于 SHAP 框架的策略解释性分析. 15
3．总结.. .17
4．风险提示... .18

图表目录

表1：技术指标及其含义..
表2：随机断开输入神经元比例对回测结果的影响...
表3：单个训练批次样本数对回测结果的影响... ...1
表4：训练批次对回测结果的影响... ..1
表5：优化器学习率对回测结果的影响...
表6：择时策略回测结果.. 12
表7：技术指标的权重值. ..16

1.机器学习模型的可解释性

在当前时间节点，机器学习模型的应用范围已经非常广泛。在金融、教育、医疗、交通、建筑等众多领域都展现了其强大的表示和学习能力。然而，机器学习模型决策过程的不透明性和日益增长的复杂性给实际应用带来了一定的安全性隐患和局限，让用户对模型的决策结果缺乏信任度。为了克服机器学习方法的局限性，有研究人员开始进行机器学习模型可解释的研究。本节，我们主要介绍可解释机器学习的基本理论，包含可解释性的定义、重要性、可解释的模型和可解释的机器学习方法。

1.1.可解释性的定义

可解释性（interpretability）是指以可理解的术语（understandable terms）向人类提供解释（explanations）的能力。

可理解的术语指的是构成解释的基本单元。对不同领域模型的解释需要建立在不同的领域知识上。

解释是指用某种语言来描述或注解机器学习的决策机制。理想情况下，应该用数学符号或者逻辑规则，这样的语言是最清晰。但实际上，因为可能需要一定的先验知识才能看懂这些解释语言，所以可解释性并不要求必须使用这样严谨的表示，只需要一些能够进行解释的关键元素。因此，这是可以用来对现有研究进行分类的重要角度。

Google Brain 的 Been Kim 提出了一个模型可解释性的定义：

其中是一个解释性的评价方程，E是实现可解释性的具体方法。整个过程就是让我们寻求这样一种解释方法：该方法使得给定特定的数据（Data）和针对于某种特定的任务（Task)，特定经验的人群（Human）拥有对于特定的模型（Model）最大程度上的理解。

1.2.可解释性的重要性

机器学习作为人工智能技术的重要分支，已经广泛应用在包含金融等多个场景中，成为大数据与人工智能时代的“基础能力”。而随着机器学习发展和应用的深入，模型“可解释性”的问题也越来越被公众关注。2021年出台的《个人信息保护法》，要求自动化决策应当保证决策的透明度和结果公平、公正，不得在交易条件上实行不合理的差别待遇。通过自动化决策方式做出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明。

机器学习模型通常会以可解释性为代价来换取更强大的预测能力，但有的时候，人们除了希望知道模型的预测结果，也想知道模型为什么会做出这种预测，特别是在与人类自身生命财产安全息息相关的领域，比如金融、医疗等，了解了缘由才能更确信结果的正确性，才能相信模型在部署后，会以合理的方式运行。因此，对机器学习模型进行深入剖析，解释其决策原理是必要的，佐以专家知识印证，达到对模型高可靠性的要求。

随着我国金融行业的国际化程度越来越高，金融业务越来越深入老百姓的日常生活，而监管政策也日趋审慎，监管标准日渐提高，因此，各方对常见人工智能（ArtificalIntelligence,AI）黑盒模型的透明度、模型可解释性的需求变得极其迫切——金融业务不仅需要AI提供准确的预测结果，更要打开"黑盒”，向人类展示出其中的数据要素、神经网络的推理逻辑和决策原因，让人类做出更准确的选择—这需要的正是具有可解释性的、能提供充分信息的有效决策辅助的AI系统。因此，如何实现黑盒模型的可解释、从而更好的平衡模型的性能和可解释性,成为金融行业能否广泛采用机器学习技术的重要考量。

在投资策略设计过程中，模型的可解释性尤为关键。机器学习量化策略相比于传统的线性多因子模型其非线性能力使得策略在回测过程中的良好表现也可能意味着数据挖掘/过拟合。虽然在理论上，我们有比较多的手段来减少过拟合，比如正则化，交叉验证。在深度模型中，我们可以使用Dropout、Early Stopping等方法来减少过拟合。但是如果我们无法对模型进行解释，那么我们对于策略的预期表现就很难有一个先验估计，只能通过风控系统来控制策略的预期风险。因此，当前线性模型仍然是量化策略的主流。

传统的统计学习模型往往解释性较好。下一节中，我们将介绍统计学习模型的可解释性。

1.3.统计学习模型解释性较好

实现可解释性的最简单方法是只使用创建可解释模型的算法子集。线性回归、逻辑回归和决策树是常用的可解释模型。虽然这些方法本身具有可解释性，但由于这些方法学习的关系有限，在预测方面受到了一些限制，因此，还需要更强大的模型来对任务进行预测。但这些可解释的模型，会为一些可解释的机器学习方法提供帮助。

1.3.1.线性回归模型 (Linear Regression)

线性回归模型将目标预测为特征输入的加权和，而所学习关系的线性使解释变得容易。统计学家、计算机科学家以及其他解决定量问题的人长期以来都使用线性回归模型。

线性模型可用于建模回归目标y对某些特征x的依赖性。由于学到的关系是线性的，实例的预测结果y= β+β𝑥i+.+βpxp+ε是其p个特征的加权和。参数β表示要学习的特征权重或系数，其中第一项β称为截距，不与特征相乘。e表示误差，即预测结果与真实结果之间的差。假设这些误差服从独立的正态分布。我们可以通过极大似然估计得到参数β的OLS估计为(XTX)-Xy。

1.3.2.逻辑回归模型 (Logistic Regression)

逻辑回归模型建模有两个可能结果的概率分类问题，它是线性回归模型针对分类问题的的扩展。分类的解决方案是逻辑回归。逻辑回归不是拟合直线或超平面，而是使用逻辑函数将线性方程的输出挤压到0和1之间。逻辑函数定义为logistic(n) =重的解释不同于线性回归。权重不再线性地影响概率，加权和由逻辑函数转换为概率。因此，需要为解释重新构造方程，以便只有线性项在公式的右边。通过变换得到公式 1-P(y-1) P(y=1)= odds= exp(β+βx1+..+βpxp)进而得到 oddsxj+1 odds = exp(βj(xj +1)+...一βjxj)=exp(βj)。这样得到了一个简单的特征权重exp(。可以解释为：一个特征改变i个单位将会使几率比（oddsratio）改变exp(βj)，也可以解释为：特征xj改变1个单位会增加对数几率比（logodds ratio）相应权重的值。

1.3.3.决策树模型 (Decision Tree)

线性回归和逻辑回归在特征与结果之间的关系为非线性或特征交互的情况下会失败。因此有了决策树(Decision Tree)。基于树的模型根据特征中的某些截断值多次数据分割(Split)。通过分割，可以创建数据集的不同子集，每个实例都属于一个子集。最后的子集称为终端(Terminal)或叶节点(Leaf Nodes)，中间的子集称为内部节点(Internal Nodes）或分裂节点(Split Nodes)。为了预测每个叶节点的结果，使用该节点中训练数据的平均结果。树模型可用于分类和回归。

解释很简单：从根节点开始，转到下一个节点，而边表明要查看的子集。一旦到达叶节点，该节点将表明预测的结果。所有边通过“AND”连接。解释可以为：如果特征x比阈值c[小/大]AND...，那么预测结果就是节点y中实例的平均值。

1.3.4.统计学习模型的可解释性

还有一些可解释的模型如决策规则、RuleFit、朴素贝叶斯分类器、k-最近邻等。

上述这些统计模型的解释性较好主要的原因是这些模型的输入特征与预测值通过确定的函数映射Y=f(0,X)得到，通过在函数簇{𝑓「f,0∈R}，，R为多维实数空间，中选取特定的函数映射（选择特定的θ，通过计算argmaxVθ,X，其中U为可知效用函数，也对应了模型结构)，我们可以预期特征对于预测结果的影响。但在深度模型中，f是通过误差反向传播，并通过梯度下降得到的局部最优解，深度模型的U为不可知效用函数。我们无法通过影响效用函数来影响模型的结构和输出结果。但这并不意味着，我们无法对深度模型进行解释，我们仍然可以通过描述性统计的方法对深度模型的输入特征对于结果的影响进行归纳描述，从而间接地解释特定结构深度模型的特性。在下一节中，本文将介绍现有的机器学习模型解释框架。

1.4.机器学习模型的解释性框架

1.4.1.可解释性方法分类

分类机器学习可解释性的方法有很多，大致从三个维度分类可解释性方法：

第一个维度有两类方法：主动解释（active interpretability）和被动解释（passiveinterpretability)，这个维度根据可解释性方法是否需要改变网络架构或优化过程来划分现有的方法。

被动解释过程基于训练好的网络，待解释的模型权重都已从训练集学习。之后，被动解释方法试图提取逻辑规则或提取一些可理解的模式。相比之下，主动解释方法需要在训练之前对原黑盒模型进行一些更改，例如引入额外的网络结构或修改训练过程。这些修改可以使网络变得更容易解释。最常见的情况是在损失函数中增加一个正则化项。

第二个维度通过考察解释产生的途径来分类可解释性方法，可从这个维度可以看出可解释性方法解释清晰程度的差异。第二维度的方法有四种：规则提取、隐含语义、特征归因和举例解释。逻辑规则提供了最明确的解释，而其他类型的解释可能是隐含的。例如，显著图本身只是特定输入之上的一层覆盖。通过查看显著性图，人们构造了一个解释：模型之所以做出这种预测，是因为它把注意力集中在这个具有高度影响力的部分 (输入)上。

最后一个维度，这种局部解释与全局解释的分类在目前的文献中比较普遍，其中全局可解释性意味着能够理解一个模型的整体决策逻辑，局部可解释性侧重于对个体预测的解释。局部解释通常利用目标输入，例如，特征值、梯度处的信息。但是，全局解释试图推广到尽可能广泛的输入，例如，规则学习中的顺序覆盖、特征重要性排序的边际贡献。

图1：可解释性方法分类维度

资料来源：华西证券研究所

基础的解释性框架主要有：

Partial Dependence Plot (PDP)，是最简单的解释模型，通过将特定一个特征与预测值绘制到平面上，观察不同特征值对应的预测值的分布，PDP方法能够直观地展示出单一特征的平均边际变化。Individual Conditional Expectation (ICE)与 PDP方法类似，但ICE会显示每个实例的情况。ICE 方法可以帮助解释一个特定的特征改变时，模型的预测会怎么变化。

PermutedFeatureImportance(PFI)，通过打乱特征的值后模型预测值的误差变化来衡量特征的重要性。简单理解就是如果某一个特征的值被打乱（shuffle）后，模型的预测误差显著增加，那么该特征是重要的；如果预测误差没有显著变化，那么该特征重要性较低。

上述方法主要是基于预测值对于给定特征的值变化的影响来判断特征的重要性，较为直观和基础。下面本文介绍相对复杂的两类模型，LIME 框架和 SHAP 框架。LIME 是基于可解释性模型局部近似的方法来判断模型的特性。SHAP框架是基于样本的预测贡献来判断单个样本和特征的贡献来判断特征对于模型预测的重要性。

1.4.2.LIME 解释框架

LIME（Local Interpretable Model-Agnostic Explanations）是一个比较流行的方法,其主要思想是利用可解释性模型（如线性模型，决策树）来局部近似目标黑盒模型的预测，LIME不改变模型内部，通过对输入进行轻微的扰动，探测黑盒模型的输出发生何种变化，根据这种变化在兴趣点（原始输入）训练一个可解释性模型。LIME 是黑盒模型的局部近似，而不是全局近似。LIME的数学表示为

其中，f是待解释的原黑盒模型，g是训练的可解释性模型，πx是定义的x的邻域，L(f,g,πx)是损失函数，度量在πx定义的区域内，g在近似f的过程中的不忠诚度，Ω(g)是模型g的复杂度。

如图2所示是一个非线性的复杂模型，蓝/粉背景的交界为决策函数；选取关注的样本点，如图粗线的红色十字叉为关注的样本点X；定义一个相似度计算方式，以及要选取的K个特征来解释；在该样本点周围进行扰动采样（细线的红色十字叉），按照它们到X的距离赋予样本权重；用原模型对这些样本进行预测，并训练一个线性模型（虚线）在X的附近对原模型近似。这样就可以使用LIME 对复杂模型进行局部解释。

图2：一个使用LIME 方法进行解释的例子

资料来源：华西证券研究所

1.4.3.SHAP 解释框架

Shapley 值是由 Shapley在1953年基于博弈论提出的一种方法。可以通过假设实例的每个特征值是游戏中的"玩家"来解释预测，其中预测是"总支出”。它告诉我们如何在特征之间公平地分配"总支出”。Shapley值是所有可能的联盟（coalition）中特征值的平均边际贡献。Shapley 值是通过S 中玩家的值函数val定义的。每个特征值的Shapley值是其对总支出（预测）的贡献，在所有可能的特征值组合上加权和求和

其中 S是模型中使用的特征的子集，是要解释的实例的特征值的向量，p是特征的数量。valx(S)是对集合S中的特征值的预测，它是在集合S中未包含的特征上边缘化。Shapley 值是唯一满足效益性 (Efficiency)，对称性(Symmetry)，虚拟性(Dummy)和可加性（Additivity）的归因方法，这些性质一起可以视为公平支出的定义。

SHAP（SHapleyAdditive ExPlanations）是一种解释个体预测的方法。SHAP基于博弈论上的最佳 Shapley 值。 SHAP之所以单独作为一个方法而不是 Shapley 值方法的子类，是两个原因：首先，SHAP的作者提出了KerneISHAP，这是一种基于核的代理方法，可根据局部代理模型对 Shapley 值进行估算。还提出了TreeSHAP，这是一种基于树的模型的有效估计方法。其次，SHAP 带有许多基于 Shapley 值聚合的全局解释方法。

SHAP的目标是通过计算每个特征对预测x的贡献来解释实例x的预测。SHAP 解释方法根据联盟博弈理论计算 Shapley值。数据实例的特征值充当联盟中的参与者。

Shapley 值告诉我们如何在特征之间平均分配“总支出”(即预测)，玩家可以是单个特征值，例如表格数据。玩家也可以是一组特征值。例如，为了解释图像，可以将像素分组为超像素，并将预测分布在超像素之间。SHAP带来的一项创新是，Shapley值的解释表示为一种可加的特征归因方法，即线性模型。这将LIME和 Shapley值联系起来。SHAP的计算公式为：

2.卷积神经网络择时策略的可解释性分析

2.1.择时策略设计思路

2.1.1.策略设计

卷积神经网络具有共享局部视野，权值共享等特点，它只需要让每个神经元对局部进行感知，更高层的神经元再来综合局部信息以得到更高级的信息，从而有效减少参数数量。此外，一个卷积核可以在所有位置使用相同的参数提取特征，使模型的学习过程更加高效。

建模过程为：

采用3:2数据划分模式训练模型，即将60%的数据作为训练数据，剩余40%的数据作为测试数据。选取一些重要的技术指标因子作为特征变量，涨跌趋势（涨为1,跌为0）作为二元响应变量，模型训练完成后，得到估计的参数。

利用卷积神经网络模型对沪深300指数预测得出涨跌趋势作为买卖信号，在回测阶段用以检验卷积神经网络用于沪深300指数技术指标预测分析中的精度。

2.1.2.预测变量设计

做预测是基于未来数据和历史数据存在类似的规律假设。基于卷积神经网络的基本原理，可以构造预测的基本方法，即准备测试数据，利用训练好的模型，实现预测。利用 Find_Optimal_Cutoff()函数计算测试阶段模型的阈值，预测结果大于阈值视为涨，预测结果小于阈值视为跌，可以根据此预测结果来判断交易行为。

下一节，本文将利用 SHAP框架对模型预测的涨跌情况进行解释性分析。

2.1.3.数据及参数选择

关于数据集的选取我们使用沪深300指数（000300）的日数据来进行模型的训练和测试。

卷积神经网络模型的参数主要包括三部分，一个是卷积神经网络本身的参数配置；一个是输入给模型的特征变量的选择；一个是模型的输出变量即响应变量的选择。

模型关键参数选择如下：

（1）随机断开输入神经元比例（dropout)：dropout 是一种正则化方法，用来调节将部分神经网络单元暂时从网络中筛选出去的概率，减少神经网络单元的同时也减少了神经元节点之间的互相依赖性，增强了神经网络在样本外进行测试时的泛化能力，有效避免模型过拟合。这里我们将dropout设置为0.0163。

(2）单个训练批次样本数（batch_size)：batch_size 是每次训练模型时训练样本的大小。利用DataLoader 方法加载训练数据，batch_size 参数配合 shuffle 参数可以随机打乱数据集的元素。在对卷积神经网络进行训练时，此参数被设置为 20。

(3）训练批次（epochs)：单次 epochs 指的是将所有的训练数据（多个batch size大小的数据）输入网络进行一次完整的计算。此参数的设置会较大地影响模型的训练精度和训练时间。在对卷积神经网络进行训练时，此参数被设置为55。

(4）学习率 (Ir)：神经网络训练过程中，根据次训练完成后数据前向传播的结果，计算损失函数，再由损失函数根据梯度下降法更新每一个网络参数，在参数更新过程中使用学习率lr定义每次参数更新的幅度。学习率决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。这里我们将lr设置为0.00244。

（5）损失函数(loss_func)：这里使用交叉熵函数CrossEntropyLoss(作为卷积神经网络模型的损失函数。

(6）优化器（opt)：优化器的目的是使损失函数最小化，在所有神经网络优化器中，Adam 是最为常用的优化器，这里设置优化器为Adam，对应的学习率lr设置为0.00244。

特征变量选择：股票技术指标着重于对一般经济情况以及各个公司的经营管理状况、行业动态等因素进行分析来衡量股价的高低。技术指标属于统计学的范畴，一切以数据来论证股票趋向、买卖等。技术指标能够在一定程度上帮助投资者判断股市的当前行情，寻找行情的转折点。这里卷积神经网络的特征变量选取的是14个股票相关的技术指标，它们分别是Bollinger_UpperBands、Bollinger_LowBands、WMA、EMA、SAR、CCI、CMO、DX、SIGNAL_MACD、MOM、ROC、RSI、ADX、ATR,表1对它们做出了相应解释。

表1：技术指标及其含义

技术指标	含义
Bollinger_UpperBands	布林线上轨；布林线是指利用统计原理，求出股价的标准差及其信赖区间，从而确定股价的波动范围及未来走势，利用波带显示股价的安全高低价位。布林线指标中的上、中、下轨线所形成的股价信道随着股价的上下波动而变化，股价信道的上轨是显示股价安全运行的最高价位
Bollinger_LowBands	布林线下轨；布林线是指利用统计原理，求出股价的标准差及其信赖区间，从而确定股价的波动范围及未来走势，利用波带显示股价的安全高低价位。布林线指标中的上、中、下轨线所形成的股价信道随着股价的上下波动而变化，股价信道的下轨是显示股价安全运行的最低价位
WMA	移动加权平均；度量一段时间内的股票价格的加权移动平均，反映市场趋势和价格倾向
EMA	指数平均线；体现股价对均线的影响
SAR	抛物线指标；属于价格与时间并重的指标，通过对股票价格振幅及时间的分析研究，随时设立停损点以观察股票卖出时机
CCI	顺势指标；度量股票价格变化与平均股票价格变化差，主要识别超买和超卖信号
CMO	钱德动量摆动指标；计算所有最近收益之和与所有最近损失之和的差
DX	动向指标；分析股票价格在上升及下跌过程中供需关系的均衡点对股价趋势做出判断
SIGNAL_MACD	平滑异同移动平均线；识别趋势变化，以形成买入与卖出信号，找到买卖信号的拐点
MOM	动量；度量股票价格的涨跌速率，正值表示向上趋势，负值表示向下趋势
ROC	变动率指标；衡量当前价格与过去价格之间的比，显示价格变动速度
RSI	相对强弱指数；通过收盘价连续向上与连续向下运动的比值反映资产价格的力度或速度，从而衡量市场繁荣程度
ADX	平均趋向指数；反应趋向变动程度即描述趋势的强弱
ATR	真实波动幅度均值；取一定时间周期内股价波动幅度的移动平均值来显示股票市场变化率，主要用于研判买卖时机

资料来源：华西证券研究所

响应变量选择：本实验卷积神经网络的响应变量选取的是股票的涨跌趋势（1代表上涨，0代表下跌)，涨跌的衡量标准是涨跌幅的正负，涨跌幅为正表示股票上涨，反之表示下跌，根据对股票涨跌趋势的预测结果来判断股票的交易形式。

已知理性的投资者选择投资标的与投资组合的主要目的为：在固定所能承受的风险下，追求最大的报酬或在固定的预期报酬下，追求最低的风险。夏普比率是一个衡量基金风险与收益关系的指标，最大回撤率是用来描述买入产品后可能出现的最糟糕的情况，它们是衡量股票投资风险的重要指标。这里主要以夏普比率和最大回撤率两个指标来衡量交易结果。

2.2.择时策略的构建和评估

Vanston 和Finnie在股市预测研究中得出结论：长期的预测模型应使用基本指标，短期的预测模型（如采用日预测模型）应侧重于技术指标，这是由于基本面数据具有滞后性的特点。我们这里主要是预测股票的日涨跌趋势，选择14项技术指标作为特征变量，以收盘价的涨跌作为响应变量，利用卷积神经网络对股票的涨跌趋势进行预测。

2.2.1.超参数选取

(1）调整随机断开输入神经元比例 (dropout)

该参数表示在卷积神经网络训练的过程中将部分神经网络单元暂时筛选出去的概率，可减小模型发生过拟合及性能过低的可能性。这里在研究dropout 对回测结果的影响时，使其在数组[0.015,0.0163,0.017，0.018]中分别进行取值，以夏普比率、最大回撤率、交易胜率作为评价指标，研究结果如表2所示。

表2：随机断开输入神经元比例对回测结果的影响

随机断开输入神经元比例	夏普比率	最大回撤率	胜率
0.015	0.66 20.56% 61%
0.0163	0.71	15.53%	63%
0.017	0.60 16.93%		57%
0.018	0.36 ：	29.79% ：	57%

资料来源：华西证券研究所

从表2可以看出随机断开输入神经元比例的小范围变化会对回测结果产生较大影响，说明模型对dropout 参数较为敏感。本策略将dropout 设置为0.0163。

(2）调整单个训练批次样本数 (batch_size)

本策略使用DataLoader方法加载训练数据，单次epoch下将训练数据划分为多个batch_size 大小的子集分别对模型进行训练。初始时将batch_size 设置为 20，然后通过将其增加至35来研究batch_size 大小对回测结果的影响，在epochs 设置为 55的情况下，研究结果如表3所示。

表3：单个训练批次样本数对回测结果的影响

每次训练模型的样本数	夏普比率	最大回撤率	胜率
20 0.71 0.1553 0.63
25	0.06	0.4527	0.65
30 0.14 0.3780 0.67
35	0.42	0.3424	0.71

资料来源：华西证券研究所

从表3可以看出，batch_size设置为20可以获得较好的回测结果，随着batch_size逐渐增大，回测结果在夏普比率、最大回撤率上都有不同程度的下降，所以本策略将batch_size 设置为20。

(3）调整训练批次（epochs）

参数 epochs 代表训练模型时的迭代次数，它的设置会较大地影响模型的训练精度和训练时间，epochs 的变化对回测结果的影响如表4所示。

表4：训练批次对回测结果的影响

训练批次 .	夏普比率	最大回撤率	胜率
40 -0.15 44.91% 53%
45	-0.16	35.83%	61%
50 0.08 41.73% 58%
55	0.71	15.53%	63%

资料来源：华西证券研究所

从表4看出，训练批次设置为 55可以获得较好的回测结果，而且随着训练批次减少，回测结果的变化幅度较大，说明模型对epochs 参数较为敏感，本策略将训练批次epochs 设置为 55。

(4）调整优化器的学习率(lr)

学习率lr决定了模型学习过程中每次参数更新的幅度，决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。在损失函数设置为CrossEntropyLoss，优化器设置为Adam的情况下，研究lr的变化对回测结果的影响，研究结果如表5所示。

表5：优化器学习率对回测结果的影响

学习率	夏普比率	最大回撤率	胜率
0.0023 0.67 20.33% 60%
0. 00244	0.71	15.53%	63%
0.003	0.69 22.89%		58%
0.004	0.56	17.72%	51%

资料来源：华西证券研究所

从表5可以看出，学习率的小范围变化会对回测结果产生一定程度的影响，学习率设置为0.00244可以获得相对较好的回测结果，所以本策略将lr设置为0.00244。

2.2.2.回测结果

3:2 的数据划分训练模式的实现过程是将60%的数据用来训练，40%的数据用来测试。在测试阶段利用 Find_Optimal_Cutoff()函数计算模型的阈值，预测结果大于阈值视为涨，预测结果小于阈值视为跌，根据此结果来决定回测阶段的交易行为。从表6可以看出，这种训练方式可以获得较高的夏普比率，较低的最大回撤率。同时年化收益率为21.47%，总收益率为136.64%，胜率为63%，交易次数为43次。图7和图8展示了累计收益和超额收益率。

表6：择时策略回测结果

	夏普比率：	年化收益率	总收益率...	最大回撤.	胜率交	易次数
择时策略	0.71	21.47%	136.63%	15.53%	63%	43
基准	0.24	8.52% ......	· 54.23%	46.7% .....	·. 1 ...	. 1

资料来源：华西证券研究所

为了观察在实现买入操作时是哪些特征在发挥主要作用，从43次交易中取出第5次，第10次，第15次，第20次的买入交易，分析对应的前十个特征排名。通过图3可以看出决定第5次买入交易的特征主要是CMO、CCI和SAR指标，CMO是钱德动量摆动指标，它计算所有最近收益之和与所有最近损失之和的差。CCI是顺势指标，它可以度量股票价格变化与平均股票价格变化差，主要识别超买和超卖信号。SAR是抛物线指标，属于价格与时间并重的指标，通过对股票价格振幅及时间的分析研究，随时设立停损点以观察股票卖出时机。通过图4和图5可以看出第10次买入交易和第15次买入交易同样是CMO、SAR、CCI指标起了决定性作用。而第20次买入交易中，除了 SAR 指标之外，SIGNAL_MACD和 UpperBands 指标重要性较强，SIGNALMACD是平滑异同移动平均线，可以识别趋势变化，以形成买入与卖出信号，找到买卖信号的拐点。UpperBands 是布林线上轨，反映了股价信道随着股价的上下波动发生变化的情况。

图3：第5次买入交易的特征重要性排名

资料来源：华西证券研究所

图4：第10次买入交易的特征重要性排名

资料来源：华西证券研究所

图5：第15次买入交易的特征重要性排名

资料来源：华西证券研究所

图6：第 20次买入交易的特征重要性排名

资料来源：华西证券研究所

图7：择时策略累计收益

资料来源：华西证券研究所

图8：择时策略累计超额收益率

资料来源：华西证券研究所

2.2.3.模型评估

ROC曲线是非常重要和常见的统计分析方法，在机器学习领域用来评判分类、检测结果的好坏。AUC值表示ROC曲线下的面积，其物理意义可以表示为：随机给定一正一负两个样本，将正样本排在负样本之前的概率。因此，AUC值越大，表示模型区分能力越强，分类效果越好。

精确率和召回率是衡量模型分类结果的两个比较直观的指标，AUPRC值表示精确召回曲线下的面积，在评估不平衡数据的分类结果上具有一定优势，AUPRC值越大，表示模型分类效果越好。

图9：模型 ROC 曲线图

资料来源：华西证券研究所

图10：模型PR 曲线图

资料来源：华西证券研究所

ROC曲线下的面积AUC可以评价分类器的分类效果：AUC值越大,分类效果越好。当AUC=0.5时，分类器的表现等同于随机猜测；当0.5

2.3.基于 SHAP 框架的策略解释性分析

如图11所示，将指标在样本点上的取值大小采用不同颜色来表示，以红色显示的样本点代表指标在该样本上取值较高，蓝色样本点代表指标在样本上取值较低，每个特征的图形由集合中所有的样本点构成。以SHAP值取零为中间分界线，对于处在左侧的样本点，该特征对于对应样本点的SHAP值为负，特征取定该样本点对应值时对股票涨跌趋势的预测有负向贡献，处在右侧样本点则特征取定对应值时对股票涨跌趋势的预测有正向贡献。因此，有正向贡献的指标应该呈现出左边蓝色，中间紫色和右边红色的图像，负向贡献的指标则呈现出左红中紫右蓝的图像。

根据图11可以看出，CMO、SAR、CCI、SIGNAL_MACD 等特征对模型影响较为显著。技术指标CMO 和 SIGNAL_MACD 为有负向贡献的关联指标，取值越高，模型越有可能预测出股票跌的趋势。SAR和CCI为有正向贡献的关联指标，取值越高，模型越有可能预测出股票涨的趋势。

图11：SHAP全局特征解释图

资料来源：华西证券研究所

图12、13、14、15给出了SHAP特征依赖图，分别选取对模型影响显著的CMO、SAR、CCI和SIGNALMACD四个特征绘制 SHAP特征依赖图。已知SAR和CCI均为正向贡献指标，图12表示SAR和CCI之间的相互关系以及它们的变化对股票涨跌趋势的影响。可以发现当SAR值较高时，CCI指标值越大，SHAP交互值越高，此时股票越有可能呈现出涨的趋势；已知CMO和 SIGNALMACD均为负向贡献指标，图13表示CMO和SIGNALMACD之间的相互关系以及它们的变化对股票涨跌趋势的影响。可以发现当CMO值较高时，SIGNAL_MACD指标值越小，SHAP交互值越高。当CMO值较低时，SIGNAL_MACD指标值越大，SHAP交互值越低，此时股票越有可能呈现出跌的趋势；已知CMO和CCI分别为负向和正向贡献指标，图14表示CMO和CCI之间的相互关系以及它们的变化对股票涨跌趋势的影响。可以发现当CMO值较高时，CCI值越低，SHAP交互值越高，此时股票越有可能呈现出涨的趋势；

已知 SAR 和 SIGNALMACD分别为正向和负向贡献指标，图15表示 SAR 和SIGNALMACD之间的相互关系以及它们的变化对股票涨跌趋势的影响。可以发现当SAR值较高时，SIGNAL_MACD值越高，SHAP交互值越高，此时股票越有可能呈现出涨的趋势。

图12：SAR 与CCI特征交互图

资料来源：华西证券研究所

图13：CMO 与SIGNAL_MACD 特征交互图

资料来源：华西证券研究所

图14：CMO 与CCI特征交互图

资料来源：华西证券研究所

图15：SAR与SIGNAL_MACD 特征交互图

资料来源：华西证券研究所

图16给出了策略的特征重要性排名，表7给出了14个技术指标的具体权重值，对股票涨跌趋势影响较为显著的特征依然是CMO、SAR、CCI和SIGNALMACD。CMO是钱德动量摆动指标，属于动量指标之一，权重值为5.8933，它计算所有最近收益之和与所有最近损失之和的差，可以用来寻找极度超买和极度超卖的条件，与股票涨跌趋势的相关性最强。SAR是抛物线指标，属于价格与时间并重的指标，权重值为5.5750，通过对股票价格振幅及时间的分析研究，随时设立停损点以观察股票卖出时机。CCI顺势指标度量股票价格变化与平均股票价格变化差，对股票涨跌趋势也有一定程度的影响，权重值为2.0124。SIGNAL_MACD 是平滑异同移动平均线，可以识别股票趋势变化，以形成买入与卖出信号，找到买卖信号的拐点，权重值为1.5427。

表7：技术指标的权重值

Bollinger_UpperBands	Bollinger_LowBands	WMA	..... EMA	SAR	.... CCI	CMO
1.1419	0.5426	0.9961	0.3806	5.5750	2. 0124	5.8933
DX	SIGNAL_MACD	MOM	ROC	RSI	ADX	ATR
1. 1434	1.5427	1. 2074	1. 4960	1. 3554	0.3039	0.8142

资料来源：华西证券研究所

图16：特征重要性排名

资料来源：华西证券研究所

3.总结

机器学习模型的性能与其可解释性往往难以权衡。传统的统计学习模型可解释性较好，但预测性能欠佳。深度模型准确度好于统计学习模型但可解释性较差。在许多领域例如医疗、金融等领域对模型的可解释性要求较高，在这些领域模型的性能和可解释性同样重要。因此对模型可解释性的分析是学术界和工业界共同关注的重点。

根据定义，模型可解释性应当是在特定数据，特定模型下具有某些经验的人对于模型的最大理解。一般而言，模型的可解释性，根据模型的构建过程可分为模型构建前的可解释性、模型的可解释性、事后模型的可解释性。目前研究的重点是事后模型的可解释性或者称为对黑盒模型的解释，例如对深度模型的事后解释。

从解释性框架的方法来分类的话，主要分为基于特征的方法和基于可解释模型代替的方法。前者主要有PDP、ICE、PFI、SHAP等方法，后者主要包括GS（GlobalSurrogate）和LIME方法，其中GS方法通过训练一个与黑盒模型全局近似的可解释模型而LIME方法则关注输入兴趣点的局部可解释近似。

SHAP框架是本文着重探讨的方法。因为SHAP框架适用范围更广，相比于LIME方法和简单的基于特征的预测值条件分布的方法（PDP、PFI方法等）SHAP方法结果更全面更稳定。在分析利用卷积神经网络构建的策略的过程中，我们得到不同的技术因子对于预测结果的影响，并分析了不同的交易决策样本中，不同的技术因子对于交易决策的贡献。

机器学习的可解释性一直是学术界和工业界的热门研究方向。在量化策略的设计过程中，因子设计和因子组合的可解释性同样重要，这涉及到风险控制和收益归因等重要步骤。在量化策略的可解释性分析领域还有很多工作可以做。

4.风险提示

模型基于对历史数据统计，仅作为投资参考。

分析师承诺

作者具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力，保证报告所采用的数据均来自合规渠道，分析逻辑基于作者的职业理解，通过合理判断并得出结论，力求客观、公正，结论不受任何第三方的授意、影响，特此声明。

评级说明

公司评级标准	投资说明评级
以报告发布日后的６个月内公司股价相对上证指数的涨跌幅为基准。	买入	分析师预测在此期间股价相对强于上证指数达到或超过15%
	增持	分析师预测在此期间股价相对强于上证指数在5%—15%之间
	中性	分析师预测在此期间股价相对上证指数在-5%一5%之间
	减持	分析师预测在此期间股价相对弱于上证指数5%—15%之间
	卖出	分析师预测在此期间股价相对弱于上证指数达到或超过15%
行业评级标准
以报告发布日后的6个月内行业指数的涨跌幅为基准。	推荐	分析师预测在此期间行业指数相对强于上证指数达到或超过10%
	中性	分析师预测在此期间行业指数相对上证指数在-10%—10%之间
	回避	分析师预测在此期间行业指数相对弱于上证指数达到或超过10%

华西证券研究所：

地址：北京市西城区太平桥大街丰汇园11号丰汇时代大厦南座5层

网址：http://www.hx168.com.cn/hxzq/hxindex.html

华西证券免责声明

华西证券股份有限公司（以下简称“本公司"）具备证券投资咨询业务资格。本报告仅供本公司签约客户使用。本公司不会因接收人收到或者经由其他渠道转发收到本报告而直接视其为本公司客户。

本报告基于本公司研究所及其研究人员认为的已经公开的资料或者研究人员的实地调研资料，但本公司对该等信息的准确性、完整性或可靠性不作任何保证。本报告所载资料、意见以及推测仅于本报告发布当日的判断，且这种判断受到研究方法、研究依据等多方面的制约。在不同时期，本公司可发出与本报告所载资料、意见及预测不一致的报告。本公司不保证本报告所含信息始终保持在最新状态。同时，本公司对本报告所含信息可在不发出通知的情形下做出修改，投资者需自行关注相应更新或修改。

在任何情况下，本报告仅提供给签约客户参考使用，任何信息或所表述的意见绝不构成对任何人的投资建议。市场有风险，投资需谨慎。投资者不应将本报告视为做出投资决策的惟一参考因素，亦不应认为本报告可以取代自己的判断。在任何情况下，本报告均未考虑到个别客户的特殊投资目标、财务状况或需求，不能作为客户进行客户买卖、认购证券或者其他金融工具的保证或邀请。在任何情况下，本公司、本公司员工或者其他关联方均不承诺投资者一定获利，不与投资者分享投资收益，也不对任何人因使用本报告而导致的任何可能损失负有任何责任。投资者因使用本公司研究报告做出的任何投资决策均是独立行为，与本公司、本公司员工及其他关联方无关。

本公司建立起信息隔离墙制度、跨墙制度来规范管理跨部门、跨关联机构之间的信息流动。务请投资者注意，在法律许可的前提下，本公司及其所属关联机构可能会持有报告中提到的公司所发行的证券或期权并进行证券或期权交易，也可能为这些公司提供或者争取提供投资银行、财务顾问或者金融产品等相关服务。在法律许可的前提下，本公司的董事、高级职员或员工可能担任本报告所提到的公司的董事。

所有报告版权均归本公司所有。未经本公司事先书面授权，任何机构或个人不得以任何形式复制、转发或公开传播本报告的全部或部分内容，如需引用、刊发或转载本报告，需注明出处为华西证券研究所，且不得对本报告进行任何有悖原意的引用、删节和修改。

START YOUR FINANCE

起点财经，网罗天下报告

机器学习研究系列之五：机器学习策略的可解释性分析-20221220-华西证券-20页