中信期货研究|量化研究报告

深度学习期货择时模型优化及应用

报告要点

订单簿一定程度上，既能反映市场的微观结构，又能为投资者对未来价格变动预测提供信息基础，本篇报告在基于上篇报告CNN+LSTM模型，进一步应用Seq2Seq以及Transformer模型对标的数据进行单步以及多步预测。平均未来20-30交易日拟合准确率维持在80%左右。鉴于订单簿数据的可得性，报告后期选取国内外典型期货品种，并应用其行情数据进行择时预测，价格预测在螺纹钢，brent原油等产上品拟合较好。

摘要：

深度学习近年的迅猛发展不断为金融市场提供优秀模型，相关模型也以其优异的拟合预测能力为金融，商品标的的交易提供交易信号，本篇报告阶段性的剖析Seq2Seq以及当下比较火热的Transformer模型构建要点，基于以上模型我们对标的的价格进行单步以及多步预测。基于预测结果我们应用简单的交易逻辑进行回测其中，螺纹钢，Brent原油以及 PTA 表现相对较好，达到年化收益率30%以上。但后期交易算法需进行额外优化。

本篇报告主要分为四大板块：

1)．报告将先对Seq2Seq模型，注意力机制以及Transformer模型进行细致拆解，讲述算法和模型背后原理。

2)．继续上篇报告深度学习模型对限价订单簿的择时策略的优化：优化过后，Seq2Seq模型以及基于注意力机制的模型不仅对下期mid-price(weighted average bid-ask pr ice)的预测准确率达到80%，同时对滞后多期价格预测均能起到较好的预测结果。

3)．相较于限价订单簿数据的可得性，我们将Transformer模型应用到部分期货品种的价格预测中，模型经过近100轮训练基本都可以达到较好的拟合效果。在螺纹钢，Brent原油，等产品中得到较好的拟合值，其中螺纹钢未来20交易日的价格曲线拟合真实价格线的相关性达到90%。

4)．基于上述模型所得到的预测结果，我们将预测得到的价格数据进行简单的交易逻辑回测。其中螺纹钢，PTA年化收益率均超过30%。

风险提示:1)模型参数失效，2)模型过拟合。

投资咨询业务资格：

证监许可【2012】669号

商品量化组

研究员：

蒋可欣FRM

jiangkexin@citicsf。com

从业资格号F03098078

投资咨询号Z0018262

免费领报告

微信扫码，80W+报告帮你代查

每日分享报告

每日社群分享6+份最新报告免费代查任何行业报告，免费分享行业资料包，可免费分享

如何获取

扫二维码关注公众号，回复：入群免费加入“七点学管理”分享社群

摘要：
一、Seq2Seq 模型及 Attention 机制. .3
(一)模型组成 ..3
(二)Encoder-Decoder 模型 ..3
(三）Attention 机制 .4
（四）Seq2Seq模型下订单簿择时模型表现汇总 ..4
(五）Seq2Seq-Attention 模型下表现汇总 .6
二、Transformer模型拆解及构建要点 ...7
（一）Transformer 模型组件解读. ..8
(二)订单簿Transformer模型下表现汇总 ..11
三、Transformer 模型行情预测表现. .12
(1）模型价格结果拟合解读. .14
(二）模型后续应用. .14
四、部分期货品种回测结果展示！ ..4
五、总结展望 .16
(一)模型优化总结 .16
（二）后期研究方向及适用性分析. .16
免责声明 .17

图表目录

图表1：Seq2Seq 模型逻辑框架 .3
图表2：Attention 机制在 Seq2Seq 模型中嵌入方式. ..4
图表3：SeqSeq 模型表现汇总. .5
图表 4: SeqSeq_Attention 模型表现汇总 ..6
图表5Transformer 模型架构图 .7
图表6:Positional Embedding 可视化例子. ..10
图表7：Transformer模型表现汇总 .11
图表8:Transformer 行情预测结果汇总， ...1.3
图表9：部分产品回测逻辑图. ..14
图表10：部分产品回测结果汇总 .15

一、Seq2Seq 模型及Attention机制

(一)模型组成

承接上篇报告，Sequence2Sequence 模型是一类特殊的循环神经网络架构，现实生活中该模型通常被用来（但不限于此）解决复杂的语言问题，如机器翻译、问题回答、创建聊天机器人、文本总结等。以经典的机器翻译过程为代表的场景中，输入是一系列的词，而输出是翻译后的一系列词。而在订单簿择时模型的相关预测中，输入为(Batch size * Time interval * Dimension）维度的高维向量，经神经网络编译后并解码后按顺序预测未来时间价格货价格变动，该模型的顶层架构为 Encoder-Decoder 模型，该模型由两个LSTM 网络叠加而成，第一个LSTM网络为Encoder(编码器)，输入数据经过编码器后输入为负责将输入的序列信息转化为预先设置好维度的一组编码，第二个LSTM网络为Decoder(解码器)，负责将已经编译好的这组编码转化为对未来序列信息的预测。

Seq2Seq模型相较于上篇报告所提到的所有模型有明显优势在于，该模型不仅可以预测未来时刻价格点的预测结果(涨跌或价格)，同时可以在预测时生成其他模型所无法比拟的价格序列，即多点价格预测。(该原理来自于解码器在生成未来价格序列时也会用到前一时刻点所预测的价格数据.即Pe=f(Pt-1，ht-1)).

图表1：Seq2Seq 模型逻辑框架

资料来源：李沐深度学习

(二)Encoder-Decoder模型

Encoder-decoder模型也可以称为 seq2seq，它是为了应对 RNN中无法满足不等长序列的输入输出而产生的一个 RNN 变种。Encoder-decoder 是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoder 就是用编码的结构设计并训练的，再比如神经网络机器翻译NMT模型，往往就是LSTM-LSTM的编码-解码框架。

准确的说,Encoder-decoder并不是一个具体的模型，而是一类框架。Encoder和 Decoder部分可以是任意的文字，语音，图像，视频数据，模型可以采用CNN,RNN,BiRNN,LSTM,GRU等等。其中，encoder 对数据进行编码，decoder 对encoder生成的编码进行解码。 (资料来源于：知乎)

（三）Attention 机制

注意力，顾名思义是关注点所汇聚的部分。注意力机制(attentionmechanism)是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重，同时减弱其他部分的权重，以此将网络的关注点聚焦于数据中最重要的一小部分。深度学习中的注意力机制则是通过Q(Query:查询)，K(key:键)，V(Value:值)三个矩阵来实现，举一个很简单的例子：类比推荐系统来说，在零食推荐时，Q代表某个人对口味的喜好信息（比如籍贯、年龄、性别等)，K代表零食的类别(比如口味，质感等)，V代表待推荐的零食品牌．通过求解 K和 Q在某个线性空间的相似度得出 V 中各个类别的数值(关注度)的大小，在报告所列举的订单簿的例子中，query，key 和value 的每个属性虽然在不同的空间，其实他们是有一定的潜在关系的，也就是说通过某种变换，可以使得三者的属性在一个相近的空间中。 (具体模型构建细节将在后面章节详细展开)

Attention机制在Seq2Seq模型中同样可以发挥作用，具体过程如下图所示。当编码器(Encoder下同），获得输入数据时，同时产生hidden-state以及context 向量，在hidden-state向量进入解码器(Decoder)之前，先对各个时期产生的隐状态进行注意力机制的计算，具体入下图右侧，当解码器同时获得之前所有时刻包含的信息之外，还获得了额外的信息让模型自行学习应该关注过去多长时间的信息。

图表2：Attention 机制在 Seq2Seq 模型中嵌入方式

资料来源：李沐深度学习

(四）Seq2Seq 模型下订单簿择时模型表现汇总

总体来说，在Seq2Seq模型下，训练集以及验证集损失的收敛速度都有了一

定加快，相较于消耗大量计算资源且不稳定的 MLP 和 CNN 模型来说，Seq2Seq模型在 50-150 epochs下均有较明显收敛。同时对价格涨跌预测的准确率也有大幅提升。

经过对比可以发现，模型在训练到50epochs左右呈现最佳收敛结果，且模型在价格涨跌的准确率上基本稳定在80%左右的准确率，因此可以在短期内保证较高的胜率， (高频客户需额外注意频繁调仓导致的成本损失）。

图表3：SeqSeq模型表现汇总

资料来源：中信期货研究所

Confusion Matrix准确率汇总
滞后阶数 /涨跌	总体	上涨	振荡	下跌
滞后一期	0.79595	0.7126	0.8340	0.6064
滞后二期	0.70360	0.6394	0.7689	0.4991
滞后三期	0.71675	0.7065	0.7807	0.5562
滞后四期	0.73064	0.7592	0.7969	0.6021
滞后五期	0.73788	0.7739	0.8387	0.6323

(五）Seq2Seq-Attention 模型下表现汇总

在Seq2Seq模型中加入注意力机制后，模型在准确率上有小幅提升，相反在收敛速度上却存在小幅下降的情况，模型训练集-验证集收敛情况上看：模型在120 epochs左右呈现最佳收敛状态且相应的loss 相较于单一的 Seq2Seq 模型并未有明显提升.模型准确率有小幅下降。

图表4：SeqSeq_Attention 模型表现汇总

资料来源：中信期货研究所

滞后阶数 /涨跌	总体	上涨	振荡	下跌
滞后一期	0.8031	0.7420	0.8240	0.6830
滞后二期	0.7196	0.6402	0.7486	0.6184
滞后三期	0.7224	0.7809	0.7412	0.6824
滞后四期	0.7136	0.7102	0.7127	0.7205
滞后五期	0.6858	0.7296	0.6302	0.7421

二、Transformer模型拆解及构建要点

2017年《Attention is all you need》介绍了一个具有广泛和不断增长的应用的分水岭神经网络架构，但对之前的序列转导研究进行考察是非常有启发的。这样做既可以获得背后的动机，也可以获得使转化器发展的机器和技术，z这就是著名的Transformer模型。

这篇论文的动机是机器翻译的问题，这个问题可以表达如下：我们从一个源序列F={fo，fi..fi.fn}开始，其中每个fi代表从源词汇中抽取的一个单独的词，例如英语。我们试图预测F翻译成另一种语言的情况，也就是由目标词汇ei组成的目标序列组成的目标序列，如法语词汇。

从概率公式的角度可以理解为最大化目标函数：

以这种方式思考这个问题有利于用递归神经网络来解决这个问题，这导致了最近机器翻译的大部分进展，直到引入基于变形器的模型。

同理，基于金融数据的时空特性以及我们的诉求(基于历史信息对未来价格的预测)，基于以上原理原理构建的以循环神经网络为架构的transformer模型刚好适合解决此类问题。

下面的章节将更详细地描述Transformer 的各个组成部分；现在，我们将从模型的的概述开始。论文中的架构图如下所示。

图表5Transformer 模型架构图

资料来源：Attention is all you need

(一）Transformer 模型组件解读

如上图所示，Transformer 是一个 Encoder-Decoder 模型。Encoder 由N块组成，而Decoder 同样则由N块组成。深入模型内部部分组件的功能明显区别与以往所构建的神经网络，本部分将对不同组件进行解释。

1）模型中的 Attention

根据论文所示:Attention(Q，K，V)= Softmax （）V这里的Q，K，V 代表Query，Key，Value 矩阵，其中Q，K 维度统一，K，V 则序列长度相同。 Softmax 计算后得如下矩阵：

最后Attention 矩阵表示为：

模型构建的 Multi-head Attention 模块，即通过不同的线性变换得到不同的Q，K，V 三个矩阵。

模型中的Q，K，V选取研究员可根据自身经验选取不同矩阵作为尝试.此模块的目的在于求解不同线性空间中QK相似程度，每一行中除去本因子/价格数据之外相对较大的Attention 值即为模型重点关注因子/价格数据。

2)Add&Norm Feedforward 模块

在模型每个模块输出进入其他模块之前都要做 Normalization.模型这里接见了残差连接网络以及Layer Normalization，目的在于：首先，它们有助于保持梯度平滑，这对反向传播有很大帮助。注意力是一个过滤器，这意味着当它正常工作时，它将阻止大部分试图通过它的东西。这样做的结果是，很多输入的小变化可能不会在输出中产生太大的变化，如果它们碰巧落入被阻挡的通道。第二个目的就是可以保持原始的输入序列。

Feedforward 简而言之是一个全连接网络，一方面可以过滤和提取更多的序列信息，一方面可以控制输出维度。

3)Decoder Masked-Attention

模型预测时，为确保模型准确性，训练以及测试时模型时组预测本时刻时须确保模型不能接触到当前时刻之后的信息的数据，这一点可以在计算 Multi-head Attention 矩阵式引入 mask 机制。(资料来源牛津大学)

在矩阵之后加入mask 矩阵，在 Softmax 计算后序列信息之后的的值将全部变为零.因此可以有效来自序列当天时点之后的信息.

4)Positional Embedding

所有数据在进入Encoder和Decoder之前需要进行位置信息编码，不同于单纯的 Word Embedding,这里采用的是positional embedding,这种编码信息不仅可以保证序列当前信息可以被提取，同时可以提取当先序列(价格)信息和之前若干序列的相对信息。目的在于计算相对位置信息的Attention 值，即一旦嵌入向量被投射到Q/K/V向量中，在生成期间，将这些值添加到嵌入中，就能提供嵌入向量之间有意义的距离。

图表6：Positional Embedding 可视化例子

资料来源：中信期货研究所

(二)订单簿Transformer模型下表现汇总

通过解读Seq2Seq，加入Attention机制的Seq2Seq模型在订单簿数据上的表现结果，该结果相对于普通的RNNCNN模型具有较好表现提升。引入Transformer模型后结果如下图所示.模型收敛速度较慢:鉴于模型引入2N个代码模块，相应的模型收敛速度较慢，150 epochs后仍然未能明显收敛，但是相应的loss在逐步下降，准确率也在逐步提升。

根据 Attention is All You Need 一文列述 Transformer 与其他模型相比，虽然每一层的计算复杂度大致相同Transformer:O(n²×d)，RNN:O(n ×d²)， CNN:O(k×n×d²)，但是由于Transformer 每层之内的并行机制，时间复杂度大大降低为O(1)，RNN 为O(n）。其中你为序列长度，d为模型维度，k为核大小.由此可见相同空间复杂度的情况下Transformer的并行机制相对于 RNN，LSTM 来讲具有极大优势。

图表7：Transformer模型表现汇总

0	0.25	0.71	0.044	0.8 -0.6
[rrel ar 1	0.017	0.96	0.024	-0.4
2	0.037	0.67	0.29	0.2
0		i Predicted label	2

资料来源：中信期货研究所

滞后阶数/涨跌	总体	上涨	振荡	下跌
滞后一期	0.8477	0.8420	0.8019	0.7830
滞后二期	0.8096	0.8344	0.7928	0.8184
滞后三期	0.7730	0.7809	0.7292	0.8024
滞后四期	0.7729	0.7102	0.7797	0.7540
滞后五期	0.7081	0.7296	0.7329	0.7591

三、Transformer模型行情预测表现

鉴于订完整单簿数据的可得性较低以及数据体量较大的问题，商品量化团队将分析模型对仅有行情数据(开盘价，收盘价，最高价，最低价)的期货品种进行分析汇总，本部分将着重关注模型预测与实际价格的拟合程度，品种选择上国内品种和国际品种两大类，国内品种包括:螺纹钢(RB)，黄金(AU)，原油(SC)，甲醇(MA)，PTA(TA）以及国际品种：Brent 原油(BZ=F)，以及铜(HG=F)报告选取具有代表性的期货品种进行分析预测具体结果展示如下。（重要提示，鉴于每份标的训练轮数随机，RB，Brent原油拟合表现较好原因部分来源于训练轮数超过250 轮)。

图表8：Transformer 行情预测结果汇总

MA prediction

资料来源：中信期货研究所

RB prediction

（一）模型价格结果拟合解读

我们判断预测的标准在预测值和真实值之间的相关性意义预测值和实际值之间的 Rmse 两个指标.从可视化结果看，PTA，Brent，以及螺纹钢三者具有较好的相关性.经计算得知相关性依次:AU(0.7322)，SC(0.5940),MA (0.6477),RB(0.9451),Brent (0.92),Copper (0.7236)，PTA(0.8477)

经过图像已经相关性分析，可以看出即使某些品种在极端行情下出现日间的大幅跳涨以及大跌，Transformer 模型仍然可以比较好的拟合实际的价格曲线。例如在 2020-2022 年能源市场极端行情下Transformer仍然可以有较好的趋势性预测。

(二）模型后续应用

Transformer模型再择时模型上表现优异，同时鉴于模型可以学习注意力，进而专注在应该专注的部分.因此后期Transformer模型在期货行业亦可进行资产配置的优化以及相关风险预警。

四、部分期货品种回测结果展示

经过对部分合约品种的预测，我们得到了预测的价格数据，本部分应用部分品种数据，进行简单汇测。回测逻辑：若prediction_pricet+1>prediction_pricet则产生做多信号，并以第二日开盘价做多，若prediction_pricet+1

图表9：部分产品回测逻辑图

资料来源：中信期货研究所

经回测发现，大部分回测品种(生猪除外)，能够在简单的交易逻辑上产生正正向收益，同时跑赢基准收益，年化收益率经测算：黄金(9.94%)，生猪(11.73%)，甲醇(14.6%)，铜(20.09%)，而螺纹钢和 PTA 的年化收益率均超过30%.(虽然部分行情因素导致趋势性结果)由此可以体现Transformer模型预测的准确程度微交易提供支持。

图表10：部分产品回测结果汇总

RB	35%	17%	2.07	1.33
PTA	33%	19%	1.73	1.12
AUCu	9. 94%	14.5%	0. 69	0.81
AUCu	20%	17%	1. 17	1.02
MA	15%	22%	0.68	0.72

资料来源：中信期货研究所

五、总结展望

(一)模型优化总结

在第一篇报告结果展示经过对基础多层感知机模型的逐步优化可以看出在限价订单簿上单独对空间和序列信息抽取都相较于单纯的维度变换模型在预测力上都有明显的提升，但是在预测准确率的绝对值上都未达到理想效果，本篇报告在上篇报告的基础上引入 Seq2Seq 模型结构，在LSTM 基础上加入注意力机制后是的模型可以自主学习和关注不定长间隔之前的信息.由此在对订单簿价格的预测上有了更进一步的表现。

同时，鉴于大部分交易者难以获得较为全面的订单簿数据(实行 CNN 以及相关神经网络又困难)，我们有奖Transform而模型引入对行情数据的预测上，就产出结果来看，Transformer所预测出的价格序列较为优秀的拟合了行情数据其中对螺纹钢价格的拟合程度超过90%。

（二）后期研究方向及适用性分析

现阶段报告在特征提取以及神经网络模型的构造上仍然存在明显缺陷.后期报告将着重从一下几个方面进行细致研究：

1）模型现阶段着眼于对时序信息预测的准确程度，对交易算法的研究有所欠缺，为最大化预测模型的产出吗后期模型将着眼于对择时+交易的单项优化。

2）现有的深度学习模型训练成本相比其他模型的训练有更高的成本，想要进行更高泛化预测能力需要更高的成本，后期报告将在有条件的基础上进行部分模块的迁移学习。

3）基于订单簿的研究还需涉及对订单簿交易模型的深入研究，后期团队将引进新算法，站在交易者和做市商双向角度优化交易结构以及策略。

4）适用性上，后期进一步优化的模型训练方式可以在交易信号生成以及标的风险管理预警上起到支撑作用，具体应用需要深入研究。

5）现有模型仅仅应用的是行情数据，后期团队将加大因子的挖掘，并将有效的因子输入模型网络，为市场参与者提供更多有用信息。

免责声明

除非另有说明，中信期货有限公司拥有本报告的版权和/或其他相关知识产权。未经中信期货有限公司事先书面许可，任何单位或个人不得以任何方式复制、转载、引用、刊登、发表、发行、修改、翻译此报告的全部或部分材料、内容。除非另有说明，本报告中使用的所有商标、服务标记及标记均为中信期货有限公司所有或经合法授权被许可使用的商标、服务标记及标记。未经中信期货有限公司或商标所有权人的书面许可，任何单位或个人不得使用该商标、服务标记及标记。

如果在任何国家或地区管辖范围内，本报告内容或其适用与任何政府机构、监管机构、自律组织或者清算机构的法律、规则或规定内容相抵触，或者中信期货有限公司未被授权在当地提供这种信息或服务，那么本报告的内容并不意图提供给这些地区的个人或组织，任何个人或组织也不得在当地查看或使用本报告。本报告所载的内容并非适用于所有国家或地区或者适用于所有人。

此报告所载的全部内容仅作参考之用。此报告的内容不构成对任何人的投资建议，且中信期货有限公司不会因接收人收到此报告而视其为客户。

尽管本报告中所包含的信息是我们于发布之时从我们认为可靠的渠道获得，但中信期货有限公司对于本报告所载的信息、观点以及数据的准确性、可靠性、时效性以及完整性不作任何明确或隐含的保证。因此任何人不得对本报告所载的信息、观点以及数据的准确性、可靠性、时效性及完整性产生任何依赖，且中信期货有限公司不对因使用此报告及所载材料而造成的损失承担任何责任。本报告不应取代个人的独立判断。本报告仅反映编写人的不同设想、见解及分析方法。本报告所载的观点并不代表中信期货有限公司或任何其附属或联营公司的立场。

此报告中所指的投资及服务可能不适合阁下。我们建议阁下如有任何疑问应咨询独立投资顾问。此报告不构成任何投资、法律、会计或税务建议，且不担保任何投资及策略适合阁下。此报告并不构成中信期货有限公司给予阁下的任何私人咨询建议。

深圳总部

地址：深圳市福田区中心三路8日卓越时代广场（二期）北座13层1301-1305、14层

邮编：518048

电话：400-990-8826

传真： (0755)83241191

网址：http://www.citicsf.com

免费领报告

微信扫码，80W+报告帮你代查

每日分享报告

每日社群分享6+份最新报告免费代查任何行业报告，免费分享行业资料包，可免费分享

如何获取

扫二维码关注公众号，回复：入群免费加入“七点学管理”分享社群

中信期货研究|量化研究报告

深度学习期货择时模型优化及应用

报告要点

摘要：

投资咨询业务资格：

商品量化组

免费领报告

每日分享报告

如何获取

目录

图表目录

一、Seq2Seq 模型及Attention机制

(一)模型组成

(二)Encoder-Decoder模型

（三）Attention 机制

(四）Seq2Seq 模型下订单簿择时模型表现汇总

(五）Seq2Seq-Attention 模型下表现汇总

二、Transformer模型拆解及构建要点

(一）Transformer 模型组件解读

1）模型中的 Attention

2)Add&Norm Feedforward 模块

3)Decoder Masked-Attention

4)Positional Embedding

(二)订单簿Transformer模型下表现汇总

三、Transformer模型行情预测表现

（一）模型价格结果拟合解读

(二）模型后续应用

四、部分期货品种回测结果展示

五、 总结展望

(一)模型优化总结

（二）后期研究方向及适用性分析

免责声明

深圳总部

免费领报告

每日分享报告

如何获取

五、总结展望

量化研究报告：深度学习期货择时模型优化及应用-20230303-中信期货-17页