证券研究报告·量化深度

基于深度强化学习的沪深300选股

-AI模型研究第一期

核心观点

本报告旨在提供关于深度强化学习在选股投资组合构建上的量化研究的全面概述。强化学习可以用于开发能够从市场环境中自适应学习的交易策略，有效应对快速变化的市场环境中的不确定性与风险，在量化投资领域具有重要的应用潜力，可以为专业的投资机构提供有价值的决策支持和实践指南。本报告探讨了不同强化学习算法在投资组合构建中的潜力、优势和局限性，并通过使用沪深300 成分股数据训练强化学习模型3agents（A2C，PP0，DDPG)，最终得到的投资策略能够出色地平衡风险与回报。

主要结论

深度强化学习可以用于开发能够从市场环境中自适应学习的交易策略，较之基于经验与直觉的传统模型，能够有效地应对快速变化的市场环境中的不确定性，其在资产投资方面的应用潜力在量化投资交易领域引起了广泛关注。它提供了一种形式化描述投资决策的方法，使用马尔可夫决策过程建模问题，并使用值函数和策略来优化决策过程，通过定义状态、设计行动空间、制定奖励函数、建模转移概率来构建具体投资组合场景。

关于强化学习算法在投资组合构建上的运用，本报告介绍了包括Q-learning 算法、SARSA 算法等基于值函数的强化学习算法，原理和实施方法，并且探讨了这些算法在投资组合构建中的应用潜力及优势和局限性。在实证应用方面，报告讨论了数据获取和预处理、强化学习模型的参数设置、实验设计和评估指标，以2019年12月31日至2023年3月31日的沪深300成分股作为训练数据，使用CNE7十大风格因子等相关指标训练三个智能体(A2C，PPO，DDPG)，最终使用 Ensemble 策略滚动整合三个智能体的结果，在多项收益与风险指标的表现上均优于沪深 300 指数。

深度强化学习在具备能够从市场环境中自适应学习的优势的同时，对数据质量要求较高，作为黑盒模型决策过程可能欠缺可解释性；但其处理动态和复杂决策过程的能力意味着它仍将是AIGC发展的量化投资和交易领域的焦点之一。

风险提示：模型计算可能存在偏误，业绩不代表未来；因子测试，强化学习建模是对历史数据的总结，模型学习到的市场规律在未来存在失效的可能。

多因子与ESG策略

陈果

chenguodcq@csc.com.cn

SAC 编号：S1440521120006

研究助理：徐建华

xujianhua@csc.com.cn

研究助理：陈添奕

chentianyi@csc.com.cn

发布日期：2023年07月11日

市场表现

每日免费获取报告 □

每日微信群内分享7+最新重磅报告；

每日分享当日华尔街日报、金融时报；

√ 行研报告均为公开版，权利归原作者所有，起点财经仅分发做内部学习。

一、引言． 3
1.1.研究背景.. 3
1.2.报告结构概述 3
二、深度强化学习... 3
2.1.深度强化学习， 3
2.2.马尔可夫决策过程 4
2.3.值函数和策略 5
2.4.强化学习算法概述 6
2.4.1.基于值.. 6
2.4.2.基于策略. 7
2.4.3.基于值和策略.. 8
2.4.4.深度强化学习算法. 8
三、深度强化学习的投资组合构建应用场景. 10
3.1.状态的定义.. 10
3.2.行动空间的定义. 11
3.3.奖励函数的设计 12
3.4.转移概率建模.. 12
四、强化学习在投资组合构建上的实证研究. 12
4.1.训练输入特征. 12
4.2.深度强化学习模型的参数设置 13
4.3.训练和测试数据集划分如下 14
4.4.实证结果分析... 15
4.5.实践中遇到的问题 16
五、风险提示. 16
六、参考文献. 16

图表目录

图表1：应用流程图 ..4
图表2：投资组合数据定义 ..10
图表3：行动空间定义示例 ..11
图表4：训练测参数.. ..13
图表5：训练数据. ..15
图表6：结果数据. ...15
图表7：时序图.. ..16

量化深度报告

引言

1.1.研究背景

股票市场的不确定性和可变性使准确预测市场走向具有挑战性。为提高准确性并应对这些困难，机器学习技术已应用于股票价格预测。传统模型（如基于决策树的模型）和支持向量机（SVM）在历史上用于股票市场预测。随着深度学习模型的发展，股票市场预测方法已从传统技术转向先进的深度学习技术，如循环神经网络（RNNs）、长短期记忆（LSTM）、门控制循环单元（GRU）、图神经网络（GNN）和卷积神经网络（CNN）。

近年来强化学习作为一种重要的机器学习方法，引起了广泛的关注和应用。在金融领域，投资组合构建一直是一个复杂而具有挑战性的问题。传统的投资策略往往基于经验和直觉，但在快速变化的市场环境下，这种方法可能无法有效应对风险和不确定性。因此，研究人员开始探索将强化学习应用于投资组合构建，以提高投资回报和降低风险。

本研究的动机主要来自于最近火热的人工智能在金融领域的应用挑战（AIGC），ChatGPT的推出引发了广泛的关注和讨论。强化学习在投资组合构建中的潜在应用吸引了投资机构的兴趣，因为它可以通过学习和自适应来适应市场的变化，并根据市场条件调整投资策略。本研究旨在通过量化研究报告，深入探讨强化学习在投资组合构建中的应用潜力和实际效果，为专业的投资机构提供有价值的决策支持和实践指南。

1.2.报告结构概述

本报告旨在提供有关强化学习在投资组合构建上的量化研究的全面概述。报告将以专业的投资机构为读者对象，重点关注数学和统计学等专业内容，以满足读者对深入和实证研究的需求。

报告首先在引言部分提供了研究的背景和动机，阐述了强化学习在投资领域的重要性和潜在应用。接下来，报告将在第二部分介绍强化学习的基础知识，包括强化学习问题的形式化描述、马尔可夫决策过程、值函数和策略等内容，为读者建立起必要的理论基础。

第三部分将着重讨论强化学习在投资组合构建问题中的建模方法。这包括状态的定义、行动空间的设计、奖励函数的制定、转移概率的建模以及强化学习策略的选择等方面。通过详细讨论这些关键要素，报告将帮助读者了解如何将强化学习应用于实际的投资组合管理中。

第四部分介绍深度强化学习在投资组合构建中的实证研究案例，基于三个智能体的训练从CSI300成分股中选股，同时基于Ensemble 算法对三个智能体的结果进行整合。

在第五部分，深度强化学习在金融领域实践中的挑战和问题讨论。

二、深度强化学习

2.1.深度强化学习

深度强化学习（Reinforcement Learning，RL）是一种机器学习方法，涉及代理(Agent)与环境的交互，通过反馈信号学习最优动作。由于其处理动态和复杂的决策过程的能力，以及ChatGPT等 AIGC 的应用流行，强化学习在量化投资交易领域引起了广泛关注。在量化投资交易中应用强化学习，可以用于开发能够从市场环境中自适应学习的交易策略。

以下是强化学习在量化交易中的应用概述：

1.环境：定义投资交易环境，包括历史市场数据、订单簿信息和其他相关因素。环境模拟市场条件和环境，并向强化学习代理提供观测和奖励信号。

2.代理：强化学习代理根据观测到的市场状态学习进行交易决策。它采取买入、卖出或持有资产等行动，并从环境中获得奖励或惩罚的反馈。

3.状态表示：使用一组特征或指标来表示市场的状态。这些特征可以包括价格数据、技术指标、成交量或财务基本面等其他市场相关信息。代理利用这个表示来进行决策。

4.行动选择：强化学习代理根据一个策略选择行动，该策略可以是确定性的或随机的。策略确定了观测状态到行动的映射关系。比如买入，卖出，或者继续持有等行动。

5.奖励设计：环境提供的奖励或惩罚反映了代理行动的表现。奖励设计至关重要，它引导代理学习所期望的交易行为。常见的奖励函数可以基于投资组合回报、风险调整回报或其他绩效指标比如夏普比率等。

6.训练：强化学习代理通过与环境交互的迭代过程中进行学习。它通过调整策略和改进决策能力来最大化随时间累积的奖励。可以使用强化学习算法（如Q-learning、深度Q网络（DQN）或近端策略优化（PPO））对代理进行训练。

7.评估与部署：训练完成后，通过使用样本外数据或进行模拟评估强化学习代理的性能。如果代理（模型)表现满意，可以将其部署到实时交易环境中，根据学习的策略执行交易。

图表1：强化学习流程图

数据来源：QLib，中信建投

2.2.马尔可夫决策过程

当我们面对一个序列决策问题，并且决策的结果受到随机因素的影响时，我们可以使用马尔可夫决策过程（Markov Decision Process，MDP）来建模和解决这类问题。MDP是一种数学框架，用于描述具有马尔可夫性质的序列决策问题。

MDP 由以下要素组成：

1.状态（States）：系统可能处于的各种状态的集合。在每个时间步，系统处于一个特定的状态。状态可以是离散的（如市场的涨跌状态）或连续的（股票价格的变化）。

2.动作（Actions）：决策者可以采取的行动集合。在每个时间步，决策者根据当前状态选择一个动作执行。动作可以是离散的（如向左或向右移动）或连续的（如加速或减速）。在投资组合构建中，动作可以表示为资产的买卖决策，如买入某只股票、卖出某只股票或者持有现金。

3.转移概率（Transition Probabilities）：描述在执行某个动作后，系统从一个状态转移到另一个状态的概率。转移概率可以用条件概率分布表示，即给定当前状态和执行的动作，得到下一个状态的概率分布。

在投资组合构建中，转移概率可以表示为市场的变化对投资组合价值的影响，或者股票的波动对投资组合配置的影响。

4.奖励（Rewards）：在每个时间步，系统根据当前状态和执行的动作获得一个即时奖励。奖励可以是实数值，反映执行动作的质量或效用。奖励可以表示为投资组合的收益或者损失，也可以包括对风险的度量。目标是通过优化累积奖励最大化投资回报。

5.折扣因子（DiscountFactor）：用于权衡即时奖励和未来奖励的重要性。折扣因子是一个介于0和1之间的值，用于计算未来奖励的折现值。它表示了对未来奖励的重视程度，较大的折扣因子意味着更关注未来奖励。

通过观测当前状态、选择动作、观测奖励以及根据转移概率转移到下一个状态，MDP 框架允许我们制定决策策略，以最大化长期累积奖励。目标是找到一个最优策略，使得在给定的MDP环境下，能够最大化期望累积奖励。

解决MDP问题的方法包括动态规划、强化学习和其他优化算法。其中，强化学习是一种适用于没有先验知识的情况下自主学习最优策略的方法，而动态规划则适用于已知 MDP 模型的情况。

总而言之，马尔可夫决策过程提供了一个框架，用于建模和解决序列决策问题，其中状态、动作、转移概率和奖励是关键要素，而折扣因子用于平衡即时奖励和未来奖励的重要性。

金融投资可以被视为一种近似的马尔可夫决策过程（MDP），尽管在实际应用中可能存在一些复杂性和限制。

在金融投资中，状态可以被视为投资组合的当前状态或市场条件，例如股票价格、利率、市场指数等。动作可以是投资者可以采取的行动，如买入、卖出或持有资产。转移概率描述了市场的不确定性和变化性，因为市场行为可能受到多种因素的影响，并且未来的状态取决于当前状态和市场的随机波动。奖励可以表示投资组合的即时回报或效用。

然而，金融市场中的马尔可夫性质可能不是完全满足的。金融市场常常受到外部因素、新闻事件、市场情绪和非马尔可夫性的影响。此外，市场行为往往是非线性的、高度动态的，并且存在着复杂的相互关联和不确定性。

尽管如此，虽然金融投资的马尔可夫性质可能是近似的，但在实际应用中，经常使用马尔可夫决策过程的概念和方法来建模和解决金融投资中的决策问题。这样的建模可以提供一种框架，用于制定投资策略、优化资产配置以及进行风险管理和回报优化等决策过程。

强化学习问题可以被形式化地描述为一个马尔可夫决策过程（Markov Decision Process，MDP）。MDP 由五个要素组成：状态（State）、动作（Action）、奖励（Reward）、转移概率（Transition Probability）和折扣因子（Discount Factor）。

状态是在决策过程中描述环境的信息。在投资组合构建中，状态可以表示为一组关于市场、股票、经济指标等方面的观察值。状态可以是离散的，如市场的涨跌状态，也可以是连续的，如股票价格的变化。而动作是智能体在某一状态下所采取的行为。在投资组合构建中，动作可以表示为资产的买卖决策，如买入某只股票、卖出某只股票或者持有现金。

通过建立一个MDP 模型，可以利用强化学习算法来学习最优的策略，以在不确定的环境中做出最佳的决策。强化学习算法通过在MDP上迭代地更新值函数或策略函数，逐渐改进智能体的决策能力，并最大化累积奖励。这使得强化学习成为投资组合构建中的有力工具，可以根据市场变化自动调整投资策略。

2.3.值函数和策略

在强化学习中，值函数和策略是两个重要的概念。

2.3.1.值函数（Value Function）：

请参阅最后一页的重要声明

值函数衡量在给定状态或状态-动作对下的预期回报。值函数可以用于评估状态或动作的好坏，以指导智能体在不同状态下的决策。

状态值函数（StateValue Function）：表示在给定状态下，从该状态开始执行策略后所能获得的预期累积回报。通常记为V(s)，其中 s表示状态。

动作值函数（ActionValueFunction）：表示在给定状态和采取某个动作后，从该状态执行策略所能获得的预期累积回报。通常记为Q(s，a)，其中s表示状态，a表示动作。

值函数可以通过动态规划方法或使用近似函数（如神经网络）来进行估计和更新。通过优化值函数，智能体可以选择具有最高估值的状态或动作，以改进其策略。

2.3.2.策略（Policy）

策略定义了智能体在给定状态下采取动作的决策规则。它可以是确定性的（根据状态直接选择一个动作)或概率性的（根据状态选择一个动作的概率分布）。策略是智能体与环境交互的核心。·

策略函数（Policy Function）：策略函数将状态映射到相应的动作或动作概率分布。通常记为π（a|s)，表示在状态 s下采取动作a的概率。·

最优策略（OptimalPolicy）：最优策略是使得长期累积奖励最大化的策略。通过学习值函数或直接搜索，智能体可以找到最优策略，从而在强化学习任务中达到最佳性能。

在强化学习中，值函数和策略通常通过交替迭代来进行优化。通过评估不同策略的值函数或通过改进策略以增加回报，智能体逐步学习并改进其决策能力，最终找到最优策略。

2.4.强化学习算法概述

强化学习算法是一类用于解决强化学习问题的算法，其目标是通过与环境的交互学习到最优的策略。下面是对强化学习算法的概述：

2.4.1.基于值

Q-learning是一种基于值函数的强化学习算法，通过迭代地更新状态-动作值函数（Q值函数）来寻找最优策略。它使用贪心策略在每个时间步选择具有最高Q值的动作，并使用贝尔曼方程进行值函数的更新。

用于学习在马尔可夫决策过程（MDP）中的最优策略。它是一种无模型学习方法，不需要对环境的转移概率进行建模，而是通过迭代更新一个动作值函数（Q值函数）来寻找最优策略。Q-learning 的基本思想是使用贝尔曼方程递归地更新Q值函数。Q值函数表示在给定状态下选择某个行动所能获得的长期累积回报。算法通过不断更新Q值函数，使其逼近最优Q值函数，即最大化预期回报的Q值函数。

Q-learning 算法的基本步骤如下：

1.初始化Q值函数：为状态空间中的每个状态-行动对初始化Q值。

2.选择行动：根据当前的Q值函数和某种策略（如ε-贪心策略）选择行动。

3.执行行动并观察环境反馈：执行选择的行动，观察环境的新状态和获得的奖励。

4.更新Q值函数：使用贝尔曼方程更新Q值函数，将当前状态下选择的行动的Q值与未来状态的最大Q值进行更新。

根据如下公式

5.迭代更新：重复执行步骤2-4，直到达到收敛条件（如达到最大迭代次数或Q值函数变化小于某个阈值）。

Q-learning的扩展算法包括：

1.DoubleQ-learning：DoubleQ-learning通过使用两个独立的Q值函数来减轻Q值函数估计的过高估计问题。在更新过程中，一个Q值函数用于选择行动，另一个用于评估行动的价值。

2．DuelingQ-learning：DuelingQ-learning 通过将Q值函数分解为状态值函数和优势函数，来学习每个状态的相对价值和行动的优势。这种分解可以更好地建模状态和行动之间的关系。

3．DeepQ-Network（DQN）：DQN将Q-learning与深度神经网络相结合，以处理高维状态空间和连续行动空间的问题。DQN 使用神经网络来逼近Q值函数，并通过经验回放和目标网络来提高学习的稳定性。

4.Prioritized Experience Replay：Prioritized Experience Replay 通过根据 TD 误差的大小对经验进行采样，提高对重要经验的学习效率。这样可以更好地利用有信息量的经验来更新Q值函数。

SARSA算法及其扩展：

SARSA（State-Action-Reward-State-Action）是一种基于值函数的强化学习算法，用于学习在马尔可夫决策过程（MDP）中的策略。与Q-learning 类似，SARSA也是一种无模型学习方法，通过迭代更新一个动作值函数（Q值函数）来寻找最优策略。SARSA：SARSA也是一种基于值函数的强化学习算法，类似于Q-learning，但它使用了ε-greedy 策略，通过在每个时间步采取的动作来更新Q值函数。

SARSA算法的基本思想是在每一步的学习中，通过观察当前状态、选择当前行动、观察环境反馈、选择下一步行动，并根据这些信息更新Q值函数。与Q-learning 不同的是，SARSA在更新Q值函数时，使用了下一个状态和行动的信息。

SARSA算法的基本步骤如下：

1.初始化Q值函数：为状态空间中的每个状态-行动对初始化Q值。

2.选择行动：根据当前的Q值函数和某种策略（如ε-贪心策略）选择行动。

3.执行行动并观察环境反馈：执行选择的行动，观察环境的新状态和获得的奖励。

4.选择下一步行动：根据新状态和当前策略选择下一步行动。

5.更新Q值函数：使用当前状态、行动、奖励、下一状态和下一行动的信息，根据更新规则（如贝尔曼方程）更新Q值函数。

6.迭代更新：重复执行步骤2-5，直到达到收敛条件。

SARSA的扩展算法包括：

1.Expected SARSA：Expected SARSA 通过考虑下一步行动的概率分布来更新Q值函数，而不仅仅是选择最优的下一步行动。这种方法可以减少由于随机性引起的波动，提高学习的稳定性。

2.SARSA（λ)：SARSA（入)是使用函数逼近的SARSA算法的扩展。它引入了入参数来平衡累积回报和当前奖励的重要性，以提高算法的学习效率。

3.Deep SARSA：Deep SARSA结合了SARSA算法和深度神经网络，以处理高维状态空间和连续行动空间的问题。它使用神经网络来逼近Q值函数，并通过经验回放和目标网络来提高学习的稳定性

2.4.2.基于策略

PolicyGradient：策略梯度是一种基于策略的强化学习算法，通过直接优化策略函数来寻找最优策略。它使用梯度上升法更新策略参数，使得长期累积奖励最大化。

Proximal Policy Optimization (PPO)：PPO 是一种基于策略的强化学习算法，通过近似地最大化策略的性能，同时保持策略更新的稳定性。它通过执行多个策略更新步骤来提高性能。

Iteration 那样优化价值函数。在策略梯度方法中，我们将策略参数化，通常表示为某种概率分布，通过这种方式可以对策略进行优化。策略梯度方法的核心思想是通过对策略的参数应用梯度上升（因为我们要最大化期望奖励，而不是最小化损失函数，所以使用梯度上升而不是梯度下降）来找到最优策略。梯度是根据经验回报（或某种回报的估计）和策略的梯度来计算的。

量化深度报告

PPO 是一种策略梯度方法的变种，它试图通过对策略进行软限制的方式来避免策略更新步骤过大导致训练不稳定的问题。这是通过引入一个被称为"proximity function"或“trust region”的概念实现的，该函数会阻止新策略偏离当前策略太远。

在基本的策略梯度方法中，每个策略更新都可能导致策略产生较大的变化。这可能会导致学习过程不稳定，因为一个大的策略更新可能会将策略从一个良好的区域推向一个表现较差的区域。PP0 通过限制策略更新的大小来防止这种情况发生。

PPO 是一种改进的策略梯度方法，它通过限制策略更新的大小来改善学习的稳定性和效果。与传统的策略梯度方法相比，PPO 的一个主要优点是它提供了更稳定和有效的学习过程。这使得 PPO 在许多任务中都表现得更好，特别是在处理复杂和高维度的任务时。策略梯度方法的一个主要优点是它们相对简单，易于理解和实现。然而，由于它们在策略更新时没有采取措施来防止大的策略变化，因此它们可能会在某些任务中表现得不够稳定。

2.4.3.基于值和策略

Actor-Critic：Actor-Critic 算法结合了值函数和策略函数的优势。它同时学习一个策略和一个值函数，其中策略函数（Actor）根据值函数（Critic）的反馈进行更新。它能够通过策略梯度和值函数的误差来进行优化。基本思想是使用两个不同的组件：一个是Actor（行动者），另一个是Critic（评论者）。

Actor 是负责做出行动选择的部分。在具有参数化策略的环境中，Actor将会根据当前的策略以一定的概率选择每个可能的行动。这个策略是可以通过学习进行改进的，一般通过梯度上升来最大化期望奖励。

Critic的任务是评估Actor的行动选择。Critic 是一个价值函数，它的目的是预测Actor采取某一行动后可能获得的期望回报。Critic 的输出被用来更新 Actor 的策略。

在 Actor-Critic 方法中，Actor 和 Critic 通常会交替进行更新。首先，Actor 会根据当前的策略选择一个行动，然后环境会返回一个新的状态和奖励。Critic 会用这个奖励和新的状态来更新自己的价值函数。然后，Actor 会用Critic的新的价值函数来更新自己的策略。

Actor-Critic方法的一个主要优点是它可以在不完全知道环境动态的情况下进行学习。此外，由于Actor 和Critic的存在，它能够平衡对探索和利用的需求。

实际上，还有许多不同的 Actor-Critic 算法变种，例如 Advantage Actor-Critic (A2C),Asynchronous Advantage Actor-Critic (A3C)，Soft Actor-Critic (SAC) 和 Proximal PolicyOptimization（PPO）等等，它们在原有的 Actor-Critic 框架基础上加入了不同的改进策略。

Advantage Actor-Critic (A2C)：A2C 算法是一种典型的 Actor-Critic 算法，其用优势函数代替 Critic网络中的原始回报，作为评价指标，有效降低了策略网络的高方差。A2C算法引入了并行架构，使用协调器将所有代理的平均梯度传递给全局网络，利用全局网络更新Actor和Critic 网络。A2C 算法具有一定的稳定性，因此是股票交易的很好的模式。

其目标函数如下：VJe(0)=E[∑t=1Velog πe(atlst)A(stlat)]，π。(atlst)为策略网络，A(stlat)优势公式，可以表示为 A(st,at) = Q(st,at)-V(st)。

2.4.4.深度强化学习算法

1.Deep Q-Network (DQN)：DQN 是一种结合深度神经网络和Q-learning 的算法，可以用于处理离散行动空间的问题。在投资领域，DQN可以用于学习优化的交易策略，通过将当前市场状态作为输入，输出不同行动的Q值，从而指导决策。Deep Q-Network（DQN）是一种结合深度学习和Q-learning 的强化学习算法，最初由DeepMind 在 2015 年的论文 "Human-level control through deep reinforcement learning" 中提

出。在 DQN 中，神经网络被用作函数逼近器，以估计Q 值函数，即给定一个状态和一个行动，预测该行动的期望回报。

传统的Q-learning 依赖于查找表来存储每个状态-动作对的Q值，这在处理大规模或连续的状态空间和动作空间时变得非常困难，因为查找表的大小会随着状态空间和动作空间的大小呈指数增长。DQN 通过使用深度神经网络作为Q函数的逼近器来解决这个问题。

DQN 的关键创新之处在于它引入了两个重要的概念来稳定和改善学习过程：

经验回放（Experience Replay）：DQN 存储了一系列过去的经验（即状态，行动，奖励和新状态的四元组），并在训练时从这些经验中随机抽样，这种做法可以打破数据之间的相关性，并且充分利用过去的经验。

目标网络（Target Network）：为了防止训练过程中Q值的目标和预测同时变动导致的不稳定，DQN 引入了另一个网络（称为目标网络）。目标网络的参数在大部分时间里被冻结，并且周期性地从预测网络（即主网络）复制过来。这样，每个更新步骤的目标Q值都是相对固定的，这大大提高了学习过程的稳定性。

尽管 DQN 在处理视觉输入和复杂任务方面已经取得了显著的成功，但它仍然有一些局限性，例如它只能处理离散的、有限的动作空间，而对于连续的动作空间，DQN不再适用，需要使用其他算法，如DDPG，SAC等。

2.Deep Deterministic Policy Gradient (DDPG)：DDPG 是一种适用于连续行动空间的深度强化学习算法。在投资领域，DDPG 可以用于学习连续型投资决策，如优化资产配置比例。通过训练一个深度神经网络作为策略网络，DDPG 能够在复杂的投资环境中搜索最优策略。它是一种模型自由、离策略的算法，它结合了策略梯度方法和深度 Q-learning 的思想。DDPG 是由 DeepMind 在 2016 年的论文 "Continuous control withdeep reinforcement learning" 中提出的。

DDPG 实际上是一个Actor-Critic方法，但它使用的策略（由Actor 组件实现）是确定性的，而不是像其他方法那样是随机的。同时，它使用了一种名为“确定性策略梯度”的技术，这是一种用于连续动作空间的策略梯度方法。由于这个特性，DDPG 被广泛应用于那些需要连续动作的问题中，如机器人控制和自动驾驶等。

和 DQN 类似，DDPG 也使用了经验回放（Experience Replay）和目标网络（Target Network）来提高学习的稳定性和效果。

其算法流程如下：在每一个时间点，DDPG 代理会在st状态下执行一个动作，at收到奖励rt并到达st+1。转移状态(st,at, St+1,rt)储存在重复缓冲区R中。从R中提取一批N 个转移状态并且更新Q-value yi为：Vi =ri+γ Q(Si+1,μ'(si+1lθ“',θ"))，i =1,., N.然后通过最小化损失函数L(θ)来更新 Critic 网络，其中L(θ)=EstatrtSst+\~bufer(y-Q((s,atl))]。

3.Proximal Policy Optimization (PPO)：PPO 是一种基于策略梯度的深度强化学习算法，适用于连续行动空间和高维状态空间的问题。PP0不鼓励在剪裁间隔之外的大型政策变化，因此有利于提高策略网络训练的稳定性。在投资领域，PP0可以用于优化投资组合的配置，同时考虑到收益和风险之间的平衡。

PPO 通过在目标函数中引入一个剪裁项来简化目标。其算法部分如下：

π(atlst)假设新旧策略的概率比表示为：rt（θ）= 0old(atlst） π 。

剪裁代理目标函数为：JCLIP(0)=Et[min(rt(θ)A(st,at),clip(rt(θ),1-ε,1+∈)A(st,at))]。

其中rt(θ)A(st,at)为正态策略梯度目标，A(st,at)为优势函数的估计。函数clip(rt(θ),1-∈,1+ε)将rt(θ)剪裁到[1－ε,1+e]之间。目标函数取剪裁目标和正常目标的最小值。

4.Trust Region Policy Optimization (TRPO)：TRPO 是一种基于策略梯度的深度强化学习算法，其特点是保证每次更新的策略改进是可信赖的。在投资领域，TRP0可以用于学习优化的投资策略，同时考虑到投资者的风险偏好和目标。

这只是强化学习算法的概述，实际上还有许多其他算法和改进方法，适用于不同的问题和场景。选择适合特定问题的强化学习算法需要考虑问题的特点、计算资源的可用性和算法的稳定性等因素。

三、深度强化学习的投资组合构建应用场景

投资组合维护场景和通用的强化算法是一致的，只是在具体的数据定义上有所转换。在投资组合构建中，定义如下:

图表2：投资组合强化学习场景

数据来源：Deep Reinforcement Learning for Automated Stock Trading，中信建投

3.1.状态的定义

在投资组合构建问题中，状态的定义是非常重要的，它反映了决策时所关注的信息。以下是一些可能用于强化学习建模投资组合构建问题中的状态定义示例：

1.市场状态：可以使用市场指数或相关金融指标来描述市场的整体走势。例如，股票市场的涨跌幅度、利率水平、通胀率等。

2.资产价格：包括各种资产的价格，如股票、债券、商品等。这些价格可以是当前的价格，也可以是一段时间内的平均或历史价格。

3.技术指标：使用技术分析中的指标来衡量资产的走势和市场的动态。例如，移动平均线、相对强弱指标（RSI）、波动率等。

4.经济指标：使用经济数据来衡量宏观经济环境的变化。例如，国内生产总值（GDP）、失业率、消费者物价指数（CPI）等。

5.财务指标：使用公司的财务数据来评估其业绩和价值。例如，营业收入、利润率、负债比率等。

6.历史交易记录：包括过去的交易决策和交易结果，用于学习和预测未来的决策。例如，交易量、买卖订单、交易成本等。

7.现金比重：用于表示投资组合中的现金比例，可以影响投资决策和风险管理。通常只有现金被认为是无风险的。

实际上可以根据具体的问题和可用数据来定义更加复杂和详细的状态。选择适当的状态定义需要考虑到数据的可获得性、特征的信息量以及对投资决策的相关性。强化学习算法可以通过对不同状态的学习和探索来优化投资组合构建的决策策略.

3.2.行动空间的定义

在投资组合构建问题中，行动空间定义了可供智能体选择的不同行动或交易操作。行动空间的设计需要考虑投资策略的灵活性和可行性，以及市场和交易的限制。以下是一些可能的行动空间定义示例：

1.买入/卖出单一资产：智能体可以选择买入或卖出单一资产，如股票、债券、商品等。行动可以包括购买特定数量的资产或出售现有持有的资产。

2.买入/卖出多个资产：智能体可以选择同时买入或卖出多个资产，以构建多样化的投资组合。行动可以包括购买或出售不同资产的不同数量。

3.持有现金：智能体可以选择将一部分资金保持为现金，以应对市场不确定性或保留投资机会。

4.资产配置权重：智能体可以选择调整不同资产的权重分配，以调整投资组合的相对比例。行动可以涉及增加或减少特定资产的权重。

5.动态调整：智能体可以根据市场变化和投资目标的变化动态调整投资组合。行动可以包括根据市场条件和模型的预测进行增减仓、调整权重等。

6.交易限制：行动空间可以受到交易限制的约束，如最小交易单位、交易成本、流动性限制等。这些限制会影响智能体的交易决策。

7.禁止交易：在某些情况下，行动空间可以限制特定的交易行为，如禁止卖空或限制特定类型的交易。

图表3：行动空间定义示例

数据来源：Deep Reinforcement Learning for Automated Stock Trading，中信建投

3.3.奖励函数的设计

奖励函数的设计在强化学习中起着至关重要的作用，它用于对智能体的行为进行评估和反馈。在投资组合构建问题中，奖励函数的设计应该考虑以下几个方面：

1.投资绩效：奖励函数可以基于投资组合的绩效来进行设计。绩效可以使用各种指标，如累积回报率、夏普比率、年化收益率等。奖励可以根据投资组合在时间上的增长或达到特定目标来进行评估。本研报中主要是使用夏普比率来比较三种算法的绩效。

2.风险控制：奖励函数可以考虑投资组合的风险管理能力。这可以通过衡量投资组合的波动性、回撤（drawdown）或损失来实现。奖励可以鼓励智能体在风险可控范围内获取较高的回报，或者避免较大的损失。

3.相对表现：奖励函数可以基于投资组合相对于基准指数的超额表现进行设计。智能体可以受到奖励，当其相对于基准指数表现良好时，或者在相对于基准指数的基础上实现超额收益时。

4.投资策略稳定性：奖励函数可以考虑投资策略稳定性和可持续性。这可以通过鼓励智能体在长期内获得平稳的回报、避免极端风险和频繁的交易来实现。

5.奖励稀疏性：在某些情况下，奖励函数可能是稀疏的，即智能体只能在特定的时间点或特定条件下获得奖励。这可以用于引导智能体在特定时期或特定市场情况下采取特定的行动。

6.交易成本：奖励函数可以考虑交易成本，如手续费、滑点等。这可以鼓励智能体尽量减少交易频率或选择低成本的交易策略。

7.其他因素：根据具体问题和需求，奖励函数还可以考虑其他因素，如税收、流动性要求、投资约束等。

在设计奖励函数时，需要平衡多个目标和因素，并根据具体问题进行权衡。合理的奖励函数应该能够鼓励智能体学习到预期的投资策略，并在投资组合构建问题中实现良好的性能和风险控制。

3.4.转移概率建模

转移概率建模在强化学习中用于描述智能体在不同状态下执行特定行动后的状态转移情况。在投资组合构建问题中，转移概率模型可以帮助智能体理解市场的动态变化和资产价格的演变。以下是几种常见的转移概率建模方法：

1.离散转移概率模型：离散转移概率模型将状态空间离散化，并使用概率矩阵来表示智能体从一个状态转移到另一个状态的概率。概率矩阵可以根据历史数据或领域知识进行估计，或者通过模型学习方法进行建模。离散转移概率模型适用于状态空间有限且离散的情况。

2.连续转移概率模型：连续转移概率模型使用概率密度函数描述智能体从一个状态转移到另一个状态的概率分布。常见的方法包括高斯过程模型、隐马尔可夫模型（HMM）等。这些模型可以通过历史数据拟合参数，并用于预测未来状态的概率分布。

3.基于马尔可夫决策过程（MDP）的转移概率模型：MDP是用于建模序列决策问题的数学框架，其中包括状态、行动、转移概率和奖励函数等要素。在投资组合构建问题中，可以使用MDP来建模状态和行动之间的转移概率。转移概率可以基于历史数据估计或通过领域知识进行建模。

4.深度学习方法：近年来，深度学习方法在转移概率建模中取得了重要进展。使用递归神经网络（RNN)或卷积神经网络（CNN）等深度学习模型可以捕捉状态之间的复杂关系和非线性动态。这些模型可以从历史数据中学习状态转移概率，并用于预测。

四、强化学习在投资组合构建上的实证研究

4.1.训练输入特征

本研报使用2019年12月31日至2023年3月31日的沪深300成分股来进行数据训练。价格数据包括开盘价、最高价、最低价、收盘价和成交量。

在分析中使用的因子特征是CNE7的十大风格因子，具体如下：

1．贝塔：贝塔因子表示股票超额收益对市场加权指数超额收益的线性回归斜率。用于捕捉市场因子无法解释的市场风险。

2．残余波动率：残余波动率用于解释贝塔因子无法捕捉到的高波动率股票收益。

3．大小盘：大小盘因子可以捕捉大盘与小盘股之间的收益差别。

4．中盘股：中盘股因子是与大小盘因子正交化构建的非线性因子，用于解释大小盘因子无法捕捉到的与公司市值相关的股票收益。

5．Earnings Yield（EP）：基于公司收入相对于股价的比率来描述收益差异。

6．Book to Price（BP）：BP 作为价值因子，解释能归因于帐面市值比的股票收益贡献。

7．动量：动量基于过去一段时间内的超额收益来解释股票收益的差异。

8．杠杆率：杠杆率因子用于捕捉高杠杆和低杠杆股票之间的收益差异。

9．流动性：流动性因子捕捉股票的换手率对其收益的影响。

10．成长：成长因子基于公司的销售和盈利增长。

除上述大类因子外，还使用了以下技术指标：

月动量

月换手率

月波动率

周动量

4.2.深度强化学习模型的参数设置

本研报主要选取了3个强化学习模型：即上文中的A2C，PP0，DDPG 强化学习算法来进行训练，每22个交易日调仓一次。而 Ensemble 模型会基于过去一个月（22 个交易日）三个智能体的 Sharpe 比率来选择是其中的一个。A2C，PPO，DDPG 模型训练参数为下图：

图表4:训练测参数

数据来源：中信建投

4.3.训练和测试数据集划分如下

图表5：训练数据

变量	日期
训练开始	2019/12/31
训练结束	2022/7/1
测试开始	2022/7/1
测试结束	2023/3/31

数据来源：中信建投

对比CSI300 指数与我们的Ensemble模型，发现Ensemble模型在多个指标上的表现超越了CSI300。Ensemble模型的年度回报率为2.12%，相比于CSI300的-0.62%有显著提升。同样，累积回报率也由CSI300的-0.39%提高到了1.29%。尽管模型的年度波动率（21.90%）略高于CSI300（16.79%），但通过Sharpe 比率（0.2045vs 0.0460）和Calmar 比率（0.1455vs-0.0367）的对比，我们可以看出 Ensemble 模型在风险调整后的回报上优于CSI300。交易费用未被考虑在内。

此外，Ensemble 模型的稳定性指标（0.0915）显著高于CSI300（0.0241），最大回撤（-0.1454）也小于CSI300（-0.1680），这表明模型在承受市场波动时具有更好的韧性。尽管每日VAR 稍高（-0.0274 vs0.0211），但0mega 比率（1.0366vs1.0079）和 Sortino 比率（0.3153vs0.0714）的表现显示 Ensemble模型在面对下行风险时的表现优于CSI300。总体来看，Ensemble模型在风险和回报的平衡上表现相对出色一点，总体跑赢市场基准。本研报受限于算力资源，并未进行长时间段和多个因子特征来进行训练。

4.4.实证结果分析

图表6:测试期业绩表现

指标 csi300		Ensemble
Annual return	-0. 62%	2.12%
Cumulativereturns	-0.39%	1.29%
Annualvolatility	16.79%	21.90%
Sharpe ratio	0.0460	0.2045
Calmar ratio	-0. 0367	0. 1455
Stability	0.0241	0.0915
Max drawdown	-0.1680	-0. 1454
Omega ratio	1. 0079	1. 0366
Sortino ratio	0. 0714	0.3153
Tail ratio	1.2572	1.1090
Daily value at risk	-0. 0211	-0. 0274

数据来源：中信建投

图表7:时序图

数据来源：中信建投

量化深度报告

4.5.实践中遇到的问题

强化学习在实际投资中具有一定的应用潜力，但也存在一些局限性。以下是强化学习在实际投资中的应用局限性，其中部分问题是所有量化投资面临问题：

1.数据：强化学习对于高质量、可靠的数据的需求较高。投资组合构建需要依赖大量的历史市场数据，而获取高质量的金融数据可能是困难且昂贵的。市场数据的噪声、缺失或不完整性可能会影响强化学习算法的性能和决策质量。如回溯测试中错误地使用了未来的信息就一直困扰量化投资经理和分析师。

2.过拟合：深度强化学习算法容易在训练数据上过拟合，导致在样本外新数据上的表现不佳。智能体在训练过程是很容易过度拟合数据，从在在样本外，特别是有新的事件或消息出现时，智能体决策表现不加。

3.交易执行问题：将学到的投资策略转化为实际的交易操作存在一些技术和执行风险，例如市场流动性、交易成本和交易延迟等。将交易相关数据如市场冲击等也带入模型训练，会进一步加大模型训练复杂程度。需要更强算力来训练模型。

4.高维状态空间和连续行动空间：投资组合构建问题通常涉及到多个资产，因此状态空间往往具有高维度的特征。同时，行动空间可能是连续的，需要在无限精度下选择最佳行动。处理高维状态空间和连续行动空间对于传统的强化学习算法可能具有挑战。

5.不稳定的市场环境：不等同于自然科学，金融市场是动态变化的，市场条件可能在短时间内发生剧烈变化。这种不稳定性可能导致在训练阶段表现良好的模型在实际应用中失效。强化学习算法需要具备鲁棒性和适应性，以应对不断变化的市场条件。

6.风险管理和不确定性：投资组合构建涉及到风险管理和不确定性的因素，如算法通常无法直接捕捉和模拟人类行为。强化学习算法需要考虑风险偏好、回报预期和风险控制等方面的因素，以制定合适的投资策略。同时，模型的预测和决策也受到市场波动性和未来不确定性的影响。

7.解释性和可解释性：在实际投资中，投资交易决策的可解释性和解释性非常重要。投资机构需要能理解模型的决策逻辑和背后的原因，以便进行合理的解释和解读而进行下一步的研究。然而，深度强化学习算法通常是黑盒模型，其决策过程可能缺乏直观的解释性。当智能体复杂到一定程度时，人类分析师很难观察模型训练过程，从而进行下一步的干预和调试。

五、风险提示

本报告中的深度学习模型计算可能存在偏误，模型存在对训练样本数据过拟合风险，过去的业绩并不代表未来的表现。机器学习建模是对历史经验的总结，模型所学习到的市场规律在未来可能失效。因此，投资者在应用这些方法时应谨慎，并意识到市场风格的变化以及极端行情等因素可能对模型有效性造成影响。投资者需要根据自身情况自主选择合适的方法，并自行承担相应的风险。本报告中所介绍的方法论并不构成对投资者获利的保证，也不构成具体的投资建议。

六．参考文献

[1] Ronald J Williams. 1992. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learning 8, 3 (1992),229-256.

[2] Haoran Wei, Yuanbo Wang,Lidia Mangu,and Keith Decker. 2019.Model-based reinforcement learning for predictions and control for limit order books. arXiv preprint arXiv:1910.03743 (2019).

[3] Zhuoran Xiong, Xiao-Yang Liu, Shan Zhong, Hongyang Yang,and Anwar Walid. 2018. Practical deep reinforcement

learning approach for stock trading. arXiv preprint arXiv:1811.07522 (2018).

[4] Jingyuan Wang, Yang Zhang, Ke Tang, Junjie Wu, and Zhang Xiong. 2O19. Alphastock: A buying-winners-and-selling-losers investment strategy using interpretable deep reinforcement attention networks. In Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery &data mining. 1900-1908.

[5] Shuo Sun, Rundong Wang,and Bo An.2021. Reinforcement learning for quantitative trading. arXiv preprint arXiv:2109.13851 (2021).

[6] Stelios D. Bekiros,“Fuzzy adaptive decision-making for boundedly rational traders in speculative stock markets,” European Journal of Operational Research, vol.202, no.1,pp.285-293,April 2010.

[7] Yong Zhang and Xingyu Yang,“Online portfolio selection strategy based on combining experts’ advice,” Computational Economics, vol. 50, 05 2016.

[8]Youngmin Kim, Wonbin Ahn,Kyong JooOh,and David Enke,“An intellgent hybrid trading system fordiscovering trading rules for the futures market using rough sets and genetic algorithms,” Applied Soft Computing, vol. 55,pp. 127- 140, 02 2017.

[9] Volodymyr Mnihetal.,“Human-levelcontrol through deepreiforcement learning,”Nature,vol.518,no.7540,pp. 529-533,2015.

[10] Yves-Laurent Kom Samo,“Machine learning for stock selection,”Master's thesis, University of Twente, 2018

[11] Yang, H.et al, “Deep Reinforcement Learning for Automated Stock Trading: An ensemble strategy”， SSRN Electronic Journal,2020

分析师介绍

陈果：中信建投证券董事总经理（MD）、研委会副主任、首席策略官。复旦大学理学学士，上海交通大学金融硕士，曾任安信证券首席策略师，研究中心副总经理。因市场把握准确闻名，2020年疫情冲击下的市场底部提出“黄金坑”与“复苏牛”。2021年提出从茅指数到宁组合，是“宁组合”的首创者。曾多次荣获新财富、水晶球和金牛奖中国最具价值分析师等奖项，也是A股市场最具影响力的策略分析师之一。

研究助理

徐建华，总监，多因子与ESG策略组负责人，先后就职于MSCIBarra公司和标普公司等专业研究机构，具有十多年金融市场研究、统计建模等专业经验。为多家银行、基金和保险等资管客户提供因子模型、投资组合优化管理、基金评价、指数研究以及风险管理等咨询。

研究助理 MSCIBarra及美国贝莱德集团等，主要负责多资产量化模型和策略研究、指数，陈添奕，多因子与ESG策略组研究员，美国杜克大学经济学硕士，FRM，曾任基金研究和FOF策略、ESG、气候风险，资产组合管理系统等投资研究服务。

评级说明

投资评级标准		评级	说明
报告中投资建议涉及的评级标准为报告发布日后6个月内的相对市场表现，也即报告发布日后的6个月内公司股价（或行业指数）相对同期相关证券市场代表性指数的涨跌幅作为基准。A 股市场以沪深 300 指数作为基准；新三板市场以三板成指为基准；香港市场以恒生指数作为基准；美国市场以标普 500 指数为基准。	股票评级	买入	相对涨幅15%以上
		增持	相对涨幅5%-15%
		中性	相对涨幅-5%-5%之间
		减持	相对跌幅 5%-15%
		卖出	相对跌幅15%以上
	行业评级	强于大市	相对涨幅10%以上
		中性	相对涨幅-10-10%之间
		弱于大市	相对跌幅10%以上

分析师声明

本报告署名分析师在此声明：（i）以勤勉的职业态度、专业审慎的研究方法，使用合法合规的信息，独立、客观地出具本报告,结论不受任何第三方的授意或影响。（ii）本人不曾因，不因，也将不会因本报告中的具体推荐意见或观点而直接或间接收到任何形式的补偿。

法律主体说明

本报告由中信建投证券股份有限公司及/或其附属机构（以下合称"中信建投"）制作，由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。中信建投证券股份有限公司具有中国证监会许可的投资咨询业务资格，本报告署名分析师所持中国证券业协会授予的证券投资咨询执业资格证书编号已披露在报告首页。

在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。本报告作者所持香港证监会牌照的中央编号已披露在报告首页。

一般性声明

本报告由中信建投制作。发送本报告不构成任何合同或承诺的基础，不因接收者收到本报告而视其为中信建投客户。

本报告的信息均来源于中信建投认为可靠的公开资料，但中信建投对这些信息的准确性及完整性不作任何保证。本报告所载观点、评估和预测仅反映本报告出具日该分析师的判断，该等观点、评估和预测可能在不发出通知的情况下有所变更，亦有可能因使用不同假设和标准或者采用不同分析方法而与中信建投其他部门、人员口头或书面表达的意见不同或相反。本报告所引证券或其他金融工具的过往业绩不代表其未来表现。报告中所含任何具有预测性质的内容皆基于相应的假设条件，而任何假设条件都可能随时发生变化并影响实际投资收益。中信建投不承诺、不保证本报告所含具有预测性质的内容必然得以实现。

本报告内容的全部或部分均不构成投资建议。本报告所包含的观点、建议并未考虑报告接收人在财务状况、投资目的、风险偏好等方面的具体情况，报告接收者应当独立评估本报告所含信息，基于自身投资目标、需求、市场机会、风险及其他因素自主做出决策并自行承担投资风险。中信建投建议所有投资者应就任何潜在投资向其税务、会计或法律顾问咨询。不论报告接收者是否根据本报告做出投资决策，中信建投都不对该等投资决策提供任何形式的担保，亦不以任何形式分享投资收益或者分担投资损失。中信建投不对使用本报告所产生的任何直接或间接损失承担责任。

在法律法规及监管规定允许的范围内，中信建投可能持有并交易本报告中所提公司的股份或其他财产权益，也可能在过去12个月、目前或者将来为本报告中所提公司提供或者争取为其提供投资银行、做市交易、财务顾问或其他金融服务。本报告内容真实、准确、完整地反映了署名分析师的观点，分析师的薪酬无论过去、现在或未来都不会直接或间接与其所撰写报告中的具体观点相联系，分析师亦不会因撰写本报告而获取不当利益。

中信建投证券研究发展部

中信建投（国际）

北京

东城区朝内大街2号凯恒中心B座12层

上海

深圳

上海浦东新区浦东南路528 号

香港

福田区福中三路与鹏程一路交

南塔2103室

中环交易广场2期18楼

电话：（8610）8513-0588

汇处广电金融中心35 楼

电话：（8621）6882-1600

电话：（86755）8252-1369

电话：（852）3465-5600

联系人：李祉瑶

联系人：翁起帆

联系人：曹莹

联系人：刘泓麟

邮箱：lizhiyao@csc.com.cn

邮箱：wengqifan@csc.com.cn

邮箱：caoying@csc.com.cn

邮箱：charleneliu@csci.hk

START YOUR FINANCE

起点财经，网罗天下报告

基于深度强化学习的沪深300选股

核心观点

主要结论

多因子与ESG策略

市场表现

相关研究报告

每日 免 费 获取 报告 □

目录

图表目录

引言

1.1.研究背景

1.2.报告结构概述

二、深度强化学习

2.1.深度强化学习

2.2.马尔可夫决策过程

MDP 由以下要素组成：

2.3.值函数和策略

2.3.2.策略（Policy）

2.4.强化学习算法概述

2.4.1.基于值

Q-learning 算法的基本步骤如下：

SARSA算法及其扩展：

SARSA算法的基本步骤如下：

SARSA的扩展算法包括：

2.4.2.基于策略

2.4.3.基于值和策略

2.4.4.深度强化学习算法

三、深度强化学习的投资组合构建应用场景

3.1.状态的定义

3.2.行动空间的定义

3.3.奖励函数的设计

3.4.转移概率建模

四、强化学习在投资组合构建上的实证研究

4.1.训练输入特征

4.2.深度强化学习模型的参数设置

4.3.训练和测试数据集划分如下

4.4.实证结果分析

4.5.实践中遇到的问题

五、风险提示

六．参考文献

分析师介绍

研究助理

评级说明

分析师声明

法律主体说明

一般性声明

中信建投证券研究发展部

START YOUR FINANCE

每日免费获取报告 □

AI模型研究第一期：基于深度强化学习的沪深300选股-20230711-中信建投-19页