近日，张凯团队在智能注采优化研究领域取得新进展，相关研究成果在期刊SPE Journal上发表，论文题为《Dual- Reward Reinforcement Learning with Intrinsic Exploration Mechanisms for Real-Time Reservoir Management》（基于内在探索机制的双奖励强化学习实时油藏管理方法）。

创新性：现有强化学习油藏生产优化方法虽然在高维动态决策问题中表现出良好潜力，但在复杂油藏环境下仍存在全局探索能力不足、井间关系表达能力弱等问题。基于此，本研究提出了一种基于全局视角的双奖励耦合强化学习生产优化方法，通过构建外在奖励与内在探索奖励协同机制，引导智能体在复杂油藏环境中进行更充分的全局探索。同时，结合图神经网络对井网拓扑结构及井间连通关系进行建模，从而增强模型对油藏动态特征的表达能力。研究中将油藏生产优化问题建模为马尔可夫决策过程，利用随机网络蒸馏构建内在奖励机制，并结合深度强化学习实现实时注采优化。结果表明，该方法能够有效提升复杂油藏中的全局搜索能力，获得更高净现值及更优水驱开发效果。

中文摘要：储层的非均质性导致开发效果对注采制度极为敏感，合理的生产优化策略是实现均衡驱替与高效开发的关键。传统生产优化方法普遍存在计算复杂、全局寻优能力不足以及难以适应复杂动态油藏的问题。近年来，强化学习因其在序列决策与高维优化中的优势，被广泛应用于油藏生产优化。然而，现有强化学习方法在复杂油藏环境中探索能力有限，容易陷入局部最优，同时缺乏对井网结构和井间连通关系的有效表达。针对上述问题，本文提出了一种基于全局视角的双奖励耦合强化学习生产优化方法。具体而言，将油藏生产优化问题构建为马尔可夫决策过程，通过引入内在奖励机制鼓励智能体对未知状态空间进行深度探索，从而增强其全局优化能力。同时，将图神经网络引入强化学习框架，通过井网结构建立井间连接关系，提升模型对油藏动态特征及空间关联性的学习能力。在奖励机制设计中，以净现值作为外在奖励，并基于随机网络蒸馏方法构建内在探索奖励，用于衡量模型对未知环境状态的预测不确定性，从而增强智能体探索新状态的能力。基于两个油藏模型得出的模拟结果表明，与其他优化方法相比，所提出的方法能获得更高的净现值（NPV），并且在油藏驱油效果方面表现尤为出色。

SPE Journal期刊涵盖了石油和天然气勘探和生产工程的各个方面的新理论和新兴概念，包括钻井和完井、地质力学、生产和设施、油田化学、二氧化碳封存和注入、储层评价和工程、数值模拟、数据分析、经济、安全、环境和可持续性等。该期刊最新影响因子为3，JCR分区为Q2区，中科院工程技术大类3区。

文章链接：

https://doi.org/10.2118/228320-PA

引用格式：

Xin Guojing, Zhang Kai, Wang Haochen, Sun Zifeng, Zhang Liming, Liu Piyang, Wang Yang, Yao Jun. Dual-Reward Reinforcement Learning with Intrinsic Exploration Mechanisms for Real-Time Reservoir Management[J]. SPE Journal, 2