近日，张凯团队在油藏自动历史拟合研究领域取得新进展，相关研究成果在期刊Geoenergy Science and Engineering上发表，论文题为《A latent space method with maximum entropy deep reinforcement learning for data assimilation》（基于隐变量空间最大熵深度强化学习的数据同化方法）。

创新性：我们提出了一种基于最大熵深度强化学习的潜在空间方法，用于解决数据同化中的高维问题。这一方法通过将降维方法与代理的状态、动作和奖励设置相结合，构建了一个隐变量空间，使得深度强化学习能够扩展至具有大量参数的复杂系统中，从而在一个简化的空间中进行数据同化。此外，采用了最大熵深度强化学习算法Soft Actor-Critic（SAC），以高效地探索参数空间。该方法克服了先前深度强化学习算法仅适用于小规模问题的局限，使其能够处理中等规模甚至大规模的数据同化问题。通过与传统数据同化算法和其他深度强化学习算法在二维合成和三维油藏案例中的对比验证，展示了该方法在数据同化中的有效性。

中文摘要：数据同化旨在通过将模拟结果与观测数据进行匹配，以校准系统中不确定的状态或参数向量，这对于不确定性量化和优化至关重要。尽管传统的数据同化方法在实际应用中显示出了良好的效果，但它们需要精心设计的迭代规则（如梯度、协方差、搜索策略）。深度强化学习（DRL）可以通过试错来解决数据同化问题，而不需要复杂的迭代规则。然而，先前的DRL方法在处理高维数据同化问题时效率不高。在这项工作中，我们提出了一种基于最大熵DRL的潜在空间方法，用于数据同化，将DRL扩展到具有大量参数的复杂系统。通过由人工神经网络表示的代理与数值模拟环境之间的交互，可以在简化的空间中找到解决方案。该方法包含两个关键点。首先，为了使该方法适用于高维问题，我们通过将降维方法与代理的状态、动作和奖励设置相结合，构建了一个潜在空间方法。其次，采用了一种最大熵DRL算法，即Soft Actor-Critic（SAC），以高效地探索参数空间。该方法克服了先前DRL算法仅适用于小规模问题的局限，使DRL能够处理中等规模甚至大规模的数据同化问题。通过与传统数据同化算法和其他深度强化学习算法在二维合成和三维油藏案例中的对比验证，证明了该方法在数据同化中的性能。

《Geoenergy Science and Engineering》涵盖地球能源和可持续碳氢化合物生产领域的广泛内容，旨在发表特别关注能源转型和实现净零排放目标的文章。前身为《Journal of Petroleum Science and Engineering》，2022年的影响因子为4.4，2022年的CiteScore为8.8，2022年JCR分区为Q1区,2022年中科院工程技术大类2区。

文章链接：

https://doi.org/10.1016/j.geoen.2024.213275

引用格式：

Zhang Jinding, Zhang Kai, Wang Zhongzheng, Zhou Wensheng, Liu Chen, Zhang Liming, Ma Xiaopeng, Liu Piyang, Bian Ziwei, Kang Jinzheng, Yang Yongfei, Yao Jun. A latent space method with maximum entropy deep reinforcement learning for data assimilation[J]. Geoenergy Science and Engineering, 2024: 213275. DOI:10.1016/j.geoen.2024.213275.