pfp：PFP：面向材料发现的通用神经网络

《PFP: Universal Neural Network Potential for Material Discovery》

PFP：面向材料发现的通用神经网络势。计算材料发现正处于紧张的研究之中，因为它有能力探索化学系统的广阔空间。神经网络势(NNP)及其相应的数据集已被证明在为这种目进行原子仿真时特别有效。然而，现有的NNP通常是为相当狭窄的目标材料和领域设计的，不适合材料发现中更广泛的应用。为克服这个问题，本文开发了一种名为PFP的通用NNP，能在广泛的条件下处理45种元素的任意组合。本文特别强调训练数据集的生成，其中包括一组不同的虚拟结构，以实现NNP的普遍性。此外，NNP的结构被设计为能训练这种多样化的数据集。展示了PFP的适用性，在选定领域：LiFeSO4F中的锂扩散，金属有机框架中的分子吸附，Cu-Au合金的有序-无序转变，以及费托合成催化剂的材料发现。这些例子展示了PFP的力量，这项技术为材料发现提供了一个非常有用的工具。

摘要

计算材料发现因其探索化学系统广阔空间的能力而受到广泛研究。神经网络势（NNP）及其相应的数据集已被证明在进行原子模拟时特别有效。然而，现有的NNP通常设计用于相当狭窄的目标材料和领域，因此不适合在材料发现中的更广泛应用。为了克服这个问题，我们开发了一个名为PFP的通用NNP，能够在各种条件下处理45种元素的任何组合。特别强调训练数据集的生成，其中包括一组不同的虚拟结构，以实现NNP的普遍性。此外，NNP体系结构被设计为能够训练这种多样的数据集。我们证明了PFP在某些领域的适用性：LiFeSO4F中的锂扩散、金属有机框架中的分子吸附、Cu-Au合金的有序-无序转变，以及费托催化剂的材料发现。这些例子展示了PFP的威力，这项技术为材料发现提供了非常有用的工具。

1.介绍

寻找新的有用材料是一项艰巨的任务。由于现实世界中可能存在的材料组合的数量巨大[1]，因此需要仅依靠计算机模拟的材料探索方法，以便在可行的时间内搜索大量候选材料。

解决材料探索问题的一种方法是量子化学模拟，例如基于密度泛函理论（DFT）的方法，因为材料的许多性质都源于原子级现象。然而，量子化学计算通常需要巨大的计算资源，这限制了该方法在材料发现中的实际应用，原因有二。首先，现实世界中感兴趣的现象通常涉及时间和空间尺度，远远超过量子计算的限制，量子计算通常是几百个原子和亚纳秒尺度。其次，在计算材料发现过程中，需要进行许多模拟来探索构型空间。

为了解决这些挑战，人们开发了几种替代的计算模型来直接估算原子结构的势能面。例如，被称为经验势的传统方法（将原子间的相互作用建模为解析函数的组合）已经开发出一些成功的方法，包括简单的成对模型[2]、金属[3,4]、共价键[5]和反应模型现象[6,7]最近，一些基于机器学习的方法被提出，包括高斯过程[8–10]和支持向量机。[11]

近年来，由于神经网络（NNs）的高表达能力以及大规模数据集的可用性，神经网络势（NNP）正迅速受到关注。随着数据集和模型的发展，NNP的应用范围逐渐扩大。作为分子系统的基准，涵盖小分子可能模式的QM9数据集[12,13]已被广泛使用。最初，有机分子的NNP主要关注H、C、N和O，它们是有机分子中的主要元素。在随后的工作中，NNP被扩展到包括S、F和Cl等元素[14,15]，对于针对晶体结构的NNP[16,17]，Materials Project[18]是一个基于DFT计算的大规模材料数据库，通常用作基准数据集。以催化反应中的分子吸附为目标的Open Catalyst项目构建了一个大规模的表面吸附结构数据集，称为Open Catalyst 2020（OC20）数据集。[19,20]通过这种方式，NNP覆盖的区域逐渐扩大。

然而，将NNP应用于计算材料发现仍然存在重大挑战。一个尚未解决的问题是如何实现准确评估未知结构特性所需的泛化。所有之前提出的数据集都是基于已知结构生成的，因此，由此类数据集训练的模型仅适用于有限的构型空间。通过预先定义要模拟的系统，可以减少要生成的原子和元素组合的局部配置，从而显著降低创建模型的难度。然而，这种方法的缺点是有必要为每个感兴趣的结构重新创建NNP和数据集。例如，Open Catalyst项目明确指出，之前的数据集不适合其吸附任务。

与之前数据集中描述的任务不同，在材料探索过程中，对未知或假设材料的模拟非常常见。因此，将目标域限制为现有材料是不可取的。这就是当前NNP的要求与材料勘探之间存在重大差距的地方。这种差异类似于计算机视觉中特定物体识别和一般物体识别之间的差异。最近，研究表明，在不同的任务中，无论目标域是什么，神经网络的损失都会随着数据集的大小和合适模型的神经网络参数的数量而遵循幂律。[21,22]因此，即使数据集具有高度多样性，NNs也能够实现高精度。这一结果鼓励我们，有一种方法可以使用足够的数据集和模型体系结构来克服这一具有挑战性的任务。

因此，在本研究中，我们从数据集和NNP体系结构这两个方面解决了这项具有挑战性的任务。对于数据集，我们没有收集真实的、已知的稳定结构，而是积极收集了一个包含不稳定但可能重要结构的数据集，以提高模型的鲁棒性和泛化能力。该数据集包括各种晶体系统和分子结构中元素不规则替换的结构，多种不同元素同时存在的无序结构，以及温度和密度变化的结构。由于我们的数据集包含许多假设的和不稳定的结构，训练可能比现有的数据集困难得多，因为现有的数据集只包含真实的结构。NNP体系结构也是在这种高度多样化的数据集的前提下开发的。该架构应该处理许多元素，而不会出现组合爆炸。此外，它还可以利用高阶几何特征并处理必要的不变性。

最后，我们创建了一个通用的NNP，称为PFP（首选势），它能够处理周期表上45个选定元素的任意组合。我们使用PFP对多种系统进行了模拟，包括：i）LiFeSO4F中的锂扩散，ii）金属有机框架中的分子吸附，iii）Cu-Au合金有序-无序转变，以及iv）费托催化剂的材料发现。所有结果表明，PFP在数量上具有优异的性能。所有这些结果都是通过一个单一的模型复制的，在这个模型中，没有关于这四种系统的先验信息被用作训练的先决条件。

2.Benchmark

2.1NN architecture benchmark using OC20 dataset

在讨论主要结果之前，我们将首先展示PFP架构的性能。如引言部分所述，OC20数据集以晶体表面的吸附结构为目标。数值实验表明，这是一项比分子或晶体结构数据更具挑战性的任务。我们使用这个数据集来评估PFP架构的性能。

首先，我们展示了PFP架构在结构到能量和力量（S2EF）任务中的性能[20]。我们使用S2EF 2M数据集作为训练数据，它是一个子数据集，比OC20提供的最大数据集小两个数量级。为了进行评估，我们使用了验证数据集，该数据集未用于培训过程。基线模型（SchNet和DimeNet++）的值与测试数据集相对应。结果如表1所示。与基线模型相比，PFP架构显示出良好的性能。

需要强调的是，尽管OC20数据集涵盖了广泛的吸附结构，但使用OC20数据集训练的模型不足以完成我们在本研究中定义的材料发现任务。作为演示，我们使用仅使用OC20数据集和DimeNet++训练的PFP体系结构计算了硅的各种晶体结构的能量和密度，DimeNet++在现有OC20排行榜中得分优异。

结果显示，两种模型的趋势相似。第一个问题是稳定结构估计。用OC20训练的DimeNet++和PFP体系结构都未能估计菱形结构在这两种体系结构中最稳定。对于DimeNet++来说，最稳定的结构是体心立方（BCC），对于使用OC20训练的PFP架构来说，最稳定的结构是面心立方（FCC）。当在金刚石结构阶段模拟硅时，这种不一致性可能不是问题。然而，这是材料勘探任务中的一个问题，预计其他构造将更加稳定。第二个问题可以在大变形系统中找到。当绘制能量面与体积变化的关系图时，通常会发现另一个稳定点远离原始的稳定键距离。详细结果见补充资料。这些问题被认为是由于数据集所涵盖的结构的有限多样性造成的。结果表明，我们需要注意数据集中结构的多样性，以建立一个普遍适用的NNP用于材料发现。

2.2 PFP regression benchmarks for our dataset

现在，我们继续评估在我们的数据集上训练的模型（详情见第VI B节）。我们从自己的测试数据集中提取了三种类型的子数据集。

第一类是无序结构。结构生成过程如下：首先，从周期表中随机选择原子，并将其放置在模拟单元中。接下来，通过MD模拟，系统在约10000 K下熔化。然后，在2000 K下进行额外的MD模拟。原子数、单个系统中的元素总数和密度都被设置为不同的值，以扩大结构多样性。单个结构中的原子数通常为32。以这种方式创建的结构预计将覆盖广泛的相空间，几乎不依赖于先验知识。该数据集预计将对模型的普遍性提供高度严格的评估。以这种方式产生的结构是一类最具挑战性的结构，因为它们具有高度无序的性质。事实上，在实际问题中遇到的结构通常比这些无序结构在能量上更稳定。

第二类由吸附结构组成。它由晶体表面和小分子组成，这些小分子足够紧密，可以相互作用。分子被随机放置在表面上。

第三类是通过正常模式取样（NMS）产生的分子结构。具体来说，这是指含有八个重原子（C、N、O、P、S）的有机分子的结构，其原子位置通过NMS方法波动。[14]

这些子数据集的能量和力预测性能如表II所示（1˚A=10−10米）。对于最后两个真实的子数据集，我们可以看到PFP能够以高精度进行预测。

我们还测量了计算速度。对于使用PFP的3000个铂原子系统，计算时间为0.3秒。相反，同一系统的估计典型DFT计算时间约为2个月，这意味着PFP比DFT快2000万倍。

补充资料中提供了与本节相对应的详细散点图和估算DFT计算时间的方法。

3. APPLICATIONS

3.1 Lithium diffusion 锂扩散

3.1.1 Background

应用的第一个例子是锂离子电池中的锂扩散。锂离子电池用于各种应用，如便携式电子设备和电动汽车。近几十年来，锂离子电池的需求一直在增长，新的电池材料也被开发出来。锂离子电池的基本特性之一是充放电率。更快的锂扩散，即更低的锂扩散活化能，导致更快的充电和放电速率。DFT计算已广泛应用于锂离子电池材料[23,24]，还计算了各种材料的锂扩散活化能。[25,26]活化能计算需要准确的过渡态估计，以及初始状态和最终状态。过渡态是初始状态和最终状态之间反应路径中的一级鞍点。为了正确获得过渡态的结构和能量，即使在一阶鞍点附近，也需要一个平滑且可重复的电势，这与几何优化结构和谐波振动相去甚远。轻推弹性带（NEB）方法[27]是获得反应路径最广泛使用的方法之一，该方法的改进版本爬升图像NEB（CI-NEB）[28]可以获得过渡状态。

塔夫莱特结构（tavorite）的LiFeSO4F（P 1）是高电压为3.6 V的锂离子电池正极材料之一[29]根据现有的DFT计算，这种材料表现出一维扩散，即锂在一个方向上的扩散活化能较低。[30]我们使用PFP通过CI-NEB方法计算了LiFeSO4F中锂扩散的活化能，并将结果与现有DFT计算结果进行了比较。

3.1.2 Calculation method

LiFeSO4F的脱锂结构，即FeSO4F的结构，是通过去除LiFeSO4F单元电池中的所有锂，然后在保持对称性的同时几何优化电池参数和位置而获得的。所有的CI-NEB计算都是用一个锂原子和一个2×2×2的FeSO4F超级电池进行的。化学式为Li1\/16FeSO4F。细胞参数冻结为FeSO4F的参数。[111]和[101]方向上的扩散路径分别包含三个扩散跳，而[100]方向上的扩散路径包含一个扩散跳。[29]每次CI-NEB计算的NEB图像数为9。

 图1锂的扩散路径投射到一个2×2×2的FeSO4F超级电池上。元素由白色球体（氧）、黑色球体（氟）、深灰色八面体（铁）和浅灰色四面体（硫）表示。红色小球代表[111]方向上的锂扩散路径，从大绿色小球（初始锂位）到大红色小球（最终锂位）。[101]和[100]方向上的扩散路径分别用紫色和蓝色球体表示。该图是用VESTA可视化软件包绘制的。[31]

3.1.3 Results and discussion

获得的锂扩散路径如图1所示，活化能如表III所示。PFP在一个GPU上总共约5分钟进行此计算。PFP定性地再现了DFT的结果，即LiFeSO4F呈现一维扩散。此外，在定量上，PFP以高精度再现DFT结果。虽然在生成PFP的训练数据中没有明确给出过渡态或反应路径，但可以正确推断远离稳态的过渡态能量和稳态的谐波振荡。因此，这些有希望的结果不仅表明了PFP对工业重要材料的能力，而且表明了它的外极性。

3.2 Molecular adsorption in metal-organic framework 金属有机骨架中的分子吸附

3.2.1 Background

MOF-74是一种金属有机骨架（MOF），具有一维孔结构，由DOBDC配体桥接的金属（M）-氧化物节点组成（DOBDC=2,5-二氧基-1,4-苯二甲酸酯）。由于其独特的结构和性能，它是早期研究的MOF之一。[33]MOF-74有多种版本，金属为镍、钴、镁、锌及其组合。由于水热合成，金属节点通常与水分子配位。样品需要在200°C下退火脱水，以去除水分子并形成开放的金属位置。这些位置可以是各种小分子的吸附位置，也可以作为催化反应的金属中心。这种材料是测试PFP性能的理想材料，因为其复杂的化学结构包含具有独特结晶孔结构的有机和无机部分。如果不高度调整势参数，这样的系统通常很难被传统的经典原子间势重现。量子化学计算，如DFT方法，可能会避免此类问题，以换取巨大的计算成本。因此，PFP具有通用性和计算量小的优点。

 图2 沿c轴观察水合MOF-74-Mg的晶体结构。元素由红色（氧）、橙色（镁）、灰色（碳）和白色（氢）表示。

3.2.2 Calculation method

本节中的结果计算如下。在完全脱水（θ=0）和完全水合（θ=1）条件下，使用PFP优化MOF-74（M）的几何结构。几何优化的收敛标准是任何原子上的最大作用力达到5 meV\/˚A以下。Broyden–Fletcher–Goldfarb–Shanno（BFGS）算法用于优化单元几何和原子位置。[33]在使用PFP计算的能量和力的基础上，还考虑了色散相互作用。为此，采用了Grimmes D3模型。[34]为了最大限度地提高色散校正计算的效率，我们使用Pytork[35]实现了GPU加速版DFT-D3，并使其开源（https:\/\/github.com\/pfnet research\/torch dftd）。为了计算H2O分子的吸附能，将单个水分子与相应的MOF-74放在同一个模拟单元中，即可计算出孤立H2O分子的能量。最后，水分子的平均结合能由下式给出：

其中EMOF+NH2O×H2O，EMOF，EH2O分别是完全水合MOF、脱水MOF和孤立水分子的总能量。NH2O是系统中的水分子数，在所有情况下为18。根据这个定义，化合物越稳定，活性越强∆E

3.2.3 Results and discussion

我们首先使用PFP检查了优化结构的预测细胞几何形状。与已报道的实验晶体结构的比较如表IV所示。预测晶格参数与实验晶格参数之间的一致性极好；整体体积变化仅在几%以内。水合后，锌和镍的电池体积分别增加0.3%和5.6%。

如上所述，MOF-74（M）的金属中心作为特定分子的吸附位点，通常与合成的水分子结合。需要在干燥条件下，在200°C左右的高温下加热，以去除它们。因此，水分子的结合能可以测量小分子与金属中心相互作用的强度。

表V列出了每个MOF-74中具有不同金属中心的水分子的平均结合能。我们的预测和文献之间的一致性令人印象深刻。最大的偏差出现在Mg的情况下，误差超过10%，但所有其他情况下的平均误差都在几个百分点以内。最重要的是，PFP以定量的方式正确预测了水分子结合能的趋势。需要强调的是，本节中检查的MOF和金属有机络合物均未在创建PFP的培训数据中明确给出。因此，PFP从某种程度上学会了从孤立分子和周期性固体的能量和力来正确预测这种结构中金属中心和水分子之间的相互作用。这一有希望的结果进一步确保了PFP的通用性，并适用于筛选广泛的材料，而无需事先了解特定类别的材料。

3.3 Cu-Au alloy order-disorder transition Cu-Au合金有序-无序转变

3.3.1 Background

一些贵金属合金因其催化活性而闻名，并在实验和理论上进行了广泛的研究。例如，金-铜合金是一种经过充分研究的催化剂，用于氧化CO和选定的醇。[45–47]

局部微观结构和原子排列对催化剂的性能至关重要。CuAu合金是一个特别有趣的例子，因为它在很宽的成分范围内完全可混溶，并表现出有序-无序转变。[48]已知临界温度取决于合金的成分，文献中对此进行了充分研究。[49]

3.3.2 Calculation method

为了证明PFP的适用性，我们进行了Metropolis Monte Carlo（MC）模拟，以研究不同成分的Cu-Au合金中有序相和无序相之间的转变温度。计算是在三种不同的成分下进行的：CuAu3、CuAu和Cu3Au-定义有序结构。每个单元扩展为4×4×4单元，并用作起始几何体。

MC移动由Metropolis采样执行。[50]任意一对原子交换，能量发生变化(∆E） 被记录下来了。然后是玻尔兹曼因子，exp(−∆E\/kBT），并与根据均匀分布随机选择的0到1之间的给定数字进行比较，以确定是否接受或拒绝移动。如果随机数小于玻尔兹曼因子，则接受移动，否则拒绝移动。MC循环在200000个步骤上迭代，以确保平衡。MC运行的最终结构以Voronoi加权Steinhardt参数为特征。[51]这些参数适用于表征原子排列的有序性。

图3 Voronoi加权Steinhardt的CuAu3（左）、CuAu（中）和Cu3Au（右）参数。

3.3.3 Results and discussion

图3总结了MC模拟结果结构的特征。有序-无序转变的估计温度很好地再现了实验数据（CuAu3:440–480 K，CuAu:670–700 K，Cu3Au:660–670 K）。[49]计算的有序参数显示了从有序相到无序相的明显转变。低温下的完美有序结构有一个定义良好的有序参数，可以看作是一个单点。另一方面，随着温度升高，扰动出现，绘图变得分散。计算出的转变温度CuAu3的温度为400-500K，CuAu的温度为700-800K，Cu3Au的温度为700-800K。这些趋势与文献中报道的转变温度一致，并证明了PFP的适用。

3.4 Material discovery for a Fischer–Tropsch catalyst 费托催化剂的材料发现

3.4.1 Background

在多相催化的背景下给出了另一个展示PFP威力的例子。费托反应是由氢和一氧化碳合成碳氢化合物的过程，涉及多种基本化学反应。[52,53]这种反应过程对于从可再生和可持续能源中生产燃料尤为重要。在本例中，我们将重点关注CO表面上的甲烷化反应和CO解离过程。

3.4.2 Calculation method

合成气的甲烷化反应在文献中有很好的记载。[54]特别是，研究了Co（0001）表面上的20个基本反应，并将相应的活化能与文献报道的值进行了比较。每个模拟单元由45个钴原子和5个原子层组成。只有底部的3层受到约束，其余的层可以放松。真空大小设置为10˚A。几何结构得到优化，直到所有原子的最大作用力达到0.05 eV\/˚A以下。激活能由CI-NEB使用每个过程的14张图像确定。计算中还包括零点能量修正。

图4 合成气在Co（0001）上甲烷化反应活化能的比较。纵坐标和横坐标分别代表PFP预测值和参考DFT值。数据中还包括过渡态的零点能量修正。

3.4.3 Results and discussion

 图4比较PFP和报告值之间的计算活化能。[54]相关系数为0.98，平均绝对误差为0.097 eV，表明PFP在预测此类化学反应的活化能时具有高保真性。

基于PFP的高保真度，我们探索了CO表面上CO解离反应的可能启动子元件。CO离解是FT过程整体反应机理的关键部分。据报道，纯Co表面的活化能约为1eV，但需要降低活化势垒，文献中已经报道了一些努力。[55]然而，这种勘探的DFT计算需要很高的计算成本，PFP可以加速这种筛选过程。具体来说，我们探索了CI-NEB在CO（1121）台阶表面上的CO解离反应途径。在启动子搜索过程中，用启动子元素随机替换Co原子，并在表面上重复CI-NEB计算。CI-NEB在每一个表面机器上重复20次，并获得活化能列表。

图5。（a） CO解离的标准化活化能。（b） 含V助剂的CO（1121）表面的CO吸附构型。原子由Co（粉色）、O（红色）、C（小灰）和V（大灰）表示。

我们选择了以下11种元素（Ag、Ce、K、Li、Mg、Mn、Na、Pt、Ru、V、Zn）进行研究，因为它们在文献中经常被发现是某些反应的促进剂。结果如图5（a）所示。在列表中，发现V的减少最为显著（约40%）；其他研究表明，对激活屏障的影响相当小。图5（b）显示了带有V的CO吸附CO（1121）的最低能量组态。发现CO分子横跨CO和V桥位置。事实上，一些实验研究已经报道了Co的活化能显著降低V，尽管我们在没有任何文献先验知识的情况下确定了该元素。[56,57]我们的发现和文献之间的一致性是一致的。令人鼓舞的是，我们的方法可以促进PFP在多相催化等复杂系统中的应用。

4. FUTURE WORKS

我们正在积极开发新版本的PFP。在数据集方面，有三个正在进行的项目：进一步扩展元素种类，支持多个U参数，以及扩展结构多样性，包括过渡态和缺陷。在体系结构开发方面，当前的兴趣是引入原子间电荷转移和长程相互作用的显式模型。本工作中使用的PFP是版本0。下一个版本的开发正在进行中。

5.结论

我们已经开发了一个名为PFP的通用NNP，它适用于具有45个元素的任意组合的系统。PFP使用单一模型，以高定量精度描述了一组多样的现象。我们将PFP的外极性归因于体系结构的高表示能力，以及数据集中各种结构的收集和训练。我们的结果鼓励我们，构建一个统一的NNP的方法，而不是为每个目标任务训练一个独立的NNP，是有希望的。虽然我们只展示了几个选定的应用，但我们预计PFP将应用于其他领域，包括材料发现。