科研 | WR：基于机器学习算法和基因组数据预测厌氧消化性能

编译：微科盟HushKuo，编辑：微科盟茗溪、江舜尧。

导读  

厌氧消化（AD）建模对于更好地了解过程动力学和提高消化器性能至关重要。由于系统内复杂且未知的交互作用，建模是一项关键但困难的任务。应用成熟的数据挖掘技术，如机器学习（ML）和微生物基因测序技术，有望克服这些挑战。在这项研究中，我们使用来自8个研究小组的基因组数据及其相应的操作参数来研究6种ML算法预测甲烷产量的可行性。对于分类模型，随机森林（RF）仅使用操作参数实现了0.77的精确度，仅使用细菌门水平的基因组数据实现了0.78的精确度。操作参数和基因组数据的组合将预测精度提高到了0.82 (p < 0.05)。对于回归模型，神经网络仅使用细菌门水平的基因组数据获得了0.04的低均方根误差（相对均方根误差 = 8.6%）。RF的特征重要性分析表明，Chloroflexi、Actinobacteria、Proteobacteria、Fibrobacteres和Spirochaeta是前5位重要的门，尽管它们的相对丰度仅在0.1%到3.1%之间。确定的重要特征可以为微生物群落的早期预警和主动管理提供指导。这项研究展示了ML技术在预测和控制AD性能方面的应用前景。

论文ID

原名：Predicting the performance of anaerobic digestion using machine learning algorithms and genomic data

译名：基于机器学习算法和基因组数据预测厌氧消化性能

期刊：Water Research

IF：11.236

发表时间：2021.4.22

通讯作者：Hong Liu

通讯作者单位：俄勒冈州立大学

DOI号：10.1016/j.watres.2021.117182

实验设计与方法

结果

1 使用操作参数通过ML预测AD性能  

首先采用统计方法（PCA和NMDS）初步调查操作参数和甲烷产量之间的相关性。图1显示了前两个主要坐标以可视化样品之间的不同距离和变异性。PCA显示不同甲烷产量之间的清晰分布，表明了不同的运行条件将影响AD性能。NMDS分析也使用操作参数发现了类似的结果（图S1）。虽然PCA/NMDS可以显示不同操作条件下的不同分布，但它可能会在降维时忽略了原始输入和输出特征，这限制了这些方法在AD系统预测中的应用。因此，输入和输出特征之间的隐性相关性要求采用更为先进的数据挖掘技术，根据操作条件来预测AD性能。

为了研究预测AD性能的可行性，我们评估了6个ML算法在预测甲烷产量（图2）时的精确性和kappa值。使用RF开发的模型表现出最高的精确度（0.77±0.04），对应kappa值为0.67±0.06，根据一致性强度的标准，该结果呈现了较大可靠性。使用RF实现的相对高精确度（0.77）可能由其在处理分类数据和不平衡数据方面的优势所贡献。对GLMNET、SVM和NNET训练模型的预测也显示出类似的精确度（~0.75）。使用XGBOST算法的预测精度为0.72，高于使用同一算法进行前期研究获得的精确度（0.66）。KNN模型的精度为0.70±0.07，kappa值为0.54±0.08（中等可靠），这可能是最低的，原因在于它无法处理不平衡的数据集。通过增加输入特征的数量，精确性有可能得到进一步提高。另一方面，操作参数可能会影响微生物群落，而微生物群落越来越被认为是决定AD性能的最关键参数之一。因此，扩大数据集，特别是包括微生物群落数据，可以大大提高预测精确性，丰富对AD过程的认识，例如确定关键的微生物参与者以及微生物物种与甲烷产量之间的关系。

图1 PCA的二维得分图，蓝色代表高甲烷产量，灰色代表中等甲烷产量，橙色代表低甲烷产量。操作数据集的PCA显示了不同甲烷产量之间的清晰分布。

图2 使用不同算法以操作条件作为输入特征预测甲烷产量的精确度和kappa指标。

2 使用基因组数据通过ML预测AD性能

将物种丰富度和均匀度与AD性能定性联系起来可以提高预测精度并揭示甲烷产量与操作参数之间的潜在关系。因此，首先根据细菌和古细菌的相对丰度对来自不同研究实验室的50个样品的微生物群落进行了表征。然后使用前面讨论的6种ML算法开发分类和回归模型，以分别使用细菌和古细菌基因组数据预测AD系统的性能。研究还评估了群落组成成员对AD性能的重要性。

2.1 对应于甲烷产量的微生物群落表征

不同分类水平的三个甲烷产量组对应的细菌和古菌群落的分类分布如图3所示。对于细菌群落，低、中和高甲烷产量中主导的Firmicutes的相对丰度分别为45.8%、41%和46.8%，其次是Bacteroidetes，丰度为29%。、11%和22%。有趣的是，三组之间Thermotagae门的相对丰度存在显著差异。低甲烷产量组只有0.5%的Thermotagae，但中高甲烷产量组丰度为35%和13%。在目水平上，所有三个甲烷产量组都含有相对丰度为32%、29%和33%的Clostridiales，其次是Bacteroidetes（28%、9% 和 28%）和Thermotagae（12%、6 %和13%），它们是厌氧消化池中常见的微生物组分。至于Petrotogales目，其分布在低（0.4%）、中（31%）和高（11%）组中显著不同。

由于所有古菌群落都属于Euryarchaeota门，因此在目和属水平上分析了古菌群落的分类学分布。如图3所示，与细菌群落相比，古细菌群落的多样性较低。占主导地位的目为Methanosarcinales，分别占低、中和高甲烷产率的53%、57%和74%。第二大优势目是Methanobacteriales，分别占30%、37%和18%。低甲烷产量组的群落显示出最高的Methanomicrobiales（12%）。在属水平上，Methanosarcina占49%-51%，是三组中最主要的属，其次是Methanothermobac ter，分别占低、中和低组的14%、37%和14%。Methanoculleus是不同组中最敏感的属，在低甲烷产量组（12%）中丰度高，但在中等（0.78%）和高（4%）甲烷产量组中相对丰度较低。

  图3 不同甲烷产量对应的细菌和古细菌宏基因组：（a）0.1~0.25，（b）0.25~0.4，（c）0.4~0.55。分类节点显示为嵌套扇区，从细菌门水平到目水平排列，并从古细菌的目水平到属水平排列（从内到外）。仅显示相对丰度超过0.8%的目。 

2.2 使用分类模型预测甲烷产量

PCA还分析了根据细菌基因组数据（门水平）的甲烷产量分布。然而，由于降维过程中高甲烷产率和中等甲烷产率的分布之间没有明显差异（图S2）。因此，有必要使用各种算法开发机器学习模型来预测反应器性能并更好地了解过程动态。所有6种机器学习算法都经过训练和评估，以使用细菌基因组数据的不同分类等级来研究它们的预测能力（表S2）。使用包含26个门的数据集训练和验证初始模型，其中包括相对丰度高于0.1%的所有门。如图4a所示，产生最准确预测的算法是RF，准确度为0.78±0.04，对应于0.65±0.06的kappa值。NNET、SVM、GLM-NET和XGBOOST算法的精度略有下降（范围在0.66到0.71之间），kappa值范围在0.49到0.60之间。由于KNN处理不平衡数据集的敏感性不足，KNN显示出最低的预测性能，准确度为0.60±0.03，kappa值为0.35±0.06。研究使用了包括92个目的数据集对这些ML算法进行了评估。如图4b所示，RF算法也达到了0.757±0.047的最高精度和0.628±0.072的kappa值。与基于门的模型相比，使用顺序数据集的NNET算法的准确度（~4%）和kappa值（~6%）略有增加。SVM显示出最低的预测性能，准确度为0.660±0.053，kappa值为0.471±0.076，这仍然被认为是中等的相互一致性（kappa > 0.4）。SVM的低预测性能可能是由于其对大量特征的高度敏感性，这可能导致每次重采样时过拟合。ML算法没有使用属水平的基因组数据进行评估，因为大量的特征和有限的样本可能会导致模型过度拟合和维度灾难等问题。

研究使用古菌基因组数据的不同分类等级评估了6种 ML 算法（图4c和图4d）。在目水平，使用丰度高于0.1%的4个显性目来训练模型。RF和XGBOOST表现出最高的预测性能，精度值分别为0.68±0.06和0.66±0.06，其次是KNN、NNET和SVM，精度值分别为0.59±0.05、0.51±0.06和0.46±0.05。GLMNET给出的预测精度最低，精度值为0.42±0.06，可能是由于输入特征不足，导致无法识别输入和甲烷产量组之间的关系。在属水平上，使用17个优势属（丰度 > 0.1%）来评估6种ML算法。RF和XGBOOST的预测精度均为0.73±0.05，kappa值为0.59±0.07和0.58±0.07，与基于目的模型相比略有提高（p < 0.05）。与基于目的模型（精度 = 0.42±0.06，kappa = 0.11±0.08）相比，GLMNET的预测性能（精度 = 0.68±0.05，kappa = 0.52±0.07）显著提高（p < 0.05）。SVM的性能是6种算法中最差的，与前面讨论的原因相同，其性能仅为0.52±0.06，kappa值为0.47±0.10。

RF在不同分类水平（细菌门、细菌目、古菌目和古菌属）中表现出最佳预测性能，这可能是由于其能够处理大量输入变量而不会删除变量。尽管在本研究中使用细菌门数据集与使用操作参数相比，RF 产生了约1%的微不足道的增加（p > 0.05），但由于存在有价值的特征，使用基因组数据具有更高的进一步改进潜力。使用细菌数据集的ML算法的预测性能比使用基于收集到的数据的古细菌数据集的预测性能更高，表明甲烷产生和参与AD过程的水解、酸化和乙酸生成的细菌群落之间存在很强的关系。较低的古菌分类水平（从目到属）提高了预测精度，因为属水平可以提供关于群落功能的更有价值的信息。然而，细菌分类水平从门到目的降低未能提高预测准确性，可能是由细菌数据集不平衡（只有50个数据点，26门/92目）导致的。通过增加样本数量和进一步识别有价值的特征，可以显著提高准确度。

图4 使用 a) 细菌门、b) 细菌目、c) 古菌目和 d) 古菌属的数据集，通过不同ML算法预测的平均精确度和平均kappa值。

2.3 特征重要性评估

使用RF评估特征重要性以量化每个分类单元对AD性能的重要性。门的重要性和目对甲烷产量的影响见图5。Chloroflexi、Actinobacteria、Proteobacteria、Fibrobacteres和Spirochaetae是前5个最重要的特征，相对丰度范围从0.1%到3.1%，这些门已被证明在AD过程中发挥着重要作用。Spirochaetae门是最重要的鉴别特征，MDG值为3.71，对应的相对丰度为1.1%。据报道，Spirochaetae可将丙酸、丁酸、戊酸和其他有机化合物降解为乙酸，乙酸可被产甲烷菌直接消耗。第二个最重要的特征是Fibrobacteres，其MDG值为3.47，对应于0.2%的相对丰度。Fibrobacteres是一种典型的门，据报道可以在其细胞质中分解纤维素以进行吸收。对于Chloroflexi门，MDG值为3.33，相对丰度为3.1%。Chloroflexi被报道为AD中的主要产酸菌，能够降解氨基酸、甘油、葡萄糖和其他多糖。放线菌的MDG值为2.93，相对丰度为4.9%。放线菌在水解和酸化过程中起重要作用。在放线菌门内，大量的序列与产丙酸盐的细菌相关。Proteobacteria的MDG值为2.81，对应的相对丰度为3.5%，可能参与AD系统的水解和酸化，因为Proteobacteria包含了几个能够利用葡萄糖、丙酸盐、丁酸盐和乙酸盐的成员。在目水平，最具影响力的特征包括Erysipelotrichales（MDG = 2.05）、Desulfovibrionales（MDG = 1.78）、Anaerolineales（MDG = 1.75）、Fibrobacterales（MDG = 1.66）和Bacillales（MDG = 1.37）。然而，这些目被分组为相对丰度分别仅为1.0%、0.1%、3.0%、0.2%和0.1%的小组（图5b）。除Desulfovibrionales外，这些目的功能与厌氧水解和酸化过程有关。Desulfovibrionales是硫酸盐还原菌，属于变形菌门。随着硫酸盐含量的增加，甲烷形成减少而硫化物产量增加，硫酸盐还原菌主要消耗氢气。此外，还注意到关键微生物在门和目水平上的差异。例如，Erysipelotrichales是厚壁菌门细菌的亚目，在门水平上被确定为次要的重要预测因子，而Erysipelotrichales在目水平上被认为是重要的预测因子。门和目水平之间微生物群落丰度的差异导致ML模型输入的类型和数量不同，从而影响模型预测精度和特征重要性识别。

研究还确定了古细菌目和属的特征重要性。在目水平，最重要的预测因子（MDG = 7.68）是Methanomicrobiales，其相对丰度为7.8%。另一方面，平均相对丰度为59.2%的Methanosarcinales（MDG = 5.54），与Methanomicrobiales和 Thermoplasmatales（MDG = 6.73）相比其重要程度更低。在属水平上，Methanoculleus（MDG = 4.20）和Methanobrevibacter（MDG = 4.16）是最重要的特征。Methanoculleus是AD过程中的关键产甲烷菌属，关系到AD性能的稳定性。研究发现Methanobrevibacter中的物种是嗜温厌氧消化器中的主要产甲烷菌，据报道它们对总氨氮（TAN）和VFA浓度具有抗性。预测变量的排名可能会受到输入特征和数据大小的影响。需要进一步研究以验证排名。这些特征重要的结果表明，相对丰度高的微生物可能不会在决定甲烷产量方面发挥关键作用。例如，在门细菌数据集中，厚壁菌门（43.7%）和拟杆菌门（23.2%）在所有消化器中占主导地位，这有助于AD系统中的水解和酸化过程。然而，Firmicutes（MDG = 0.64）和Bacteroidetes（MDG = 1.16）被确定为相对不太重要的特征。相反，门水平前5个预测因子的相对丰度较低，范围为0.2%-3.1%。换句话说，门水平中的一些强预测因子是低丰度组分。同样，在目水平，Clostridiales（MDG = 0.27）也被认为是弱预测因子，即使据报道该目在发酵产氢中发挥关键作用。因此，功能关键物种在定量确定AD性能方面可能并不关键。类似的结果也可以从古细菌数据集产生。这是本研究的一个新发现。然而，需要进一步的研究来解开这种独特的现象。

图5 特征重要性和分类群在 a) 细菌门水平、b) 细菌目水平、c) 古菌目水平和 d) 古菌属水平的重要性和相对丰度。

2.4 使用回归模型预测甲烷产量

研究还评估了使用6种ML算法在各种分类水平上对甲烷产量进行数值预测的可行性（表S3）。通过比较由RMSE表示的有效数据集中的实际值来检查准确性。对于细菌数据集，6种算法大多数都显示出验证的预测准确性，尽管在门水平下（图6），高甲烷产量的准确度通常较低。NNET得出了最佳预测精度（RMSE = 0.039），KNN（RMSE = 0.048）和XGBOOST（RMSE = 0.051）随后，本研究中的所有样本中甲烷产量在0.1到0.55 L CH4/g VSadd。SVM的预测准确性最差（RMSE = 0.121），可能是由它对嘈杂数据的高灵敏度导致的。研究还测试了目水平的预测准确性，发现与门水平相似。最准确的算法是NNET，最不准确则为RMSE（0.046）。SVM在6种算法种表现最差（0.138）。

与细菌回归模型相比，古菌群落中甲烷产量的数值预测显示出不同的结果（图7）。在目水平上，RF和NNET的准确度值最高，RMSE为0.043和0.042。XGBOOST、GLMNET、SVM和KNN的RMSEs分别为0.146、0.093、0.127和0.140。属水平所有算法的准确性显示类似的结果，RF的RMSE为0.053，NNET 的为0.046和其余算法在0.122-0.184之间。研究还评估了回归模型在不同分类水平中的特征重要性（图S3）。在门水平上，Chloroflexi、Actinobacteria、Proteobacteria、Fibrobacteres和Spirochaetae被认为是最重要的特征，尽管它们的排名与分类模型所生成的特征重要性不同。原因可能是这两种模型的聚焦点不同。回归模型的特点在于其侧重于识别影响甲烷产量数值变化的重要微生物。类似的结果也可以在不同的分类水平上得出。

这些结果表明，NNET算法在使用所有分类水平的基因组数据时具有最佳性能。在细菌门、细菌目、古菌目、古菌属水平下，RMSE分别为0.039（相对RMSE = 8.7%）、0.046（相对RMSE = 10.2%）、0.042（相对RMSE = 9.3%）和0.046（相对RMSE = 10.2%）。在我们先前的研究中，最低的RMSE是通过SVM（68.6 mL/L/D）获得的，数值范围为259.0至573.8 mL/L/D，使用操作参数作为唯一输入。这表明使用常规操作参数（相对RMSE = 21.8%）的预测性能低于使用基因组数据集。通过对特征选择的修正和算法参数的优化，算法的准确性有进一步提高的潜力。

图6 使用6种算法在 a) 细菌门水平，b) 细菌目水平的回归模型中实际和预测的甲烷产量之间的比较。对于每个算法，通过将预测值与验证集中的真实值进行比较，总共测试了80个数据点，使用bootstrap法重复了8次。

图7 使用6种算法在回归模型中真实和预测的甲烷产量之间的比较 a) 古菌目和 b) 古菌属。

3 使用操作参数和基因组数据通过ML预测AD性能

尽管使用操作参数或基因组数据都可以以0.60到0.78的精度预测AD过程的性能，但通过结合操作参数和基因组数据作为输入，预测精度有进一步提高的潜力。因此，使用组合数据集对使用6种算法的分类模型的预测能力进行了评估（图8）。输入特征包含前文提到的5个操作参数和26个细菌门，与使用细菌顺序数据集和古细菌数据集作为输入相比，这些参数显示出最高的准确性。对于分类模型，所有算法的准确率值均高于0.7，kappa值保持在0.6以上（基本一致）。

实现最准确预测的算法是RF，准确度为0.82±0.05，高于单独使用基因组数据（准确度 = 0.78±0.04，kappa = 0.65±0.06）和单独使用操作参数（准确度= 0.77±0.04，kappa = 0.67±0.06）。研究还开发和评估了使用6种不同ML算法的回归模型（图S4）。XGBOOST和RF在6种算法中表现出最佳预测，RMSE分别为0.056和0.068。GLMNET、KNN和SVM的RMSE分别为0.114、0.134和0.126。与使用门数据集的回归模型相比，NNET的RMSE（0.094）增加的原因可能是NNET算法本身的限制。并非来自输入域的所有区域（操作参数）都有助于找到对抗结果并导致极端的神经网络输出变化。

特征重要性也由RF确定，以量化操作参数和细菌群对AD性能的影响（图9）。前5个最强的预测因子是Proteobacteria（MDG = 2.71）、Chloroflexi（MDG = 2.64）、Fibrobacteres（MDG = 2.63）、Actinobacteria（MDG = 2.61）和Spirochaetae（MDG = 2.34），它们也是最高的使用细菌门数据集的最强预测因子。废物类型（MDG = 2.21）和VFA（MDG = 1.56）被确定为有影响力的预测因子（前10名最重要的预测因子），表明这些操作参数对于决定AD性能也很关键。可以直接操纵的OLR（MDG = 1.02）和HRT（MDG = 0.72）被认为是可能影响AD性能的影响参数。温度（MDG = 0.59）在所有操作参数中并不是一个显著特征，可能是由于本研究中仅标记了两个狭窄的类别（嗜温或嗜热）。

图8 使用不同算法以操作参数和细菌门作为输入特征预测甲烷产量的精确性和kappa指标。使用GLMNET、RF、NNET、KNN、SVM和XGBOOST进行预测的精确度为0.73±0.04、0.82±0.05、0.78±0.05、0.73±0.04、0.75±0.04和0.80±0.10，对应kappa值分别为0.61±0.06、0.72±0.07、0.64±0.07、0.60±0.06、0.61±0.05和0.69±0.08。

 图9 RF选择的操作参数和门水平基因组数据的特征重要性。

讨论

由于进料流的多样性和可变性以及AD微生物过程的复杂性，厌氧消化器的运行遇到了沼气生产/有机还原中意外扰动的问题，这阻碍了AD 应用。目前已经开发了AD过程的建模，以提高对复杂厌氧系统的理解并预测系统如何响应环境条件的变化。与基于生物化学动力学的传统数学模型侧重于厌氧系统的动态变化相比，本研究使用具有来自8个研究小组的基因组数据和操作参数获得了较高的准确性，证明了ML在各种动态条件下的巨大潜力。

选择合适的算法和ML模型对于预测AD系统的性能至关重要。在分类模型中，RF在具有各种输入数据集的6种ML算法中产生最佳预测精度：操作参数（0.78）、细菌门（0.78）、细菌目（0.76）、古菌目（0.68）、古菌属（0.73）和组合数据集（0.82）。与主要侧重于识别性能预测重要参数的分类模型相比，回归模型更适合于甲烷产率的数值预测。使用与分类模型相同的输入数据集，NNET以最低的相对RMSE（6.7% ~ 15.6%）在回归模型中产生了最佳精度。

ML预测的成功还取决于输入数据集的选择。在这项研究中，使用结合分类和回归模型的操作参数和微生物组信息的数据集实现了最高的预测精度。该结果表明，将微生物组信息作为输入纳入操作参数可以提高预测性能。正如预期的那样，将古菌分类水平从目降低到属增加了预测。令人惊讶的是，细菌分类水平从门到目的降低未能提高预测准确性，可能是由于本研究中使用的数据量较小。通过增加具有正确选择输入特征的数据集的大小，可以进一步增强模型预测精度。

本研究中开发的ML模型不仅可以准确预测AD性能，而且识别的重要特征还可以为早期预警和过程控制和管理提供指导。例如，在细菌门水平上，前五个最重要的特征是Chloroflexi、Actinobacteria、Proteobacteria、Fibrobacteres和Spirochaetae，相对丰度在0.1%到3.1%之间，它们与厌氧水解和酸化过程相关。尽管这些微生物组的相对丰度较低，但AD性能高度依赖于这些微生物。根据单个细菌门和甲烷产量的关系，这些微生物可以作为不稳定预警和保证系统功能的指标（图S5）。进一步的研究将侧重于分析几种功能物种的组合，以进一步深入了解AD过程。此外，通过调整相对丰度和群落结构来管理微生物组，可以提高 AD 的稳定性和性能。通过重要微生物的组合可以开发人工微生物组。通过机器学习确定的关键微生物可以为操作提供指导并减少实验室工作。微生物群落组成也可以通过操作参数进行操纵。图10说明了用于预测AD性能和建立控制策略的ML模型的开发。根据ML确定的关键操作和微生物参数，可以开发控制模型以提供每个参数的最佳设置，以最大限度地提高沼气产量。通过扩展可控制的操作参数，如废物营养物、pH值和反应器配置，控制策略有可能得到进一步增强。通过开发基于ML模型的控制策略，可以快速稳定过程，减少操作和维护的不便，提高能源效率。

图10 开发用于预测AD性能和建立控制策略的ML模型。

结论

这项研究表明，使用ML算法对复杂的AD系统进行建模是有效的，因为ML可以预测和建模隐藏在数据集中的非线性交互作用。本研究提供了一种新的ML算法，不仅可以实现用于AD性能预测，还可以用于指导AD操作。通过结合基因组数据和ML算法，可以开发分类和回归模型来预测甲烷产量。本研究首次量化微生物群落成员对甲烷生产的重要性，并综合使用不同输入特征评估6种ML算法的可预测性。对于分类模型，RF在预测甲烷产量的6种ML算法中取得了最佳性能。单独使用操作参数和单独使用细菌门水平的基因组数据的预测精确度分别为0.77和0.78。操作参数和基因组数据的结合使预测精确度显著提高到0.82 (p < 0.05)。Chloroflexi、Actinobacteria、Proteobacteria、Fibrobacteres和Spirochaeta被确定为最重要的5个门。然而，它们的相对丰度仅在0.1%到3.1%的范围内，这表明功能关键的物种在定量确定AD性能方面可能并不重要。特征重要性识别的关键物种可以作为不稳定预警和保障系统功能的指标。这些已识别的微生物特征也可用于开发控制策略，以进一步提高AD性能。对于回归模型，NNET使用基因组数据展示了最高的预测精确度，RMSE为0.04（相对RMSE = 8.9%）。通过增加数据大小和特定的输入特征，预测精度有可能进一步提高。ML模型与经验实验室规模研究和机械模型结合使用，可以进一步增强我们对系统的理解并改进控制策略。这项研究也可能有助于为在其他复杂的环境和能源生物系统中使用ML技术提供有价值的信息。