摘 要：為實現(xiàn)對混凝土的抗壓強度精確預(yù)測以提升工程設(shè)計水準(zhǔn)和施工質(zhì)量，基于Optuna超參數(shù)優(yōu)化XGBoost梯度提升算法建立了高效的非線性預(yù)測模型。首先，通過從文獻中收集的1 110組混凝土試驗數(shù)據(jù)，完成了XGBoost算法與LightGBM、NGBoost、CatBoost等算法的混凝土抗壓強度預(yù)測精度對比；隨后，采用Optuna算法對表現(xiàn)最佳的XGBoost模型進行超參數(shù)優(yōu)化。結(jié)果表明，在訓(xùn)練集和測試集中，采用XGBoost算法預(yù)測混凝土抗壓強度時的精度均高于其他3種算法；經(jīng)過Optuna超參數(shù)優(yōu)化后，XGBoost模型的預(yù)測精度又進一步提升；在測試集中，優(yōu)化后的XGBoost模型還表現(xiàn)出良好的泛化能力。因此，優(yōu)化XGBoost模型的混凝土強度預(yù)測能力得到證實，可為未來的工程實踐提供參考。

關(guān)鍵詞：混凝土抗壓強度；Optuna；XGBoost；預(yù)測模型；模型驗證

中圖分類號：TU528""" 文獻標(biāo)志碼：A

Prediction model for concrete compressive strength based on XGBoost hyperparametric optimization with Optuna

Abstract： This study built a robust nonlinear forecasting model leveraging the XGBoost gradient boosting algorithm， enhanced through hyperparameter optimization via Optuna， to accurately estimate concrete compressive strength， thereby improving engineering design level and construction quality. A comparative analysis was conducted for the predictive accuracy of XGBoost against other algorithms—LightGBM， NGBoost， and CatBoost—utilizing a dataset comprising 1110 unique concrete test samples from existing literature. The evaluation demonstrated that XGBoost outperformed these alternatives in terms of accuracy for both training and testing datasets. Subsequently， Optuna was applied to fine-tune the hyperparameters of the best-performing XGBoost model. The results reveal that the hyperparameter optimization significantly enhances the predictive precision of the XGBoost model. In testing datasets， the optimized XGBoost model demonstrated strong generalization capabilities， confirming its effectiveness in predicting concrete strength and serving as a valuable reference for future engineering practices.

Key words： concrete compressive strength; Optuna; XGBoost; prediction model; model validation

混凝土的抗壓強度對結(jié)構(gòu)設(shè)計和建筑安全至關(guān)重要[1]。精確預(yù)測混凝土的抗壓強度對提高建筑材料的使用效率和確保結(jié)構(gòu)安全具有重要意義。影響抗壓強度的因素眾多，如材料配比和養(yǎng)護條件等，傳統(tǒng)的經(jīng)驗公式和實驗方法由于其局限性難以應(yīng)對實際工程中復(fù)雜多變的情況。例如，基于經(jīng)驗公式的方法通常假設(shè)材料成分和環(huán)境因素不變，難以適應(yīng)實際工程中多變的條件，而單純依靠實驗數(shù)據(jù)的預(yù)測方法則存在實驗成本高、時間長等問題[2-3]。因此，開發(fā)一種科學(xué)、高效且精準(zhǔn)的混凝土抗壓強度預(yù)測技術(shù)迫在眉睫[4]。

近年來，隨著大數(shù)據(jù)和人工智能技術(shù)的發(fā)展，基于機器學(xué)習(xí)的混凝土強度預(yù)測展現(xiàn)了全新的研究方向。機器學(xué)習(xí)通過學(xué)習(xí)現(xiàn)有數(shù)據(jù)中的復(fù)雜模式，能夠有效突破傳統(tǒng)方法的局限性，實現(xiàn)對混凝土抗壓強度的高精度預(yù)測。YEH[5]證明人工神經(jīng)網(wǎng)絡(luò)（ANN）在抗壓強度預(yù)測中的準(zhǔn)確性。隨后，支持向量機（SVM）[6]、隨機森林（RF）[7]和梯度提升樹（GBDT）[8]等多種機器學(xué)習(xí)模型在多個研究中被采用，并展現(xiàn)出更優(yōu)異的性能。陳洪根等[9]建立了一套基于BP神經(jīng)網(wǎng)絡(luò)的粉煤灰混凝土抗壓強度預(yù)測模型。ABD等[10]提出了一種基于支持向量機的輕質(zhì)泡沫混凝土抗壓強度預(yù)測模型，并驗證了支持向量機在預(yù)測輕質(zhì)泡沫混凝土抗壓強度方面的有效性。此外，學(xué)者們還對比了不同核函數(shù)下的支持向量機模型，發(fā)現(xiàn)采用徑向基函數(shù)的模型預(yù)測精度更高。然而，這些模型的參數(shù)調(diào)節(jié)復(fù)雜，通常需要不斷優(yōu)化才能取得最佳效果。

近年來，優(yōu)化算法在機器學(xué)習(xí)模型的調(diào)參過程中得到了廣泛應(yīng)用。例如，黃煒等[11]利用PSO-BP和GA-BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測再生磚骨料混凝土強度，顯著提高了實驗效率。TIEN BUI等[12]比較了鯨魚優(yōu)化算法（WOA）、蜻蜓算法（DA）與蟻群優(yōu)化算法（ACO），發(fā)現(xiàn)三者在預(yù)測混凝土28 d抗壓強度方面均具有高效率，這些算法與ANN相結(jié)合，顯著提升了預(yù)測精度和優(yōu)化效率。WU等[13]采用GS優(yōu)化后的SVR（GSSVR）模型對混凝土抗壓強度進行了預(yù)測，發(fā)現(xiàn)GSSVR模型明顯優(yōu)于原SVR模型。超參數(shù)選擇與優(yōu)化仍是實際應(yīng)用中的一大挑戰(zhàn)，尤其是在處理高維數(shù)據(jù)時，模型易面臨過擬合或欠擬合的問題。因此，如何利用高效的優(yōu)化算法提高模型的搜索效率和精度，成為目前的研究重點。

本研究針對上述問題，基于Optuna-XGBoost模型建立了混凝土的抗壓強度與影響因素之間的非線性映射關(guān)系，優(yōu)化模型參數(shù)以實現(xiàn)對混凝土抗壓強度的精準(zhǔn)預(yù)測，并通過實驗數(shù)據(jù)對模型性能進行了驗證和評估。

1 數(shù)據(jù)集

1.1 數(shù)據(jù)分析

本研究所采用的數(shù)據(jù)集來源于文獻[5，14]中提供的共計1 110組混凝土抗壓強度試驗數(shù)據(jù)。以影響混凝土抗壓強度的8個參數(shù)（水泥、礦渣、粉煤灰、水、減水劑、粗骨料、細(xì)骨料、齡期）為輸入數(shù)據(jù)，抗壓強度的預(yù)測值為輸出數(shù)據(jù)。數(shù)據(jù)集描述性統(tǒng)計信息見表1。

對輸入數(shù)據(jù)和輸出數(shù)據(jù)進行相關(guān)性分析，得到各變量間熱力相關(guān)圖如圖1所示。變量間的相關(guān)性與圖中colorbar顏色相關(guān)。

由圖1可知，水泥與抗壓強度的相關(guān)性系數(shù)達到了0.49，證明兩變量間存在一定程度的正相關(guān)性，水和細(xì)骨料的相關(guān)性系數(shù)達到-0.42，表明變量之間存在一定程度的負(fù)相關(guān)性。整體來看，各變量之間的相關(guān)性系數(shù)較低，說明變量之間不存在明顯的特征重疊。該數(shù)據(jù)集可以有效地避免模型因過度依賴某一特征而導(dǎo)致預(yù)測性能下降的風(fēng)險。

1.2 數(shù)據(jù)預(yù)處理

將1 110條數(shù)據(jù)采用8∶2原則隨機分割，即訓(xùn)練集為888條，用于訓(xùn)練預(yù)測模型；測試集為222條，用來評估預(yù)測模型。對訓(xùn)練集采用5折交叉驗證，可以有效減少因數(shù)據(jù)隨機性劃分帶來的評估誤差和過擬合情況。

為了讓特征變量在相同的尺度下，避免因特征值范圍不同而導(dǎo)致模型訓(xùn)練時的偏差，采用Python語言中sklearn.preprocessing軟件包的StandardScaler函數(shù)對特征變量和目標(biāo)變量進行標(biāo)準(zhǔn)化處理，使其均值為0，標(biāo)準(zhǔn)差為1。其計算公式為

式中：x'為標(biāo)準(zhǔn)化后的值；x為當(dāng)前值；μ為樣本均值；σ為樣本標(biāo)準(zhǔn)差。

2 模型建立

2.1 XGBoost原理

CHEN等[15]基于回歸樹的提升算法提出XGBoost（極限提升樹）。它通過逐步構(gòu)建新的模型來糾正前一個模型的殘差。每一輪中，新模型是對損失函數(shù)的負(fù)梯度的擬合。其主要優(yōu)勢在于在目標(biāo)函數(shù)中引入正則化，以管理模型復(fù)雜度，避免過度擬合。此外，通過二階泰勒展開簡化目標(biāo)函數(shù)，進一步考慮梯度的變化趨勢，可以實現(xiàn)更快速、更準(zhǔn)確的擬合。

XGBoost模型由多個CART決策樹組成，每棵樹都有自己的結(jié)構(gòu)和樹葉節(jié)點的權(quán)重，輸出為多個樹的和，其簡化的訓(xùn)練流程如圖2所示。

假設(shè)研究中訓(xùn)練采用的數(shù)據(jù)集樣本為xi，yi，其中，xi∈Rm，yi∈R，則XGBoost模型表達式為

CART決策樹的空間F表達式為

F=fx=ωqxq：Rm→T，ω∈RT（3）

式中：q：Rm→T代表決策樹將樣本數(shù)據(jù)映射到樹葉子節(jié)點的函數(shù)；T為樹葉子節(jié)點數(shù)量；ωi為樹葉子節(jié)點i上的得分。

XGBoost的基本思路是依賴于前一步優(yōu)化的結(jié)果訓(xùn)練后一步。即每次迭代都是在上一次迭代基礎(chǔ)上增加一個子模型fxi，從而不斷地使預(yù)測值接近實際值。通過s次迭代使目標(biāo)函數(shù)達到最小值，即目標(biāo)函數(shù)也可表示為

2.2 k折交叉驗證

為避免按8∶2隨機劃分?jǐn)?shù)據(jù)集導(dǎo)致數(shù)據(jù)利用率低，減少數(shù)據(jù)集劃分的偏差和方差，本研究采用k折交叉驗證（k=5）將每一部分?jǐn)?shù)據(jù)都用于訓(xùn)練與測試，這可以充分利用數(shù)據(jù)，且能夠有效地避免過擬合并確保模型的泛化能力。其主要原理如下：

在五折交叉驗證中，原始數(shù)據(jù)集被平均分成5個互不重疊的子集。在每一次迭代中，選擇其中一個子集作為驗證集，剩余4個子集作為訓(xùn)練集。通過這種方式，模型將被訓(xùn)練和驗證5次，每次使用不同的子集作為驗證集。最后，將這5次驗證的結(jié)果求取平均，從而獲得一個更為可靠和精準(zhǔn)的模型性能評估指標(biāo)。

2.3 Optuna超參數(shù)優(yōu)化

Optuna是一種基于改進的貝葉斯優(yōu)化方法，具備自動優(yōu)化超參數(shù)以減少擬合誤差的能力。它能夠動態(tài)構(gòu)建參數(shù)搜索空間，并高效地執(zhí)行修剪和搜索操作。Optuna會根據(jù)已有的歷史運行數(shù)據(jù)來選擇下一個超參數(shù)組合的各個取值，并基于此信息選定一些潛在的超參數(shù)組合區(qū)域，在這些區(qū)域內(nèi)進行進一步的搜索以獲得更優(yōu)解。隨著新的結(jié)果不斷生成，Optuna持續(xù)更新搜索區(qū)域并評估其效果，從而逐步優(yōu)化超參數(shù)組合的準(zhǔn)確性與可靠性。

3 實驗結(jié)果與分析

3.1 評估指標(biāo)

本研究采用量化的決定系數(shù)（R2）、平均絕對誤差（MAE）和均方根誤差（RMSE）來評估預(yù)測模型的準(zhǔn)確性。其公式如下：

R2表示實際值的總變異中能夠通過模型解釋的比例，其值介于0和1之間。R2越接近1，表示模型對數(shù)據(jù)的擬合程度越高。MAE是實際值與預(yù)測值之間絕對差值的平均值，能夠直接反映出預(yù)測值與實際值的偏離程度。MAE越小，表示模型預(yù)測效果越好；RMSE是均方根誤差，具有與原數(shù)據(jù)相同的量綱，使其更易于解釋。RMSE越小，表示模型的預(yù)測效果越好。

3.2 性能比較

為驗證XGBoost梯度提升算法的準(zhǔn)確性，本研究將基于CatBoost、LightGBM、NGBoost模型讀取劃分的訓(xùn)練集和測試集，分別訓(xùn)練和測試，并與XGBoost進行預(yù)測性能對比，4種模型均采用相同的數(shù)據(jù)預(yù)處理方式及五折交叉驗證的方式確保模型泛化能力。

從圖3可以看出，CatBoost模型在訓(xùn)練集上的擬合效果一般，R2達到0.940 5，點分布較為集中，其預(yù)測值和實際值吻合良好，表明模型在訓(xùn)練數(shù)據(jù)上的預(yù)測能力較強。然而，在測試集上，R2為0.896 4，略有下降，說明模型的泛化能力較差。LightGBM模型在訓(xùn)練集上的擬合效果較好，R2值為0.967 3，其預(yù)測值和實際值吻合較好，表明模型能夠很好地捕捉訓(xùn)練數(shù)據(jù)中的特征。然而，測試集上的R2值僅為0.894 7，與訓(xùn)練集相比差異較大，表明模型對新數(shù)據(jù)的泛化能力有待提升。NGBoost模型在訓(xùn)練集和測試集上的擬合效果均相對較差，R2值明顯低于其他模型，說明該模型整體預(yù)測精度不如其他模型。XGBoost模型在訓(xùn)練集上的擬合效果最好，R2值達到0.987 3，其預(yù)測值和實際值吻合最好，擬合訓(xùn)練數(shù)據(jù)優(yōu)度最高。同時，在測試集上的R2值也達到了0.914 1，表明XGBoost模型在訓(xùn)練集和測試集上的表現(xiàn)均優(yōu)于其他模型，具有較高的預(yù)測精度和較好的泛化能力。

將各模型預(yù)測數(shù)據(jù)與實際數(shù)據(jù)分別代入式（6）和式（7）中計算評估指標(biāo)，得出4種模型的預(yù)測精度由高到低分別如下：

1）XGBoost模型的MAE和RMSE在訓(xùn)練集上分別為1.170 7和1.865 7，在測試集上分別為3.267 1和4.823 2，均低于其他3種模型。這表明XGBoost模型在混凝土抗壓強度預(yù)測中具有最高的準(zhǔn)確性和穩(wěn)定性，泛化能力最強。

2）LightGBM模型訓(xùn)練集上的MAE和RMSE分別為2.066 8和2.983 7，測試集上的MAE和RMSE分別為3.556 8和5.405 2，表明模型在測試集上的誤差相對較大，尤其是RMSE較高，說明模型在處理一些極端數(shù)據(jù)點時存在不足。

（a）XGBoost模型訓(xùn)練集；（b）XGBoost模型測試集；（c）CatBoost模型訓(xùn)練集；（d）CatBoost模型測試集;（e）LightGBM模型訓(xùn)練集；（f）LightGBM模型訓(xùn)練集；（g）NGBoost模型訓(xùn)練集；（h）NGBoost模型測試集

3）CatBoost模型訓(xùn)練集上的MAE和RMSE分別為3.057 6和4.040 7，測試集上的MAE和RMSE則為3.806 6和5.293 6，說明模型在測試集上的誤差較訓(xùn)練集較大，模型的泛化能力有待提高。

4）NGBoost模型訓(xùn)練集上的MAE和RMSE分別為3.943 0和5.198 0，測試集上的MAE和RMSE分別為4.603 2和6.399 0，顯示出NGBoost模型在訓(xùn)練集和測試集上的誤差均較大，預(yù)測性能和泛化能力較弱。

3.3 Optuna超參優(yōu)化后的性能比較

為了進一步提高XGBoost模型在混凝土抗壓強度預(yù)測中的表現(xiàn)，本研究利用Optuna來優(yōu)化XGBoost模型關(guān)鍵超參數(shù)。超參數(shù)調(diào)節(jié)開始之前，需要將調(diào)節(jié)的超參數(shù)的范圍值列出，多個不同超參數(shù)的不同取值之間排列組合，最終將組成一個參數(shù)空間。具體優(yōu)化的參數(shù)及范圍如表3所示。

基于表3中的搜索范圍，利用Optuna超參數(shù)優(yōu)化算法得到的最優(yōu)參數(shù)結(jié)果如表4所示。

將優(yōu)化后的主要參數(shù)代入XGBoost模型中，與優(yōu)化前模型性能進行對比。從圖4可以看出，基于Optuna優(yōu)化后的XGBoost模型擬合效果更優(yōu)。在訓(xùn)練集上優(yōu)化后XGBoost的R2提高了0.006 3，點分布高度集中，預(yù)測結(jié)果準(zhǔn)確。在測試集上優(yōu)化后XGBoost的R2提高了0.023 9，表明優(yōu)化后模型泛化能力也有了較大的提升。將兩種模型訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)分別代入式（6）和式（7）中計算評估指標(biāo)，結(jié)果如表5所示。

從表5可以看出，基于Optuna算法優(yōu)化后的XGBoost模型在訓(xùn)練集上的MAE降低了約60.8%，RMSE降低了約29.4%；在測試集上MAE降低了約12.4%，RMSE降低了約14.0%。結(jié)果表明，經(jīng)Optuna優(yōu)化后的XGBoost在訓(xùn)練集和測試集的預(yù)測能力和泛化能力有了較大的提升。

3.4 模型驗證

為進一步驗證上述建立的Optuna-XGBoost模型泛化能力，本研究將自有數(shù)據(jù)集的自變量輸入訓(xùn)練好的Optuna-XGBoost預(yù)測模型中評估其性能。表6為自有數(shù)據(jù)集描述性統(tǒng)計信息。

由表1和表6可以看出，該數(shù)據(jù)集與文獻［5］提供的數(shù)據(jù)集具有一定的差異性，能夠有效地驗證模型的泛化能力。

由圖5可以看出，Optuna-XGBoost模型在測試集上的預(yù)測值與實際值的擬合度較高。具體來說，該模型在各項評估指標(biāo)上表現(xiàn)出色，其R2達到0.975 1，MAE為1.466 7，RMSE為2.273 9。本文所構(gòu)建的基于Optuna-XGBoost的混凝土抗壓強度預(yù)測模型具備較強的泛化能力和應(yīng)用價值。

4 結(jié)論

1）基于文獻中的1 110組混凝土試驗數(shù)據(jù)，XGBoost模型在混凝土抗壓強度預(yù)測準(zhǔn)確性方面優(yōu)于LightGBM、NGBoost和CatBoost模型。

2）經(jīng)Optuna超參數(shù)優(yōu)化后，XGBoost模型的混凝土抗壓強度預(yù)測能力又進一步提升。

3）基于自有數(shù)據(jù)的驗證表明，Optuna-XGBoost模型具有良好的泛化能力。

參考文獻：

[1]李九陽， 朱岳鵬， 范辛美， 等. 智能混凝土裂縫自監(jiān)測性能試驗研究[J]. 邵陽學(xué)院學(xué)報（自然科學(xué)版）， 2024， 21（2）： 73-81.

[2]HENIGAL A， ELBELTGAI E， ELDWINY M， et al. Artificial neural network model for forecasting concrete compressive strength and slump in Egypt[J]. Journal of Al-Azhar University Engineering Sector， 2016， 11（39）： 435-446.

[3]DEBBARMA S， RANSINCHUNG R N G D. Using artificial neural networks to predict the 28-day compressive strength of roller-compacted concrete pavements containing RAP aggregates[J]. Road Materials and Pavement Design， 2020， 23（1）： 149-167.

[4]李姣陽. 基于Stacking集成算法的混凝土28 d抗壓強度預(yù)測[J]. 廣東建材， 2024， 40（6）： 19-23.

[5]YEH I C. Modeling of strength of high-performance concrete using artificial neural networks[J]. Cement and Concrete Research， 1998， 28（12）： 1797-1808.

[6]SOBHANI J， KHANZADI M， MOVAHEDIAN A. Support vector machine for prediction of the compressive strength of no-slump concrete[J]. Computers and Concrete， 2013， 11（4）： 337-350.

[7]吳賢國， 劉鵬程， 陳虹宇， 等. 基于隨機森林的高性能混凝土抗壓強度預(yù)測[J]. 混凝土， 2022（1）： 17-24.

[8]ABDULALIM ALABDULLAH A， IQBAL M， ZAHID M， et al. Prediction of rapid chloride penetration resistance of metakaolin based high strength concrete using light GBM and XGBoost models by incorporating SHAP analysis[J]. Construction and Building Materials， 2022， 345： 128296.

[9]陳洪根， 龍蔚瑩， 李昕， 等. 基于BP神經(jīng)網(wǎng)絡(luò)的粉煤灰混凝土抗壓強度預(yù)測研究[J]. 建筑結(jié)構(gòu)， 2021， 51（增刊2）： 1041-1045.

[10]ABD A M， ABD S M. Modelling the strength of lightweight foamed concrete using support vector machine （SVM）[J]. Case Studies in Construction Materials， 2017， 6： 8-15.

[11]黃煒， 周烺， 葛培， 等. 基于PSO-BP和GA-BP神經(jīng)網(wǎng)絡(luò)再生磚骨料混凝土強度模型的對比研究[J]. 材料導(dǎo)報， 2021， 35（15）： 15026-15030.

[12]TIEN BUI D， ABDULLAHI M M， GHAREH S， et al. Fine-tuning of neural computing using whale optimization algorithm for predicting compressive strength of concrete[J]. Engineering with Computers， 2021， 37（1）： 701-712.

[13]WU Y Q， ZHOU Y S. Hybrid machine learning model and shapley additive explanations for compressive strength of sustainable concrete[J]. Construction and Building Materials， 2022， 330： 127298.

[14]SIDDIQUE R， AGGARWAL P， AGGARWAL Y. Prediction of compressive strength of self-compacting concrete containing bottom ash using artificial neural networks[J]. Advances in Engineering Software， 2011， 42（10）： 780-786.

[15]CHEN T Q， GUESTRIN C. XGBoost： a scalable tree boosting system[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco California USA. ACM， 2016： 785-794.