徐寶昌　尤鵬翔　陳貽祺　孟卓然　劉偉

摘 要 控壓鉆井是一種復(fù)雜的鉆井工藝，自動節(jié)流管匯上節(jié)流閥的控制是實現(xiàn)井底壓力精確控制的關(guān)鍵技術(shù)。首先，建立控壓鉆井裝置中液動節(jié)流閥的動態(tài)模型，該節(jié)流閥采用比例伺服閥作為液壓調(diào)節(jié)元件，采用控制器控制比例伺服閥的閥芯移動改變液動節(jié)流閥液壓缸中液壓油的流入量，進而實現(xiàn)對液動節(jié)流閥閥位的控制。其次，提出一種基于深度強化學(xué)習(xí)的液動節(jié)流閥閥位控制策略，該策略利用DQN（Deep Q-Network）算法，通過液動節(jié)流閥和智能體相互交換過程中學(xué)習(xí)比例伺服閥對液動節(jié)流閥閥位的控制。最后，通過仿真和現(xiàn)場試驗驗證了閥位控制策略的有效性，為成功實施控壓鉆井提供了保障。

關(guān)鍵詞 液動節(jié)流閥 閥位控制 控壓鉆井 強化學(xué)習(xí) DQN算法 比例伺服閥

中圖分類號 TP273? ?文獻標(biāo)識碼 A? ?文章編號 1000-3932（2023）04-0419-10

石油資源的開發(fā)和利用正逐步走向深部復(fù)雜地層［1］，為了解決井下壓力窗口過窄的安全問題，國內(nèi)外學(xué)者對控壓鉆井技術(shù)（Managed Pressure Drilling，MPD）中的井筒壓力控制方法進行了廣泛的研究。隨著控壓鉆井技術(shù)的發(fā)展，不僅可以準(zhǔn)確地控制井筒環(huán)空壓力分布，還可以清晰地分析井下壓力環(huán)境的時空變化，實時科學(xué)地管理環(huán)空壓力分布，保障控壓鉆井的作業(yè)安全［2～4］?？貕恒@井是一種過平衡鉆井技術(shù)，通過改變自動節(jié)流管匯上的節(jié)流閥閥門開度控制鉆井液回流到井口的壓力，以保持井口套管壓力的可控性［5，6］，進而將井底壓力的變化控制在小范圍內(nèi)，大幅提高鉆井速度，縮短鉆井周期，使鉆井作業(yè)更加安全，同時有效解決井涌、漏氣、有害氣體泄漏等問題。由于節(jié)流閥長時間工作在高壓環(huán)境中，其工作特性和可靠性將直接影響MPD實施的成功率［7］。目前，控壓鉆井技術(shù)對井口壓力的控制要求正逐漸由高壓差控制轉(zhuǎn)向高精度控制，因此對節(jié)流壓力和節(jié)流閥閥位的控制成為核心問題。

現(xiàn)有的用于控壓鉆井的節(jié)流閥產(chǎn)品比較成熟，Weatherford、At Balance和Halliburton所生產(chǎn)的鉆井節(jié)流閥已成功服務(wù)于數(shù)百口井，并且取得了良好的應(yīng)用效果［8］。T3公司所設(shè)計的各種新型閥芯結(jié)構(gòu)的執(zhí)行機構(gòu)（既包括了傳統(tǒng)節(jié)流閥的液動執(zhí)行機構(gòu)和手動執(zhí)行機構(gòu)，又包括了節(jié)流閥的電磁閥執(zhí)行機構(gòu)、活塞執(zhí)行機構(gòu)、渦輪執(zhí)行機構(gòu)、提升執(zhí)行機構(gòu)、電動執(zhí)行機構(gòu)和徑向手動執(zhí)行機構(gòu)［9］）也得到了鉆井行業(yè)的認可。控壓節(jié)流閥采用電液比例控制技術(shù)，是指實現(xiàn)液壓控制元件被控量和控制量之間線性轉(zhuǎn)換關(guān)系的技術(shù)［10～12］。在鉆井作業(yè)過程中，精準(zhǔn)的節(jié)流閥閥位控制是保證精確的井口回壓的前提，可以有效消除井口安全隱患，避免引發(fā)井涌、漏液等復(fù)雜事故。

隨著伺服技術(shù)的興起，常見的液動節(jié)流閥閥位控制技術(shù)是利用比例伺服閥來控制液動節(jié)流閥閥位的［10～12］。由于比例伺服閥閥門開度對節(jié)流閥的閥位控制具有典型的非線性特征，因此在現(xiàn)場應(yīng)用中，常規(guī)PID算法難以滿足閥位無超調(diào)且跟蹤速度快的要求。為此，筆者采用提出智能控制算法來解決該問題。強化學(xué)習(xí)作為人工智能的熱點之一，已經(jīng)在自控領(lǐng)域得到了廣泛的研究和應(yīng)用。強化學(xué)習(xí)可以像人一樣進行自我調(diào)整、自我學(xué)習(xí)，在未知環(huán)境中通過不斷試錯，積極主動地完成目標(biāo)。隨著智能控制理論的深入發(fā)展，越來越多的領(lǐng)域向著智能化方向發(fā)展。文獻［13］介紹了深度強化學(xué)習(xí)控制方法，將設(shè)計的DQN算法應(yīng)用于熱過程控制，提出獎勵函數(shù)設(shè)計原則，經(jīng)驗回放更新Q網(wǎng)絡(luò)的方法以及控制器的實現(xiàn)方法。文獻［14］設(shè)計了一種利用DQN開發(fā)的用于自動駕駛系統(tǒng)的智能動力控制器，仿真結(jié)果表明該控制器具有從駕駛經(jīng)驗中學(xué)習(xí)制定合理控制策略的能力，能夠適應(yīng)不同的駕駛條件和環(huán)境變化。

筆者基于深度學(xué)習(xí)和強化學(xué)習(xí)相結(jié)合的深度Q網(wǎng)絡(luò)，給定控壓節(jié)流閥閥位控制策略。DQN算法的特點是以值為基礎(chǔ)，可單步更新，只需輸入狀態(tài)信息，輸出為所有對應(yīng)動作的Q值，適用于動作空間不大的情況。筆者設(shè)計的動作空間為比例伺服閥的控制指令，動作空間小，可直觀反映液動節(jié)流閥閥位的變化情況，獎勵函數(shù)是根據(jù)精準(zhǔn)控制節(jié)流閥閥位的變化過程所設(shè)計的。最后通過對節(jié)流閥閥位控制的仿真和現(xiàn)場試驗，驗證了閥位控制策略的有效性。

1 液動節(jié)流閥工作原理

為了保證穩(wěn)定、連續(xù)的控壓鉆井工作，筆者研發(fā)了一套液動節(jié)流閥自控系統(tǒng)，系統(tǒng)采用比例伺服閥作為電動調(diào)節(jié)機構(gòu)（T3公司的API 6A液動節(jié)流閥作為執(zhí)行機構(gòu)），從而實現(xiàn)對液動節(jié)流閥的閥位控制，提高液動節(jié)流閥閥位控制的安全性和高效性。

液動節(jié)流閥的工作原理如圖1所示。當(dāng)電磁鐵A、B接收到來自控制器的電流信號時，比例伺服閥的閥芯將以不同的速度移動，利用閥口開度變化改變液動節(jié)流閥液壓缸中液壓油的流入量，從而控制液動節(jié)流閥的閥位。其中，液壓油增壓動力來源于電動液壓泵或手動液壓泵［15］。

2 控壓節(jié)流閥的動態(tài)模型

3 DQN控制算法

3.1 DQN算法

3.2 閥位控制算法的深度強化學(xué)習(xí)

在本課題中，液動節(jié)流閥的模型僅用于模擬鉆井現(xiàn)場液動節(jié)流閥的動態(tài)變化，即作為強化學(xué)習(xí)的環(huán)境使用。對于節(jié)流閥的控制問題，強化學(xué)習(xí)的基本內(nèi)容主要體現(xiàn)在液動節(jié)流閥從一個狀態(tài)轉(zhuǎn)移到另一個狀態(tài)，以及狀態(tài)轉(zhuǎn)移時環(huán)境給出的獎勵。因此，基于強化學(xué)習(xí)的節(jié)流閥閥位控制策略主要包括狀態(tài)空間、動作空間、獎勵函數(shù)和訓(xùn)練過程。

3.2.1 狀態(tài)空間

3.2.3 獎勵函數(shù)

3.2.4 訓(xùn)練過程

4 試驗與分析

仿真訓(xùn)練過程中設(shè)置的液動節(jié)流閥動態(tài)模型參數(shù)見表1。

4.1 訓(xùn)練結(jié)果

在DQN訓(xùn)練過程中，算法對超參數(shù)的變化十分敏感，因此通常情況下需要對超參數(shù)進行優(yōu)化，選擇一組最優(yōu)超參數(shù)，以提高深度強化學(xué)習(xí)的性能。本研究仿真實驗設(shè)定的超參數(shù)見表2。

4.2 仿真試驗控制結(jié)果

為了驗算DQN算法的泛化能力，選取初始時刻節(jié)流閥閥門開度為60%，前70 s設(shè)置液動節(jié)流閥閥門開度設(shè)定值為55%，后70 s設(shè)置液動節(jié)流閥閥門開度設(shè)定值為70%。智能體經(jīng)過強化學(xué)習(xí)得到最優(yōu)控制策略，得到的比例伺服閥控制策略如圖4a所示，液動節(jié)流閥控制效果如圖4b所示。

由圖4b可知，前70 s節(jié)流閥閥門開度設(shè)定值小于節(jié)流閥閥門開度測量值，此時由圖4a可知智能體采取的控制策略是比例伺服閥閥門開度小于50%，且隨著節(jié)流閥閥門開度差值的變小，比例伺服閥閥門開度逐漸趨向于50%，待節(jié)流閥閥門開度測量值在節(jié)流閥閥門開度設(shè)定值的允許誤差范圍內(nèi)時，比例伺服閥閥門保持50%的開度。后70 s節(jié)流閥閥門開度設(shè)定值大于節(jié)流閥閥門開度測量值，此時智能體采取的控制策略是比例伺服閥閥門開度大于50%，且隨著節(jié)流閥閥門開度差值的變小，比例伺服閥閥門開度逐漸趨向于50%，待節(jié)流閥閥門開度測量值在節(jié)流閥閥門開度設(shè)定值的允許誤差范圍內(nèi)時，比例伺服閥閥門保持50%的開度。

4.3 現(xiàn)場工況測試

在某控壓鉆井現(xiàn)場，為保證井口回壓的穩(wěn)定性，通過節(jié)流管匯系統(tǒng)上的自控系統(tǒng)對節(jié)流閥閥位進行精準(zhǔn)控制從而保證井口壓力的穩(wěn)定。

控壓鉆井現(xiàn)場控制架構(gòu)如圖5所示。

在上位機監(jiān)控界面上設(shè)置井口壓力設(shè)定值，采用強化學(xué)習(xí)控制策略實現(xiàn)對液動節(jié)流閥的閥位控制，并在上位機監(jiān)控界面上觀察井口壓力的控制效果，從而判斷策略的有效性和可靠性?，F(xiàn)場出口流量穩(wěn)定在13 L/s，泥漿密度1.2 g/cm3。為了驗證控制算法的有效性，對井底壓力分別進行追壓和降壓試驗，進而全面測試節(jié)流閥閥位的控制效果。

首先進行井口回壓的追壓試驗。井口壓力變化幅度1 MPa，初始時刻井口壓力值1 MPa，分別設(shè)置井口壓力設(shè)定值為2、3、4、5 MPa。追壓效果如圖6所示。

之后進行井口回壓的降壓試驗。此時初始井口壓力值5 MPa，分別設(shè)置井口壓力設(shè)定值為3、2、1 MPa，降壓效果如圖7所示。

最后，為了充分試驗節(jié)流閥閥位的控制效果，調(diào)整井口壓力變化幅度為2 MPa，當(dāng)初始時刻井口壓力值為2 MPa時，設(shè)置井口壓力設(shè)定值為

4 MPa，控制效果如圖8a所示；當(dāng)初始時刻井口壓力值為4 MPa時，設(shè)置井口壓力設(shè)定值為2 MPa，控制效果如圖8b所示。

綜合以上現(xiàn)場測試結(jié)果可知，在規(guī)定時間內(nèi)，通過智能體調(diào)節(jié)節(jié)流閥閥位，將井口壓力控制在目標(biāo)壓力值的±0.15 MPa范圍內(nèi)，滿足不同工況下給定井口壓力范圍時節(jié)流閥閥位的控制，驗證了智能體控制器能夠?qū)W習(xí)到最優(yōu)的節(jié)流閥閥位控制策略，完成不同工況下的井口壓力控制任務(wù)。

5 結(jié)束語

針對節(jié)流閥閥位精準(zhǔn)控制的問題，提出基于深度強化學(xué)習(xí)的智能控制策略。首先建立液動節(jié)流閥的動態(tài)模型，通過改變比例伺服閥的閥芯位移進而對自動節(jié)流管匯中液動節(jié)流閥的開大或關(guān)小的速度及位置進行控制。其次將液動節(jié)流閥閥位控制代入到強化學(xué)習(xí)框架中，采用DQN算法求解該問題。構(gòu)建智能體進行大量的強化學(xué)習(xí)訓(xùn)練，通過Q值網(wǎng)絡(luò)的更新調(diào)整控制策略，提高算法的穩(wěn)定性。最后在多種工況下對智能體控制器進行現(xiàn)場試驗，結(jié)果表明閥位控制策略所具有的控制精度和響應(yīng)速度能夠滿足控壓鉆井過程的需求。

參 考 文 獻

［1］? ?李根生，吳文，陳勉，等.深井復(fù)雜地層安全高效鉆井基礎(chǔ)研究［J］.中國科技成果，2014（13）：21-22.

［2］? ?XIAO C，NI H，SHI X.Unsteady model for wellbore pressure transmission of carbon dioxide fracturing considering limited-flow outlet［J］.Energy，2022，239：122289.

［3］? ?SULE I，KHAN F，BUTT S，et al.Kick control reliabi-lity analysis of managed pressure drilling operation［J］.Journal of Loss Prevention in the Process Industries，2018，52：7-20.

［4］? ?ZHANG Z，XIONG Y，GAO Y，et al.Wellbore tempe-rature distribution during circulation stage when well-kick occurs in a continuous formation from the bottom-hole［J］.Energy，2018，164：964-977.

［5］? ?BREYHOLTZ O，NYGAARD G，GODHAVN J M，et al.Evaluating control designs for co-ordinating pumpr ates and choke valve during managed pressure drilling ope-rations［C］//2009 IEEE Control Applications，（CCA） & Intelligent Control，（ISIC）.IEEE，2009：731-738.

［6］? ?FU Y K，LIU Q Y，WANG G R，et al.Mathematical modeling and validation on a new valve core of the throttle valve in MPD［J］.Advances in Mechanical Engineering，2013（5）：125936.

［7］? ?HANNEGAN， DON M.Managed pressure drilling in marine environments-case studies［C］//Proceedings of SPE/IADC Drilling Conference.Amsterdam，Netherla-nds，2005：1-5.

［8］? ?叔貴欣，范振忠，劉慶旺.污油泥調(diào)剖劑的研制與應(yīng)用［J］.科學(xué)技術(shù)與工程，2009（9）：2437-2439.

［9］? ?谷經(jīng)緯.鉆井節(jié)流閥的生產(chǎn)和使用概況研究［J］.內(nèi)江科技，2015，36（3）：112；75.

［10］? ?薛桂娥.基于電液比例閥的阻力加載系統(tǒng)研究［D］.西安：長安大學(xué)，2007.

［11］? ?路甬祥，胡大.電液比例控制技術(shù)［M］.北京：機械工業(yè)出版社，1988.

［12］? ?韓波，王慶豐.電液比例位置同步控制系統(tǒng)的控制結(jié)構(gòu)研究［J］.機床與液壓，1997（1）：7-10.

［13］? ?AO T，SHEN J，LIU X.The Application of DQN in Thermal Process Control［C］//2019 Chinese Control Conference（CCC）.IEEE，2019：2840-2845.

［14］? ?CHEN I M，ZHAO C，CHAN C Y.A Deep Reinforce-ment Learning-Based Approach to Intelligent Powert-rain Control for Automated Vehicles［C］//2019 IEEE Intelligent Transportation Systems Conference（ITSC）.IEEE，2019：2620-2625.

［15］? ?楊旭，楊曉華.基于FluidSim可調(diào)節(jié)流閥性能的研究［J］.寧波職業(yè)技術(shù)學(xué)院學(xué)報，2018，22（2）：85-87.

［16］? ?梁利華.液壓傳動與電液伺服系統(tǒng)［M］.哈爾濱：哈爾濱工程大學(xué)出版社，2005.

［17］? ?吳振順.液壓控制系統(tǒng)［M］.北京：高等教育出版社，2008.

［18］? ?SUTTON R S，BARTO A G.Reinforcement Learning：An Introduction［M］.Cambridge，MA：MIT Press，1998.

［19］? ?SU J J，MA C H，LI S，et al.An AGC dynamic control method based on DQN algorithm ［J］.IOP Conference Series：Materials Science and Engineering，2020，729（1）：012009.

（收稿日期：2023-01-20，修回日期：2023-03-10）

Hydraulic Choke Valve Position Control Strategy Based on Reinforcement Learning

XU Bao－chang YOU Peng xiangCHEN Yi－qi MENG Zhuo－ran LIU Wei

（1.College of Information Science and Engineering， China University of Petroleum（Beijing）；

2.PetroChina Engineering Technology Institute Co.，Ltd. ）

Abstract? ?Managed pressure drilling（MPD） is a complicated drilling technology. The control of choke valve on automatic choke manifold is key to realizing accurate control of bottom hole pressure. Firstly， having the hydraulic choke valves dynamic model in the MPD device established and the proportional servo valve selected as valve position control systems actuator. Through controlling the spool movement of proportional servo valve， the hydraulic oils inflow in hydraulic choke valves hydraulic cylinder was changed and the position of hydraulic choke valve was controlled； secondly， having a hydraulic choke valves position control strategy based on deep reinforcement learning proposed， through the exchange between the hydraulic choke valve and the intelligent agent， this strategy has the deep Q－network（DQN）? algorithm adopted to make proportional servo valve control hydraulic choke valve position； finally， both simulation and field test verified the effectiveness of the valve position control strategy to provide a guarantee for the successful implementation of MPD.

Key words? ? hydraulic choke valve， valve position control， MPD， reinforcement learning， DQN algorithm， proportional servo valve