近年来，多潜器(AUV)编队控制已经被广泛应用于多种水下任务中，例如：入侵监视、地理测绘、海洋救援和石油勘探等领域.传统的多潜器编队控制研究往往忽略了水声通信质量的影响，忽视上述因素可能导致通信质量恶化，进而导致编队任务失败；此外，在潜器编队控制方面，传统的增强学习编队控制需要控制对象准确的模型参数，然而在恶劣的水下环境中不能总是准确地获取模型参数。因此，研究一个不基于模型且考虑水下通信质量的编队控制器是很有必要的，这不仅能够摆脱控制方法对模型参数的依赖，而且还能通过水声信道预测指导编队过程，这将促进水下编队技术在水下物联网中的应用。

为此，本文引入了自适应动态规划的思想，在信道预测部分，相比于最小二乘估计器，本文使用的信道估计算法能够避免信道预测局部最优；同时，考虑了采样信息不准确的情况下的信道估计问题，更具有实际应用价值；在编队控制部分，本文使用的无模型控制算法相比于传统的基于分析的控制算法摆脱了对模型参数的依赖。同样的，在控制部分还考虑了输入受限水流干扰等工程中经常遇到的因素，而且文中采用多元概率采样方法去对模型不确定以及具有统计特性的水流进行评估，相比于传统的蒙特卡洛方法，大大减小了计算量。

燕山大学自动化系闫敬教授团队等提出了一种通信感知下多潜器编队控制算法，该算法利用积分增强学习的无模型特性来摆脱对控制对象参数的依赖，并将此方法应用到水声信道预测中，实现通过少量的信噪比(SNR)采样点来预测还未到达的点的SNR值。研究成果发表于IEEE/CAA Journal of Automatica Sincia 2023年第十卷第一期：W. Q. Cao, J. Yan, X. Yang, X. Y. Luo, and  X. P. Guan,  “Communication-aware formation control of AUVs with model uncertainty and fading channel via integral reinforcement learning,” IEEE/CAA J. Autom. Sinica, vol. 10, no. 1, pp. 159–176, Jan. 2023. doi: 10.1109/JAS.2023.123021。

首先，为了预测水声信道分布的情况，先通过AUV对目标区域进行SNR数据的采样，如图所示：

http://image.sciencenet.cn/home/202303/10/161338e33qno0w3ct7t2a2.png

图1 SNR数据采样过程图

基于采样信息，建立信道参数估计模型，其中信道估计过程可以表示为以下结构框图：

http://image.sciencenet.cn/home/202303/10/161348b55n1yfmzjx1fw82.png

图2  信道预测系统框架图

 经过上述过程，我们针对特定水域的SNR参数估计结果为：

http://image.sciencenet.cn/home/202303/10/161356xrypyzl0ll7qxf18.png

图3  信道参数预测结果图

在上述仿真结果中可以看到信道参数收敛至真值，进而对于监测区域内的预测SNR可以建模表示为：

http://image.sciencenet.cn/home/202303/10/161405dw9r9oc4hrj9229r.png

图4 3D空间中水声信道预测结果图

基于上述信道结果，在控制部分结合信道信息，文中给出了通信感知下编队系统的方框图,

http://image.sciencenet.cn/home/202303/10/161415wqfyzqxmi5dfq9tm.png

图5  通信感知下AUV编队系统的方框图

下面给出仿真结果，用于验证算法的有效性:

http://image.sciencenet.cn/home/202303/10/161423ez2copsmcwc0y5by.png

图6  通信感知下AUV的编队过程

未来，我们将研究在更为复杂海洋环境下AUV编队问题，同时，如何将探测、通信与编队控制一体化也是未来需要考虑的方向。

http://image.sciencenet.cn/home/202303/10/161438ej3zjjgg3sjngsjq.png

曹文强，燕山大学控制科学与工程专业博士研究生，曾获研究生国家奖学金、十四届“电工杯”数学建模大赛全国一等奖、IEEE/OES中国海洋声学H2O大赛全国一等奖，研究方向包括水下机器人编队与群集控制。

http://image.sciencenet.cn/home/202303/10/161449khsfhhhi65lhzvp1.png

闫敬，燕山大学教授、博士生导师，主要从事水下网络系统定位、组网与协同控制等研究。入选国家优青，河北省杰青，获河北省优秀博士学位论文、河北省自然科学二等奖。目前是IEEE Senior Member、中国自动化学会高级会员，担任国际期刊IEEE Transactions on Intelligent Transportation Systems、IET Control Theory & Applications 以及Wireless Networks编委、IEEE/CAA Journal of Automatica Sinica与《水下无人系统学报》青年编委、《控制理论与应用》客座编委。近年来，以第一作者出版英文专著2部，在IEEE TAC、IEEE JOE等期刊发表SCI论文60余篇，授权发明专利17项。

http://image.sciencenet.cn/home/202303/10/161458fwqczq797iotcivj.png

杨睍，燕山大学副教授、博导，河北省优青、教育厅青年拔尖人才。2010年获得燕山大学控制科学与工程博士学位；研究领域包括网络远程操作系统、水下网络物理系统和非线性控制。

http://image.sciencenet.cn/home/202303/10/161507p7d2r9x7nips3ado.png

罗小元，燕山大学教授、博导，现任燕山大学电气工程学院电气工程系系主任，他的研究兴趣包括故障检测和容错控制、多智能体和网络控制系统。

http://image.sciencenet.cn/home/202303/10/161519i2y9kufw4q8quqbr.png

关新平，上海交通大学讲席教授，现任电子信息与电气工程学院院长。“国家杰出青年科学基金”获得者，“长江学者特聘教授”，“国家百千万人才工程”国家级人才，IEEE Fellow；上海市领军人才，上海市优秀学术带头人。

感谢本文作者提供以上简介