本書從多角度覆蓋了多智能體自主協(xié)同技術(shù)的內(nèi)容，分5篇共18章，包括多智能體系統(tǒng)的協(xié)同基礎(chǔ)、集群控制、通信優(yōu)化、任務(wù)協(xié)同及目標(biāo)追蹤，旨在將多智能體自主協(xié)同技術(shù)中的方法和理論結(jié)合起來，并強(qiáng)調(diào)協(xié)同基礎(chǔ)的重要性，具有基礎(chǔ)性、應(yīng)用性、綜合性和系統(tǒng)性等特點(diǎn)。
本書可以作為多智能體系統(tǒng)領(lǐng)域研究的入門指南，或者作為協(xié)同無人系統(tǒng)工程師的自學(xué)教材，還可以用作高年級(jí)本科生以及研究生教材。另外，本書也可以作為協(xié)同無人系統(tǒng)、無人飛行系統(tǒng)以及無人系統(tǒng)的補(bǔ)充閱讀材料。
多智能體自主協(xié)同技術(shù)是近年來熱門的研究方向，本書兼顧了基礎(chǔ)知識(shí)和前沿算法，使讀者可以根據(jù)自身的實(shí)際情況由淺入深地了解多智能體自主協(xié)同技術(shù)。目前市面缺乏系統(tǒng)闡述多智能體自主協(xié)同理論算法和應(yīng)用的書籍，尤其是缺少中文版的參考資料。本書及時(shí)填補(bǔ)了這一空白。本書介紹了多智能體在協(xié)同搜索、災(zāi)難救援、自主避障、海洋探測(cè)等領(lǐng)域的應(yīng)用，對(duì)于促進(jìn)多智能體自主協(xié)同技術(shù)的應(yīng)用研究有積極的推動(dòng)作用，為不同領(lǐng)域的研究人員提供了橋梁。本書并不是純粹的理論創(chuàng)作，在提出多智能體自主協(xié)同概念的同時(shí)，在方法及實(shí)現(xiàn)路徑上展開進(jìn)一步探討，具有很高的學(xué)術(shù)價(jià)值和應(yīng)用價(jià)值。開展多智能體自主協(xié)同技術(shù)研究，對(duì)于推動(dòng)我國(guó)軍事智能、智能產(chǎn)業(yè)高質(zhì)量發(fā)展、加快工業(yè)轉(zhuǎn)型升級(jí)具有重要意義。
本書創(chuàng)造性地提出了謝賓斯基集群、圓環(huán)控制集群等概念來形象地闡述發(fā)展完善的智能體協(xié)同產(chǎn)業(yè)的基本原理，提煉了多智能體協(xié)同、控制、通信三大核心本質(zhì)，更提出了無人系統(tǒng)產(chǎn)業(yè)在協(xié)同集群后的未來發(fā)展方向，智能化、無人化產(chǎn)業(yè)將超越當(dāng)前傳統(tǒng)產(chǎn)業(yè)，真正實(shí)現(xiàn)新要素、新產(chǎn)品、新業(yè)態(tài)的創(chuàng)造，節(jié)省了人力，行業(yè)增量加大。
本書與市面上的智能體相關(guān)書籍相比，有兩大顯著的優(yōu)勢(shì)，已有書籍主要闡述的是智能體的產(chǎn)生背景、發(fā)展歷史、概念、模式、功能等，而本書一是探討了多智能體協(xié)同的未來發(fā)展方向，包括已經(jīng)逐步實(shí)現(xiàn)的無人機(jī)自主集群和協(xié)同執(zhí)行任務(wù)，二是濃墨重筆地闡述了多智能體協(xié)同的實(shí)踐經(jīng)驗(yàn)，可操作性強(qiáng)，彌補(bǔ)了市面書籍對(duì)于多智能體協(xié)同集群實(shí)操指南的空白。隨著人工智能產(chǎn)業(yè)項(xiàng)目的落地需求，本書所涵蓋的理論知識(shí)將會(huì)越來越具有指導(dǎo)性，也將會(huì)越來越受讀者歡迎。
智能體是人工智能領(lǐng)域中一個(gè)很重要的概念，它是指駐留在某一環(huán)境下，能持續(xù)自主地發(fā)揮作用，具備駐留性、反應(yīng)性、社會(huì)性、主動(dòng)性等特征的計(jì)算實(shí)體。任何獨(dú)立的能夠思考并可以同環(huán)境交互的實(shí)體都可以抽象為智能體。
多智能體協(xié)同系統(tǒng)是指多個(gè)自主智能體通過信息交互和行為交互所構(gòu)成的在時(shí)間、空間、模式和任務(wù)等多維度進(jìn)行協(xié)同的智能系統(tǒng)。這類智能系統(tǒng)通常包含兩個(gè)及以上的單機(jī)，呈現(xiàn)出的整體功能、性能超過各單機(jī)之和。多機(jī)協(xié)同智能不僅拓展了單機(jī)的物理域、信息域和作業(yè)范圍，也顯著提升了單機(jī)面對(duì)復(fù)雜環(huán)境和任務(wù)的感知-執(zhí)行綜合效能。
作為沈陽航空航天大學(xué)協(xié)同無人系統(tǒng)研究室多年科學(xué)研究成果的總結(jié)，本書可以作為多智能體系統(tǒng)領(lǐng)域研究的入門指南，或者作為協(xié)同無人系統(tǒng)工程師的自學(xué)教材，還可以用作高年級(jí)本科生以及研究生教材。另外，本書也可以作為協(xié)同無人系統(tǒng)、無人飛行系統(tǒng)以及無人系統(tǒng)的補(bǔ)充閱讀材料。本書共18章，包括多智能體系統(tǒng)的協(xié)同基礎(chǔ)、集群控制、通信優(yōu)化、任務(wù)協(xié)同及目標(biāo)追蹤五個(gè)部分，多角度覆蓋多智能體自主協(xié)同技術(shù)內(nèi)容。
1）協(xié)同基礎(chǔ)篇，主要包括智能體概述、多無人機(jī)系統(tǒng)和目標(biāo)運(yùn)動(dòng)建模、水下復(fù)雜任務(wù)環(huán)境建模等內(nèi)容，它是后續(xù)多智能體協(xié)同技術(shù)的基礎(chǔ)及理論支撐。
2）集群控制篇，主要包括角度控制集群、圓環(huán)控制集群、MADDPG集群控制，以及風(fēng)流對(duì)集群控制的影響等內(nèi)容，是對(duì)多智能體的集群控制問題進(jìn)行研究。
3）通信優(yōu)化篇，主要包括多無人機(jī)安全通信機(jī)制、引入飛行控制因子增加通信鏈路、引入虛擬洋流及自適應(yīng)步長(zhǎng)改進(jìn)人工魚群算法、設(shè)計(jì)層式虛擬通信圓環(huán)及移動(dòng)算法提高通信安全，如何減小不安全通信范圍并增加無人機(jī)通信鏈路等技術(shù)內(nèi)容，是對(duì)多智能體的通信性能進(jìn)行優(yōu)化研究。
4）任務(wù)協(xié)同篇，主要包括未知環(huán)境下的目標(biāo)點(diǎn)搜索及路徑優(yōu)化、任務(wù)分配機(jī)制，基于距離進(jìn)化N-PSO的多智能體能源優(yōu)化路徑搜尋方法，基于強(qiáng)化學(xué)習(xí)角度積累營(yíng)救區(qū)回報(bào)值，通過尋找回報(bào)最大值得到執(zhí)行營(yíng)救過程的最優(yōu)行為等技術(shù)，是對(duì)多智能體自主協(xié)同目標(biāo)搜索及任務(wù)分配問題進(jìn)行研究。
5）目標(biāo)追蹤篇，主要包括多無人機(jī)在追蹤單目標(biāo)或多目標(biāo)時(shí)如何實(shí)時(shí)自適應(yīng)地調(diào)整自身運(yùn)動(dòng)狀態(tài)，如何在追蹤過程中始終保持網(wǎng)絡(luò)動(dòng)態(tài)連通及避免碰撞，并快速跟蹤到目標(biāo)等技術(shù)內(nèi)容，是對(duì)多智能體協(xié)同目標(biāo)追蹤問題進(jìn)行研究。
本書的編寫和準(zhǔn)備是一個(gè)漫長(zhǎng)的過程，也是我們多年研究工作的積累與總結(jié)。非常感謝我的研究生馬堅(jiān)、李丹陽、于元哲、鄒良開、王景志、宋成鑫、孫亞男、楊京輝等，他們?yōu)楸緯木帉憸?zhǔn)備了材料，并參與了部分整理工作。特別感謝本書的策劃編輯李曉波老師，他對(duì)本書的每個(gè)章節(jié)都認(rèn)真審閱，積極給出改進(jìn)意見。
多智能體自主協(xié)同技術(shù)發(fā)展迅速，涉及領(lǐng)域廣泛。作者學(xué)識(shí)、時(shí)間和精力有限，書中難免存在不妥之處，若蒙讀者諸君不吝告知，將不勝感激。
吳杰宏
2024年3月
吳杰宏，沈陽航空航天大學(xué)教授，博士生導(dǎo)師，協(xié)同無人系統(tǒng)研究室主任。美國(guó)萊特州立大學(xué)訪問學(xué)者，遼寧省教育廳創(chuàng)新人才。主要從事多智能體協(xié)同集群、安全通信、路徑規(guī)劃、博弈決策、智能對(duì)抗及跨介質(zhì)光通信路由方面的研究工作。主持國(guó)家自然科學(xué)基金、國(guó)防基礎(chǔ)科研等基金項(xiàng)目20項(xiàng)，一作在IEEE Transactions on Intelligent Transportation Systems、IEEE Transactions on Vehicular Technology、IEEE Transactions on Mobile Computing、Computer Networks、《計(jì)算機(jī)研究與發(fā)展》等期刊發(fā)表科研論文50余篇；第一發(fā)明人申請(qǐng)發(fā)明專利18項(xiàng)（已授權(quán)11項(xiàng)）；獨(dú)立撰寫學(xué)術(shù)專著2部；榮獲第三屆源創(chuàng)杯創(chuàng)新創(chuàng)意大賽全國(guó)賽區(qū)二等獎(jiǎng)1項(xiàng)、航空學(xué)會(huì)科技進(jìn)步獎(jiǎng)1項(xiàng)。
序
前言
協(xié)同基礎(chǔ)篇
第1章 智能體概述/
1.1智能體的范疇/
1.2多無人機(jī)控制模型/
1.2.1Reynolds模型/
1.2.2Vicsek模型/
1.2.3Couzin模型/
1.3多無人機(jī)運(yùn)動(dòng)模型/
1.3.1常用坐標(biāo)系/
1.3.2單無人機(jī)運(yùn)動(dòng)模型/
1.3.3無人機(jī)間相對(duì)運(yùn)動(dòng)模型/
第2章 多無人機(jī)系統(tǒng)和目標(biāo)運(yùn)動(dòng)建模/
2.1無人機(jī)系統(tǒng)模型/
2.2多無人機(jī)系統(tǒng)一致性理論/
2.3目標(biāo)運(yùn)動(dòng)模型/
2.4目標(biāo)捕獲模型/
2.5本章小結(jié)/
第3章 水下復(fù)雜任務(wù)環(huán)境建模/
3.1AUV六自由度運(yùn)動(dòng)模型/
3.2水下環(huán)境模型搭建/
3.2.1Lamb渦流/
3.2.2區(qū)域海洋模型系統(tǒng)洋流數(shù)據(jù)集/
3.2.3障礙物模型/
3.3水下任務(wù)分配算法/
3.3.1水下任務(wù)分配算法描述/
3.3.2水下任務(wù)分配模型/
3.4本章小結(jié)/
集群控制篇
第4章 角度控制集群/
4.1輕量級(jí)植絨運(yùn)動(dòng)模型/
4.2基于角度控制的移動(dòng)算法/
4.2.1護(hù)航無人機(jī)移動(dòng)策略/
4.2.2輕量級(jí)植絨模型求解/
4.2.3ACHF算法/
4.3ACHF算法實(shí)驗(yàn)分析/
4.3.1算法參數(shù)設(shè)置/
4.3.2ACHF算法效果分析/
4.3.3ACHF算法防碰分析/
4.3.4ACHF算法護(hù)航無人機(jī)狀態(tài)分析/
4.3.5ACHF實(shí)驗(yàn)數(shù)據(jù)分析/
4.4本章小結(jié)/
第5章 圓環(huán)控制集群/
5.1三層區(qū)域的植絨算法模型/
5.2基于圓環(huán)控制的移動(dòng)算法/
5.2.1算法介紹/
5.2.2VRCHF算法/
5.3無人機(jī)群體分離和群體聚合策略/
5.3.1無人機(jī)群體分離策略/
5.3.2無人機(jī)群體聚合策略/
5.4VRCHF算法實(shí)驗(yàn)分析/
5.4.1VRCHF算法中的實(shí)驗(yàn)參數(shù)配置/
5.4.2VRCHF算法效果/
5.4.3VRCHF算法數(shù)據(jù)分析/
5.4.4無人機(jī)集群分離聚合結(jié)果分析/
5.4.5異構(gòu)無人機(jī)植絨集群的必要性/
5.5本章小結(jié)/
第6章 G-MADDPG集群控制/
6.1編隊(duì)集群設(shè)計(jì)/
6.1.1子編隊(duì)/
6.1.2異構(gòu)編隊(duì)集群/
6.2基于G-MADDPG的異構(gòu)編隊(duì)集群控制算法/
6.3G-MADDPG實(shí)現(xiàn)/
6.3.1狀態(tài)空間和動(dòng)作空間/
6.3.2獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)/
6.4實(shí)驗(yàn)結(jié)果與分析/
6.4.1子編隊(duì)實(shí)現(xiàn)與分析/
6.4.2集群實(shí)現(xiàn)與分析/
6.4.3G-MADDPG與MADDPG和DDPG的比較/
6.5本章小結(jié)/
第7章 A-MADDPG集群控制/
7.1編隊(duì)集群設(shè)計(jì)/
7.1.1子編隊(duì)/
7.1.2異構(gòu)編隊(duì)集群/
7.2基于A-MADDPG的子編隊(duì)聚集控制算法/
7.2.1A-MADDPG算法描述/
7.2.2狀態(tài)空間和動(dòng)作空間/
7.2.3獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)/
7.3多子編隊(duì)聚集/
7.4實(shí)驗(yàn)結(jié)果與分析/
7.4.1子編隊(duì)實(shí)現(xiàn)與分析/
7.4.2集群實(shí)現(xiàn)與分析/
7.5本章小結(jié)/
第8章 風(fēng)流對(duì)集群控制的影響/
8.1風(fēng)流數(shù)據(jù)/
8.1.1單一方向的風(fēng)流數(shù)據(jù)/
8.1.2多方向時(shí)序風(fēng)流數(shù)據(jù)/
8.2風(fēng)流對(duì)無人機(jī)飛行的軌跡影響/
8.2.1風(fēng)流對(duì)無人機(jī)飛行軌跡影響/
8.2.2基于無人機(jī)位置糾偏的風(fēng)流糾偏方法/
8.3風(fēng)流環(huán)境下糾偏軌跡的異構(gòu)無人機(jī)植絨算法/
8.4實(shí)驗(yàn)分析/
8.4.1單一方向風(fēng)流環(huán)境下異構(gòu)無人機(jī)植絨算法實(shí)驗(yàn)分析/
8.4.2多方向時(shí)序風(fēng)流環(huán)境下異構(gòu)無人機(jī)植絨算法實(shí)驗(yàn)分析/
8.5本章小結(jié)/
通信優(yōu)化篇
第9章 群聚避障通信優(yōu)化/
9.1相關(guān)技術(shù)/
9.1.1多無人機(jī)系統(tǒng)模型/
9.1.2多無人機(jī)協(xié)同控制算法/
9.1.3多無人機(jī)運(yùn)動(dòng)模型的構(gòu)建/
9.2基于飛行控制因子的群聚算法/
9.2.1無人機(jī)飛行速度優(yōu)化方法/
9.2.2實(shí)驗(yàn)分析/
9.3群聚避障算法/
9.3.1常見避障算法介紹/
9.3.2無人機(jī)飛行位置優(yōu)化方法/
9.3.3實(shí)驗(yàn)分析/
9.4本章小結(jié)/
第10章 改進(jìn)人工魚群通信優(yōu)化/
10.1問題描述/
10.2多無人機(jī)系統(tǒng)模型/
10.2.1無人機(jī)拓?fù)浣Y(jié)構(gòu)模型/
10.2.2無線通信模型/
10.2.3無人機(jī)動(dòng)力學(xué)模型/
10.3改進(jìn)人工魚群算法/
10.3.1多無人機(jī)通信范圍/
10.3.2自適應(yīng)步長(zhǎng)和視野/
10.3.3虛擬洋流概念/
10.3.4改進(jìn)人工魚群算法/
10.4仿真實(shí)驗(yàn)/
10.4.1仿真工具M(jìn)ATLAB簡(jiǎn)介/
10.4.2仿真場(chǎng)景與結(jié)果分析/
10.5本章小結(jié)/
第11章 改進(jìn)OLSR協(xié)議的通信優(yōu)化/
11.1網(wǎng)絡(luò)模型/
11.2MPR選擇優(yōu)先度以及搜索流程/
11.2.1MPR選擇優(yōu)先度/
11.2.2MPR搜索流程/
11.3仿真實(shí)驗(yàn)與分析/
11.3.1仿真工具NS2簡(jiǎn)介/
11.3.2仿真場(chǎng)景/
11.3.3仿真結(jié)果分析/
11.4多無人機(jī)安全通信策略/
11.5本章小結(jié)/
第12章 減小不安全區(qū)域通信優(yōu)化/
12.1多無人機(jī)的通信拓?fù)浣Y(jié)構(gòu)/
12.2減小不安全區(qū)域的安全通信策略/
12.2.1概念定義/
12.2.2層式虛擬通信圓環(huán)策略/
12.3實(shí)驗(yàn)分析/
12.3.1實(shí)驗(yàn)效果分析/
12.3.2性能分析/
12.4本章小結(jié)/
任務(wù)協(xié)同篇
第13章 多目標(biāo)點(diǎn)搜索及路徑優(yōu)化/
13.1基于ACSQL的無人機(jī)目標(biāo)點(diǎn)搜索與路徑優(yōu)化算法/
13.1.1狀態(tài)空間和動(dòng)作空間的設(shè)計(jì)/
13.1.2獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)/
13.1.3初始化Q表/
13.1.4ACSQL算法的實(shí)現(xiàn)/
13.2子區(qū)域搜索算法/
13.3實(shí)驗(yàn)驗(yàn)證及效果分析/
13.3.1仿真環(huán)境的設(shè)計(jì)/
13.3.2算法分析/
13.3.3與傳統(tǒng)動(dòng)作空間的對(duì)比分析/
13.3.4與其他算法對(duì)比分析/
13.4仿真環(huán)境驗(yàn)證/
13.5本章小結(jié)/
第14章 協(xié)同搜索及任務(wù)分配/
14.1多無人機(jī)協(xié)同任務(wù)分配模型/
14.2基于ISOM的多無人機(jī)協(xié)同任務(wù)分配算法/
14.3注意力機(jī)制解決突發(fā)情況/
14.4實(shí)驗(yàn)驗(yàn)證及效果分析/
14.4.1實(shí)驗(yàn)條件的設(shè)計(jì)/
14.4.2ISOM算法的測(cè)試與驗(yàn)證/
14.4.3ISOM算法在復(fù)雜多任務(wù)場(chǎng)景下與其他算法的對(duì)比/
14.4.4ISOM算法在大任務(wù)量環(huán)境下與其他算法的對(duì)比/
14.4.5突發(fā)情況處理驗(yàn)證/
14.5仿真環(huán)境驗(yàn)證/
14.6本章小結(jié)/
第15章 R-RLPSO實(shí)時(shí)多營(yíng)救任務(wù)分配/
15.1R-RLPSO算法描述/
15.1.1營(yíng)救區(qū)與吸引營(yíng)救區(qū)/
15.1.2R-RLPSO算法可行性分析/
15.1.3營(yíng)救回報(bào)值c_reward/
15.2實(shí)驗(yàn)結(jié)果與分析/
15.2.1R-RLPSO算法實(shí)現(xiàn)營(yíng)救任務(wù)分配結(jié)果/
15.2.2c_reward實(shí)驗(yàn)結(jié)果與分析/
15.2.3驗(yàn)證多營(yíng)救任務(wù)完成/
15.2.4R-RLPSO、ISOM、IACO算法對(duì)比分析/
15.3本章小結(jié)/
第16章 DENPSO能量?jī)?yōu)化路徑規(guī)劃/
16.1DENPSO算法描述/
16.1.1非線性慣性權(quán)重與非線性學(xué)習(xí)因子/
16.1.2距離進(jìn)化因子/
16.1.3能量評(píng)估/
16.2仿真實(shí)驗(yàn)對(duì)比分析/
16.2.1DENPSO算法在三維渦流場(chǎng)中的能量?jī)?yōu)化/
16.2.2DENPSO算法在區(qū)域海洋系統(tǒng)中的能量?jī)?yōu)化/
16.2.3DENPSO算法在多AUV實(shí)時(shí)營(yíng)救任務(wù)中的能量?jī)?yōu)化/
16.3本章小結(jié)/
目標(biāo)追蹤篇
第17章 切換式協(xié)同目標(biāo)追蹤/
17.1切換式追蹤策略描述/
17.1.1卡爾曼一致性濾波算法/
17.1.2多無人機(jī)協(xié)同控制方程/
17.1.3追蹤策略流程/
17.2理論分析/
17.3實(shí)驗(yàn)結(jié)果與分析/
17.3.1既定軌跡仿真及對(duì)比/
17.3.2逃逸仿真及對(duì)比/
17.3.3性能分析/
17.4本章小結(jié)/
第18章 局部信息交互多目標(biāo)追蹤/
18.1算法描述/
18.1.1傳統(tǒng)協(xié)同控制算法/
18.1.2虛擬領(lǐng)導(dǎo)者選取/
18.1.3多無人機(jī)協(xié)同控制算法/
18.1.4算法流程/
18.2實(shí)驗(yàn)結(jié)果與分析/
18.2.1分群追蹤效果/
18.2.2不同算法對(duì)比驗(yàn)證/
18.3本章小結(jié)/
參考文獻(xiàn)/
書單推薦
