智能无人系统 是一个复杂系统，涉及机械、控制、计算机、通信和材料等多个领域技术，而AI无疑是开发IUS所需的关键技术之一。随着新一代人工智能兴起，我们正面临一场新的工业，人类创造了各种无人系统，随着人类知识的累积和发展，无人系统的技术水平也在逐渐提高。自治和智能是智能无人系统的两个最重要特征，而实现和优化这两个特征的最有效方法是使用各种AI技术，例如智能感知（图像、语音识别等），人机交互，智能决策，学习，推理等。与传统无人系统相比，智能无人系统具有更大应用潜力，各种类型智能无人系统的出现将对人类生活和社会产生重大影响。目前，智能无人系统主要包括自动驾驶汽车、无人机、面向服务的机器人、智能工业机器人、太空机器人、航海机器人以及无人车间/智能工厂。

　　智能无人系统开发和测试通常分为基于实验和基于仿线所示，以无人机开发为例，基于实验的开发和测试虽然很直接，但是存在安全、空间、时间和成本等诸多痛点，以上痛点对于集群飞行测试更“痛”。基于仿真的开发和测试需要建立无人系统的数学模型，围绕模型进行开发和测试，最终回到真实的无人系统。对于基于仿真的开发和测试，痛点在于如何建立合理的模型。这导致传统仿真不真，而真的又太贵。然而，基于实验的开发和测试虽然直接但是“短期获利”行为，而基于仿真的开发和测试虽然看似“麻烦”但是“长期获利”行为。比如：特斯拉工程师表示他们花了10年进行能量流动的模型建，在不更换电池组的情况下实现续航里程提升。然而，据笔者所知，在国内大部分中小公司对无人机开发非常依赖实验，只有大公司和航空航天院所在开发重要的国家型号会采用基于模型的开发过程。

　　典型的无人智能体集群协同控制从仿真到实验全流程、全模块的系统架构如图 1所示，涉及包含无人智能体系统的设计与搭建、通讯系统的设计与搭建、定位系统的搭建与设计、导航与运动控制系统的搭建与设计、载荷系统的搭建与设计、任务规划系统的搭建与设计、地面站综合控制系统的搭建与设计等在内的众多软硬件系统，是一个庞大的生态系统和工具链。

　　现有各分散的软硬件存在使用标准、软件接口、通讯协议不统一，相关源码不开放，学习掌握和二次开发难度较大。

　　面对上述的需求和不足，目前亟需一款面向无人系统开发、仿真及测试的全流程软件生态系统或工具链。

　　RflySim是由北航可靠飞行控制组发布的生态系统或工具链。它由全权教授指导，戴训华博士主导开发，后经卓翼智能旗下的飞思实验室接管和推动高级功能的开发，专为无人平台控制系统开发、大规模集群协同、人工智能视觉等前沿研究领域研发的一套高可信度的无人控制系统开发、测试与评估平台。该平台采用基于模型（MBD）的设计理念，基于Pixhawk/PX4、MATLAB/Simulink和ROS等以及货架智能硬件等，可开展(不限于)：无人智能体控制的仿真与实飞/运动，无人智能体集群的仿真与实飞/运动，以及基于无人智能体视觉的仿真与实飞/运动。针对上述问题的研究时，可以开展无人系统建模、设计、软件在环仿真（Software-In-the-Loop，SIL）、硬件在环仿真（Hardware-In-the-Loop，HIL），通过MATLAB/Simulink的自动代码生成技术，能够被方便地自动下载到硬件中，用于HIL仿真和实际飞行测试，实现Sim2Real。根据各仿线所示，将各平台对比如主要有以下特点：

　　在Windows平台下进行一键安装、一键代码生成、一键固件部署、一键软硬件在环仿真和快速实飞, 非常方便易用。用户不需要了解飞控源码、Linux编程、C/C++编程、网络通信、飞机组装等底层知识，只需具备基础的Simulink（或Python）知识，即可快速将自己的算法经过层层验证并应用于真机上，有助于更专注于算法的开发与测试。

　　所有应用软件都可以在同一台或多台电脑上多开，并且各个应用之间可以通过UDP网络相互收发消息，这种分布式的构架非常适合于大规模带视觉的无人机集群仿真测试；

　　提供源码和教程帮助开发者在虚幻（Unreal Engine，UE）中搭建高度逼线D场景，用于室内外环境仿真或者基于视觉算法的开发；场景支持物理碰撞引擎，全球地形和地图，OSGB+Cesium倾斜摄影视景地图导入，自定义GPS坐标，任意多窗口切换观察，RGB、深度、灰度、IMU、激光雷达等传感器数据输出，支持共享内存或者UDP图片直发指定IP地址，可用于机载计算机硬件在环SLAM仿线 室外大场景倾斜摄影

　　基于UE的三维视景平台还支持视角切换功能，可以获取方便地获取到多个视角的图像数据。还支持通过共享内存的方式在Simulink、Python、C/C++等代码平台中实时获取到图像数据并进行处理，处理得到的视觉数据可以通过UDP再返回给CopterSim或者Simulink控制，形成带有视觉的硬件在环仿线

　　RflySim平台包含了众多在进行无人系统建模、仿真、算法验证等开发过程中所涉及到的软件，其中，核心组件有CopterSim、QGroundControl、RflySim3D/RflySimUE5、Python38Env、Win10WSL子系统、SITL/HITLRun一键运行脚本、MATLAB自动代码生成工具箱、Simulink集群控制接口、PX4 Firmware源码、RflySim配套资料文件以及配套硬件系统。用户通过对这些核心组件的学习即可快速上手无人系统的开发和测试工作。

　　CopterSim是RflySim平台核心软件之一，它是针对Pixhawk/PX4自驾仪平台开发的一款硬件在环仿真软件，可以在软件中配置多旋翼的模型，通过USB串口与Pixhawk自驾仪连接来实现硬件在环仿真，达到室内模拟室外飞行测试的效果。主要由两大部分组成—模型和通信。模型是指可根据所设置的模型参数，进行计算后直接就可进行仿真；并支持运行动态模型(DLL)，并连同其他软件构成软/硬件在环仿真。CopterSim是所有数据通信的中心；飞控与CopterSim通过串口（硬件在环HITL）或网络TCP/UDP（软件在环SITL）进行连接，使用MAVLink进行数据传输，实现控制闭环，模拟室外飞行情形；CopterSim发送飞机位姿、电机数据到三维引擎，实现可视化展示；转发MAVLink消息到Python视觉或QGC地面站，传输飞机实时状态，实现顶层规划控制；等等。同时，CopterSim软件对MAVLink数据进行压缩后以UDP结构体形式发给集群控制软件，达到通信精简目的（大规模集群需求）。

　　3.2 RflySim3D/RflySimUE5Unreal Engine具有强大的图形引擎，支持高品质的3D图形和视觉效果；内置的蓝图可视化脚本系统，使得开发者可以使用图形化的方式来创建复杂的逻辑和交互行为，而无需编写代码；拥有庞大的社区支持和资源库，包括模型、纹理、音效、插件等等，这些资源可以帮助开发者加快开发进程和提高模型品质；支持多个平台，包括PC、主机、移动设备和虚拟现实设备等等；开发者可以根据自己的需求来自定义和扩展引擎的功能和工具，使得Unreal Engine适用于各种类型的游戏和应用程序开发。

　　RflySim3D/RflySimUE5是基于Unreal Engine引擎开发的无人系统高逼真仿真软件，继承了Unreal Engine引擎的各种优势，通过UDP的形式与平台其他软件进行通信，实现高逼真的无人系统仿真，同时，可通过屏幕抓取、共享内存等方式将视觉图像数据传输到QGroundControl、MATLAB、Python等软件，实现无人系统的视觉算法验证仿线所示。

　　同时，针对电脑配置较低的用户，RflySim平台提供另外两种三维仿真软件，分别为：FlightGear和3DDisplay。FlightGear的开发团队来自世界各地，包括程序员、飞行员、物理学家和飞机制造商等领域的专家，提供了多种不同类型的飞机模型和场景，包括各种民用和军用飞机模型，以及多种不同的场景和环境模拟。它是一款非常受欢迎的开源飞行模拟器软件，可以通过UDP接收Simulink发送的飞行状态，方便地观测Simulink仿线DDisplay是由北航可靠飞行控制研究组开发的虚拟飞行模拟器软件，提供了三维模型和虚拟环境，支持多种飞机模型和场景。用户可根据个人电脑的配置情况，自由切换RflySim3D/RflySimUE5、FlightGear、3DDisplay三款仿线 QGroundControl地面站

　　无人机地面站是无人机应用控制系统的关键组成部分，操作员可以通过鼠标、触摸屏、遥控手柄操作地面站以达到控制无人机的目的，并且通过在地面站上设定航点信息以及规划航。