中国民航大学计算机科学与技术学院 惠康华（张哈斯巴根/摄）

各位领导、各位嘉宾，大家下午好！我们团队有10位老师，30余位研究生，主要围绕机场、航司相关业务工作开展研究，今天跟各位汇报的内容是《飞行区活动态势精准感知与风险识别技术研究》。 

飞行区活动态势精准感知与风险识别技术主要分为三个部分： 

1、围绕飞行区活动目标，包括航空器、车辆、人员、无动力时候等多元、多模态的感知数据融合构建的飞行区高精准度实施感知模型。 

2、突破大型活动目标轮廓精准定位技术，刚才前面也有专家（我记得航向是东航的宋总提到的），我们现在基于雷达的定位数据，都是以点状的数据呈现，但是整个飞机的轮廓是不清楚的。还有研究整个飞行区像跑道、入侵、限制区侵入等不安全事件的行为理解技术。 

3、基于激光点云、立体视觉技术构建数字孪生体。 

下面我们把活动目标的态势感知分为两个部分，活动目标我们把它分为一类是合作目标，包括航空器、车辆、工作人员、无动力设备，以航空器为例，像多点定位、ABS、机载定位终端，这些数据我们要进行研究。这些数据我们通过预处理，实现异常数值的去除、时间的对齐。然后我们通过设立6个评估指标，最终我们制定了一个评估模型，通过评估模型最终实现正常的定位数据展示。结合航班计划，实现航空器身份的标识。 

第二类是非合作目标，主要包括飞行区的旅客以及像航空器、车辆、无动力设备、传统的监视盲区下的定位、跟踪。这里面针对非合作目标，以人员为例，旅客为例，我们目前采集到了有10万多个非合作目标的数据，主要是来自于几个机场的180个小时的视频数据，有5位学生连续标了2年多。当然这些数据对于我们训练深度学习这些模型来说是远远不够的，我们通过小文本目标增强对数据进行扩充。扩充完以后，我们通过公开数据集的深度学习算法进行迁移学习，最终使得我们在飞行区标记出来的这些非合作的目标样本数据能够适用于深度学习模型。 

另一方面，围绕非合作目标检测的基础上还做了通用的人脸识别，现在深度学习模型大家都知道，都是高度依赖高性能的GPU，比如说像ChatGPT，实际上它是由2500块A100 80G的显卡差不多跑70天左右跑出来的深度学习模型。我们结合机场的实际应用，把深度学习模型移植到了CPU上，不再依赖高性能的GPU，在普通的PC和移动端都可以运行，差不多1秒可以处理25帧。针对机场的旅客数据，低分辨率的图像，我们还研究了图像质量的超分辨率。 

最近一段时间接触到机场新的需求，我们在原有的人脸识别基础上，现在正在开展双目视觉和红外技术相结合的3D人脸识别。这一部分工作一个是支持活体检测，另外一个可以防御恶意攻击。 

4、围绕机场的需求，目前机场旅客的人脸数据都是部署在本地，在机场之间数据没有进行共享，目前我们正在研究一体化学习算法框架，支持目前各个机场自有的存储人脸数据在本地进行训练，训练完以后把训练模型的参数上传到云端，通过云端处理完以后，再分到各个机场终端。这样一方面实现了旅客的人脸数据隐私保护，另一方面通过数据之间共享，实现了人脸识别进度的提升。 

二、风险实时告警 

我们收集了公开数据集以及几个机场1000余条飞行区的不安全事件，我们基于这1000多条不安全事件建立了实体模型，识别这些不安全事件的实体信息和动作信息，然后构建了事件抽取模型，抽取刚才提到的整个不安全事件里面结构化的事件数据。通过抽取出来的结构化事件数据，我们构建了不安全事件知识图谱，最后利用知识图谱对飞行区像跑道、停机冲突等等风险场景进行识别。 

针对飞行区航空器滑行过程中实现冲突的问题研究了基于热区计算冲突自动解脱方法，实现了航空器引导过程中的自动冲突解脱。 

高精准度的三维交通场景重构，三维立体重构对应刚才专家介绍的数字孪生体。我们抽取整个飞行区的静态场景数据，比如说廊桥、下穿道、跑道、标识线等等信息，这些静态场景的数据。另一方面是动态场景的数据，包括像航空器、车辆、人员、无动力设备等等。 

动态的数据刚才前面已经介绍了，有了这些数据以后，进行静态场景和动态场景的三维建模。建完模以后，最后一部分，对建完模的场景进行可视化，最终构建了一个基于三维交通场景重构的数字孪生体。 

目前这个数字孪生体我们一方面是可以存储历史上的数据和采集到的实时数据，一会会介绍我们对未来数据的处理。 

我们在做的机场特种车辆调度，这里面主要是面向时间、车库、车载容量、车辆数等等，面向不同的优化目标，一方面是服务需求角度，一方面是供给角度，基于这些约束条件和优化目标，我们研究了基于多智能体强化学习的智能优化算法，实现特种车辆的智能调度。 

飞行区运行态势推演与评估，我把感知分成三个层次： 

1、感知过去，更多的是我们多年以前的工作，都是通过事后查证，比如说录像回访、人员访谈，知道了之前发生了什么事。 

2、感知现在，就是我们前面介绍的数字孪生体在做的事情，我们能够实时把飞行区静态、动态的场景数据收集上来。 

3、感知未来，这些数据收集上来，放到数字孪生体里面，如果只是用于复现的话，我觉得就失去了数字孪生体应该具有的意义。我们感知未来感知什么呢？ 

实际上我们定义了一系列的指标，这里面的指标第一是从航班的角度来说，我们要去依托刚才的数字孪生体以及前面专家介绍的4G航际数据，对航班进港的时刻进行准确预测，预测完这些进港的准确时刻以后，我们对停机位进行分配，因而规划路由，然后评估像保障车辆、人员这些资源调度的需求。基于这些之后，我们会完整地向跑道利用率、利用时长、滑行道的利用率、利用时长、停机位的利用率、人员、保障车辆的利用率、工作时长，我们制定了一整套指标体系，我们通过指标体系可以评估计算过去、现在、未来整个机场飞行区运行饱和程度，可以进行评估。根据这个评估结果，我们可以对机场的保障资源进行合适的调配。 

半个月前杨副校长也提了一个建议，说我们的评估结果做出来了以后，实际上对于机场的航线网络优化也是有很大的帮助的。最终我们就希望通过目标的感知、态势的推演、运行评价智能决策，最终实现资源的协同，形成飞行区运行能效协同提升。 

我要汇报的内容就是这些，谢谢各位！