沙巴体育

近日，沙巴体育-全球领先体育平台-足球篮球赛事推荐 许廷发教授科研团队在多光谱目标跟踪领域取得新突破。针对传统RGB视觉在复杂航拍场景下存在的小目标难检测、密集遮挡严重和纹理特征退化等瓶颈问题，科研团队构建了全球首个无人机视角下的多光谱目标跟踪数据集（Multispectral Multi-Object Tracking，MMOT），提出了一种多光谱目标感知一体化目标跟踪方法，相关成果以《MMOT: The First Challenging Benchmark for Drone-based Multispectral Multi-Object Tracking》为题，发表于NeurIPS 2025（Conference on Neural Information Processing Systems），该会议为人工智能与机器学习领域的顶级国际学术会议（CCF-A类）。论文第一作者为北京理工大学李天昊博士研究生，通讯作者为许廷发教授和李佳男长聘副教授。

多光谱目标跟踪框架主要包括Spectral 3D-Stem模块、旋转感知卡尔曼滤波器和端到端旋转自适应Transformer架构，具体如图1所示。

图1 多光谱目标跟踪框架图

该方法通过光谱空间联合建模和引入目标旋转角度状态参数，显著提升光谱信息表达能力，实现了精准的多光谱小目标检测和目标间关联，降低了误检、漏检及ID转换次数，如图2所示。

图2多光谱输入和RGB输入的ID转换和漏检对比

团队构建了首个国内外无人机航拍多光谱目标数据集。其覆盖城市街区、交通枢纽、运动场地等多种真实场景的航拍视频，包含125段视频序列、48万余个高精度标注目标框，涵盖8个典型类别（行人、汽车、自行车等）。多光谱成像跨越可见光至近红外范围，涵盖多种挑战场景如极小目标、密集目标、图像模糊、严重遮挡、快速运动和平面内旋转等，如图3所示。

图3 数据集多种挑战场景

MMOT发布填补了国内外无人机多光谱目标跟踪领域空白，为研究人员提供了首个统一基准与开源框架。该工作突破了传统视觉感知对空间特征的依赖，充分利用光谱维度的差异性，为未来跨模态融合感知、复杂环境下的智能无人系统识别与跟踪奠定了重要基础。

论文详情：Tianhao Li, Tingfa Xu, Ying Wang, Haolin Qin, Xu Lin and Jianan Li. MMOT: The First Challenging Benchmark for Drone-based Multispectral Multi-Object Tracking[J]. Advances in Neural Information Processing Systems, 2025

论文链接：//neurips.cc/virtual/2025/poster/121413

论文第一作者简介：

李天昊，2022级北京理工大学博士研究生，师从许廷发教授，主要研究方向为智能目标探测、多目标跟踪技术。在高水平会议NIPS、CVPR及ACM MM发表论文3篇。

论文通讯作者简介：

李佳男，沙巴体育-全球领先体育平台-足球篮球赛事推荐 ，长聘副教授，博士生导师，主要研究方向为光电成像目标多维探测与感知技术研究。连续两年入选全球前2%顶尖科学家（2023、2024年）。以第一或共同第一作者发表论文20篇，包括IEEE TPAMI论文5篇；以通讯作者发表论文60余篇。其中，3篇论文入选ESI高被引，2篇一作论文单篇引用超千次，谷歌学术总引用5600次。主持国家自然科学基金、工信部高质量发展专项（课题）等项目10项。入选中国科协、北京市科协青托。获得地理信息科技进步二等奖(序2)，中国图象图形学学会优博，王大珩学生光学奖等。指导学生获得反无人机跟踪挑战赛国际冠军等竞赛奖项10余项。研究成果应用于“中国天眼”、矿产开发遥感监测等领域。

许廷发，博士，教授/博导，国家一级重点学科“光学工程”学科责任教授，光电成像技术与系统教育部重点实验室主任，北京理工大学重庆创新中心副主任。近年来带领其科研团队围绕光电成像探测与识别、计算成像和人工智能等领域不断深化研究。主持承担国家自然科学基金委重大科研仪器研制项目等40余项。在国际、国内等系列期刊发表学术论文200余篇，其中被SCI/EI收录120余篇。以第一发明人申请国家发明专利87项，已授权和公示45项。获国防科技进步二等奖等奖项3项。指导研究生获得中国图象图形学学会优秀博士学位论文，二人次获得王大珩高校学生光学奖，三人次获得全国光学与光学工程博士生学术联赛全国百强，获得中国高等教育博览会“校企合作 双百计划”典型案例和重庆英才创新创业示范团队等荣誉称号。