在依托于计算机视觉领域顶级会议International Conference on Computer Vision and Pattern Recognition（CVPR 2021）举办的Person in Context（PIC）竞赛中，由MAGUS研究组的孙旭、江辉、方亚群、贺云青等人组成的MAGUS.PICkers团队在人物交互检测（Human-Object Interaction，HOI）赛道中与国内外参赛队伍同台竞技，最终取得了第三名的好成绩。
人物交互检测旨在检测出给定图像中以人为默认主语、形式为<谓语，宾语>二元组的视觉关系。人物交互检测是以人为中心的场景理解的关键技术，可以广泛应用于视觉内容理解、人机交互等领域，近年来受到越来越多的关注。
人物交互检测的示例
MAGUS研究组在人物交互检测方向上持续开展深入研究，完成了一系列原创性的工作。孙旭、胡鑫雯等人完成的论文Human object interaction detection via multi-level conditioned network发表于ACM International Conference on Multimedia Retrieval（ICMR 2021）会议，并获得最佳论文提名奖；孙旭、贺云青等人首次提出了面向时空领域的人物关系检测任务，相关论文Spatial-Temporal Human-Object Interaction Detection发表于IEEE International Conference on Multimedia and Expo（ICME 2021）会议。
MAGUS研究组在人物交互检测方向的工作基础
在本次PIC-HOI竞赛中，MAGUS.PICkers团队采用了两阶段的检测方法，即先对图片进行物体检测，再在物体检测的基础上进行人物交互关系的识别。PIC-HOI竞赛以平均精度均值（mean Average Precision，mAP）为评估指标，MAGUS.PICkers团队最终成绩mAP为0.875，在所有参赛队伍中排名第三。
CVPR 2021 PIC竞赛HOI赛道积分榜
近年来，MAGUS研究组在国际专业竞赛中屡次获得优异的成绩。例如，在依托计算机视觉领域顶级会议European Conference on Computer Vision（ECCV 2018）举办的PIC竞赛中，由于凡、谭昕等人组成的MaskTransE团队提出了一种新颖的以人为中心的视觉关系分割方法，获得冠军；在依托多媒体领域顶级会议ACM International Conference on Multimedia（MM 2019）举办视频关系理解（Video Relation Understanding, VRU）竞赛中，由孙旭、訾源等人组成的MAGUS.Gamma团队提出了一种多模态特征融合的视频视觉关系检测方法，获得视频视觉关系检测（Video Visual Relation Detection，VidVRD）赛道冠军；在依托ACM International Conference on Multimedia（MM 2020）举办深度视频理解（Deep Video Understanding，DVU）竞赛中，由于凡、王丹丹、张贝贝等人组成的MAGUS.YWZ团队提出了一种高效的多模态特征融合网络，获得冠军。
文章转自：南京大学软件学院