MAGUS.PICkers团队在CVPR2021 PIC-HOI竞赛中获得季军

发稿时间:2021-06-22浏览次数:10

  在依托于计算机视觉领域顶级会议International Conference on Computer Vision and Pattern Recognition(CVPR 2021)举办的Person in Context(PIC)竞赛中,由MAGUS研究组的孙旭、江辉、方亚群、贺云青等人组成的MAGUS.PICkers团队在人物交互检测(Human-Object Interaction,HOI)赛道中与国内外参赛队伍同台竞技,最终取得了第三名的好成绩。

  人物交互检测旨在检测出给定图像中以人为默认主语、形式为<谓语,宾语>二元组的视觉关系。人物交互检测是以人为中心的场景理解的关键技术,可以广泛应用于视觉内容理解、人机交互等领域,近年来受到越来越多的关注。

 

人物交互检测的示例

  MAGUS研究组在人物交互检测方向上持续开展深入研究,完成了一系列原创性的工作。孙旭、胡鑫雯等人完成的论文Human object interaction detection via multi-level conditioned network发表于ACM International Conference on Multimedia Retrieval(ICMR 2021)会议,并获得最佳论文提名奖;孙旭、贺云青等人首次提出了面向时空领域的人物关系检测任务,相关论文Spatial-Temporal Human-Object Interaction Detection发表于IEEE International Conference on Multimedia and Expo(ICME 2021)会议。

MAGUS研究组在人物交互检测方向的工作基础

  在本次PIC-HOI竞赛中,MAGUS.PICkers团队采用了两阶段的检测方法,即先对图片进行物体检测,再在物体检测的基础上进行人物交互关系的识别。PIC-HOI竞赛以平均精度均值(mean Average Precision,mAP)为评估指标,MAGUS.PICkers团队最终成绩mAP为0.875,在所有参赛队伍中排名第三。

CVPR 2021 PIC竞赛HOI赛道积分榜

  近年来,MAGUS研究组在国际专业竞赛中屡次获得优异的成绩。例如,在依托计算机视觉领域顶级会议European Conference on Computer Vision(ECCV 2018)举办的PIC竞赛中,由于凡、谭昕等人组成的MaskTransE团队提出了一种新颖的以人为中心的视觉关系分割方法,获得冠军;在依托多媒体领域顶级会议ACM International Conference on Multimedia(MM 2019)举办视频关系理解(Video Relation Understanding, VRU)竞赛中,由孙旭、訾源等人组成的MAGUS.Gamma团队提出了一种多模态特征融合的视频视觉关系检测方法,获得视频视觉关系检测(Video Visual Relation Detection,VidVRD)赛道冠军;在依托ACM International Conference on Multimedia(MM 2020)举办深度视频理解(Deep Video Understanding,DVU)竞赛中,由于凡、王丹丹、张贝贝等人组成的MAGUS.YWZ团队提出了一种高效的多模态特征融合网络,获得冠军。

文章转自:南京大学软件学院