竞赛|西安电子科技大学智能学子在ICCV 2021竞赛中再获六项冠亚季军( 四 )


VALUE 2021视频问答赛道的任务用于评估 VALUE 基准中4个视频问答任务的算法 , 测试数据集包括 TVQA、How2QA、VIOLIN 和 VLEP , 实现高效的视频推理 , 回答视频相关问题 。 该学生队伍采用的基于HERO的多模态网络架构 , 它具有强大的理解多通道视频的能力 。 团队将一系列视频片段和字幕句子作为输入 , 并以分层方式对它们进行编码 , 并使用跨模态转换器来融合字幕句子及其伴随的本地视频片段 。 跨模态转换器之后是时间转换器 , 以使用视频中的所有片段获得每个片段的全局上下文嵌入 。 该网络可以作为多通道视频编码器应用于不同类型的视觉-文本任务 。 最终 , 经过多任务、多通道训练 , 最后将多个单模型进行投票得到了最终成绩 。

竞赛|西安电子科技大学智能学子在ICCV 2021竞赛中再获六项冠亚季军
文章图片

ICCV , 全称IEEE International Conference on Computer Vision(国际计算机视觉大会)由IEEE主办 , 在世界范围内每两年召开一次 。 其与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议(ECCV)并称计算机视觉方向的三大顶级会议 。
让学生通过学术竞赛快速提升科研能力、加强学术交流是人工智能学院人才培养的有力举措之一 。 “赛中学”不仅让学生快速了解该领域的相关知识 , 提高学生科研的动力 , 同时也锻炼了学生的组织协调能力、抗压能力 。 近年来 , 智能学子已连续在多个国际顶会赛事中取得优异成绩 , 仅在2021年就于IGARSS、CVPR与ICCV国际赛事上已累计获得了7冠军、8亚军与5季军共20项奖项 , 人才培养成效显著 。

推荐阅读