在一些修图软件上

我们可以轻松地

抠出图片中的人像

但是面对一连串运动的图像

我们该怎么办呢？

武汉大学遥感信息工程学院

有这样一个团队

就凭借视频分割方向的成果

问鼎国际顶尖赛事双冠军！

双冠王，实至名归！

视频与图像，已经越来越离不开我们的工作和娱乐生活。视频的编辑、加工与包装技术也在愈发成熟。如果在一段视频中，想把我们的人像抠出来，将背景变成武大的校园，应该怎么做呢？视频分割就在这里派上了用场。在国际计算机视觉与模式识别会议（CPVR）和计算机视觉国际大会（ICCV）两大赛事上，武汉大学遥感信息工程学院季顺平教授和2023级博士研究生张韬凭借团队在视频分割上最新的研究成果，夺得了双赛道冠军。

两项比赛均是计算机视觉与模式识别领域的顶级学术会议。国际计算机视觉与模式识别会议（CVPR）是由电子与电子工程师协会（IEEE）举办的计算机视觉和模式识别领域的顶级会议，论文录用严格，一般不超过投稿论文的30%。季顺平教授团队参加的是视频全景分割赛道，并在其中过关斩将，脱颖而出，摘得魁首。计算机视觉国际大会（ICCV）同样是计算机视觉领域的顶级学术会议之一，季顺平教授团队参加的是视频实例分割赛事。作为传承多届的老牌赛事，它荟萃了计算机视觉领域的诸多学术精英，关注长视频以及复杂视频上视频分割的性能和最新进展。

视频是图像在时域上的扩展，视频分割要在图像分割的基础上，不仅要把每一帧图片中感兴趣的目标都分割出来，而且能够在时间维度上把相同目标都正确地关联在一起。在这次的学术会议上，团队针对目前视频分割方法难以良好利用复杂长视频的持续特征的问题提出了解构的视频实例分割方法，即DVIS方法，通过图像分割、目标追踪、全局精化三个关键阶段，把一个图像中所有感兴趣的区域都给分割出来，关联主帧、利用全局信息来优化每帧，达到更好的视频分割的效果。DVIS的应用范围十分广泛，从无人驾驶需要的连续追踪、感知附近车辆、行人的位置或状态，到直播平台的视频特效，都有它的位置。

目标明确，轻松拿下！

张韬接触到VIS视觉处理系统，是在2022年五月去短视频平台实习时。基于实习期间的业务需求和此前在图像分割领域的学习，张韬决定进军视频分割领域并着手调研。那时，长视频的分割处理尚不受关注，Mask2Former-VIS是当时最为先进的技术手段。

带着对Mask2Former-VIS的一些改进成果，张韬参加了CVPR 2022的LSVOS挑战赛并拿下了第五名的成绩。也正是在这次比赛中，他们发现制约Mask2Former-VIS性能的最根本原因，即利用位置先验来一次性关联目标。在当时，张韬和小伙伴们沿着前人思路钻研，尝试设计时空交互模块来提升效率，但结果不尽人意。虽然比赛没有拿下好的名次，但也为张韬之后的研究提供了充足的经验。

“之前的技术都没法针对复杂长视频做有效处理。具体来说，就是机器获得了更多的视频信息却无法利用，导致视频分割的性能依旧是比较低的。”基于这一缺陷，张韬确立了项目的研究方向：即针对现有技术缺陷，提升视频分割技术对长视频的处理能力。为此，他查阅和分析了大量文献，认为造成这个缺陷的主要原因是：当前主流方法是通过一个端到端的网络，强行把目标分割和目标聚合这两个过程耦合在一起。“这个任务其实非常困难，根本就没有办法得到很好的学习，处理长视频的效率也会很低。”

“能不能把这件复杂的事情分开做呢？”张韬想到，既然一次性实现一个目标在所有帧上的分割和关联是很困难的，那就逐帧去做关联，只考虑相邻两帧之间的关联，然后根据局部对齐好的特征再去聚合整个视频的整体特征，最后优化每一帧上的分割结果以及它相邻帧的追踪结果。

磨刀不误砍柴工，先前实习和竞赛的积累在此刻展现出来，让他们确立了正确的研究目标，从而少走弯路，高歌猛进，最终夺冠。“季老师会为项目申请继续推进的资金，一次次把控研究的具体方向，逐字逐句地润色论文。在老师的帮助下，我们最终获得了双冠军。”张韬回忆道。

▲视频分割示意图

“未来，我们精益求精”

在未来，团队也想让他们的算法更进一步，让它有一个比较强悍的性能，可以处理真实世界无限目标、无限长度的任意的视频。“我希望可以做到随便拍一个视频，都可以用我们的技术很好地去处理。”此外，由于现在的深度学习算法都需要进行标签标注，而视频标签一般都是手工标注，不只需要像图像那样把每一帧的分割结果给标出来，还要把同一目标都关联起来，人工工作量和难度都很高。“我们正在思考如何用少量或者说不用视频标签的情况下做好视频分割的问题。”张韬说。

（来源：武汉大学微信公众号 编辑：吕艳丽）