基于层级图分割的视频分割

摘要：我们提出了一个全新的视频分割的方法。它不仅效率很高，而且，可以为任意长的视频生成结果。首先，我们将每一帧图像利用超像素的方法进行预分割。然后，利用基于图的层级分割的方法，将每一帧的预分割进一步分割成不同的区域。预分割中光流分析的方法保证了分割结果的时间空间一致性。在利用这种方法对视频进行分割的时候，我们只要根据上一帧的结果就可以计算下一帧，所以，我们可以针对任意长度的视频进行分割。

关键词：时间空间一致性；超像素；基于图的层级分割

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9599 （2012） 21-0000-02

1 概要

视频分割需要对每一帧先进行分割，在帧和帧之间，即使是很小的变化，都会导致分割的结果出现不稳定的问题。我们的方法是，首先对每一帧进行基于图的层级分割，然后利用光流的方法，保证分割的区域在时间轴上保持边的连续性。

视频的分割的区域，可用于跟踪区域。我们提供的方法可把整段视频分割成不同的区域，再由用户或者其他程序去决定具体跟踪哪些区域。本方法只需要根据前一帧的分割结果就可得到下一帧的分割结果，只需少量内存，且可以处理任意大小或者长度的视频。首先对视频的第一帧进行分割。利用超像素的方法对其进行预分割，然后根据分割的结果构造图。图的节点即超像素，节点和节点之间的权值，由超像素和超像素之间的差异决定。对预分割的结果，利用迭代对区域进行融合，就可以得到一个层级的分割的结果。在计算下一帧的分割时候，需要首先得到它的预分割结果。然后计算上一帧的光流信息，跟据上一帧的光流信息和超像素分割的种子位置，得到下一帧进行超像素分割的种子像素点。利用生成的种子像素点进行超像素分割，即可得到下一帧的预分割结果。然后利用预分割结果进行图的层级融合，即可得到下一帧的分割结果。而且，上一帧和下一帧的分割的结果具备了时间空间上的统一性。

2 相关工作

对于视频分割来说，一个方法是对视频的每一帧分别进行分割，而不去考虑结果在时间轴上的一致性[1]。这样的方法可产生实时性的结果。然而，此方法容易使结果在帧和帧之间产生类似锯齿的差异。弗里德曼利用基于采样的快速中指提取的方法，对10帧的数据进行聚类，可以在不考虑时间轴关联性的问题上，产生一个在时间轴上的比较平滑的结果。

视频分割方法，基于涡轮超像素方法和亨特罗奇的图的分割方法。对于视频分割，首先保证了每一帧分割的结果，不仅可以将物体都分割出来，还可保持物体的边。利用超像素对帧进行预分割的方法，不仅为图的层级分割方法提供了数据基础，而且利用光流分析，计算出下一帧的超像素分割的种子结点，在进行图的层级分割，为最后分割结果的时间空间一致性提供了保障。

3 视频分割

3.1 利用超像素进行预分割：利用涡轮超像素的方法对图片进行预分割。如图1。对原始的方法进行了一定修改，使获得超像素的结果有更好的时间一致性。首先利用原始的方法取得某一帧图像的超像素结果。在决定下一帧的超像素的种子点的时候，需要利用当前帧的超像素分割的结果。为了完成此任务，首先利用Lucas-Kanade （LK）算法计算光流信息。根据超像素的光流信息，就可获得下一帧中，对应于此超像素中心的像素点。那么这些像素点，就被认为是下一帧计算超像素的种子点。对视频中的所有帧重复这个过程，就获得了所有帧的超像素结果，且这些结果具备时间轴上的一致性。然后利用超像素生成的预分割结果，就可进行层级分割了，且该预分割方法保证了最后结果的时间空间一致性。