苏州大学 联系我们

科研项目

百度合作项目:视频大纲生成

发布时间:2022-10-14 阅读次数:62 来源单位:


项目简介:

视频大纲是一个新颖的视频网站功能,如图1所示,它通过在进度条上展示视频的关键时间点及其对应描述,帮助用户快速跳转到视频中其感兴趣的部分,从而提升用户体验。该功能应用于诸多视频网站,如百度视频、youtube视频、bilibili视频等。

目前,视频大纲主要由视频创作者输入,面临资源量低、覆盖面窄等问题。因此,我们人工标注了规模为10k+的中文视频大纲数据集,并寻求自动化生成视频大纲的解决方案。受文本大纲自动生成技术的启发,我们提出一个字幕视觉特征增强的视频大纲生成模型。如图2所示,该模型以OCR识别的字幕文本为基础,结合字幕的视觉特征(即位置、大小),先抽取视频中的关键内容,再改写为视频大纲。最终,该模型在关键时间点的识别F1指标和大纲生成的Rouge-L-0.5指标上分别达到了77.185.0。该模型已在手机百度APP上线。

相关成果:

  • 1. CCL2022视频看点抽取比赛

  • 2. 论文:Lv Q, Cao Z, Xie W, et al. Visual Subtitle Feature Enhanced Video Outline Generation[J]. arXiv preprint arXiv:2208.11307, 2022.

  • 3. 专利(正在申请中)

功能演示: