进行|4K版葫芦兄弟,西瓜视频计划修复百部动画片,背后藏着这些AI算法( 三 )


虽然面临着技术等方面的挑战 , 但一些具有重要文化、艺术价值以及历史意义的经典老影片的 4K 修复很有必要 。 国内很早就兴起了老电影修复热 , 2006 年底中国电影资料馆牵头启动了「电影档案影片数字化修护工程」项目 , 上海国际电影节于 2011 年启动国产电影修复计划 , 爱奇艺等多家视频网站也发挥自身优势投入到老旧影视作品的修复中等 。
此次 , 西瓜视频联合火山引擎发起的「经典中视频 4K 修复计划」 , 将成为老片修复大军中的新生力量 , 为经典中视频的传承贡献自己的一份力量 。
【进行|4K版葫芦兄弟,西瓜视频计划修复百部动画片,背后藏着这些AI算法】火山引擎用到的这些 AI 算法 , 有什么独到之处?
作为字节跳动旗下的企业级技术服务平台 , 火山引擎将字节跳动快速发展过程中积累的增长方法、技术工具和能力开放给外部企业 , 提供云、AI、大数据技术等系列产品和服务 , 帮助企业在数字化升级中实现持续增长 。 其中 , 在火山引擎技术中台的多媒体中台中 , 智能处理是字节基于多年对多媒体智能处理的实践经验 , 提炼出的全流程视频前后智能处理及增强技术 , 主要能力模块包含画质增强、视频 DNA 等 。
智能处理技术的一大子功能即是老片修复 。 在 4K 修复过程中 , 火山引擎从清晰度、流畅度、色彩和瑕疵四个方面解决老片的清晰度低、流畅度低、色彩失真和瑕疵多问题 , 其中多个 AI 算法的使能是关键 , 包括如下:

  • 智能超分
  • 智能插帧
  • 色彩增强
  • 消除瑕疵(视频降噪和划痕修复)
  • 锯齿修复
在这几个 AI 算法的加持下 , 火山引擎针对 4K 极致画质体验场景(如西瓜影院模式) , 提供了极致画质修复方案 , 提升源视频的分辨率、帧率和色域 , 进行高质量智能转码 , 达到极致的播放视频画质 。

进行|4K版葫芦兄弟,西瓜视频计划修复百部动画片,背后藏着这些AI算法
文章图片

火山引擎智能处理的完整流程 。
智能超分
作为一项非常重要的视频处理技术 , 超分辨率通过硬件或软件的方法提高原有图像的分辨率 , 目的是根据一系列低分辨率的图像重建一幅高分辨率的图像 。 基于深度学习的超分辨率算法已经是近年来研究的热点 , 主流的方法一般分为单帧超分和多帧超分 。
单帧超分即输入一张图片 , 输出其高分辨率图片 。 单帧超分辨率典型结构有预定义上采样(predefined upsampling)、单一上采样(single upsampling)等;多帧超分则考虑视频前后关系 , 重建更多细节 。 但这些超分辨率方法存在一些瓶颈 , 当上采率比较高时 , 例如 16 倍 , 很多算法不能很好地重构出对应的高清图像 。

推荐阅读