易坊好文馆

  1. 首页 > 玩科技 >

手语播报数字|手语播报数字人上岗 “无声世界”共享冰雪热情

阅读提示
突破了手语生成技术难题 ， 为听障群体了解冬奥资讯带来便利 ， 同时有效解决了专业场景中手语服务资源相对匮乏的问题 ， 促进了社会无障碍设施建设 。
身穿白衬衫、红西装的“年轻女性” ， 将主播的口语播报内容 ， 实时翻译成手语 ， 传达给听障群体……近日 ， 北京广播电视台《北京您早》节目“上线”了手语播报数字人 ， 与真人主播同步播报冬奥资讯 。
相关数据显示 ， 我国听力残疾人约2780万人 ， 占全国残疾人的30%以上 。 手语播报数字人的出现 ， 让“无声世界”里开始充满了温暖的冬奥声音 。
采访人员了解到 ， 北京冬残奥会开幕在即 ， 各项服务转换工作接近尾声 。 如何帮助盲聋残疾人顺利“收看”残奥会比赛的配套工作也在有条不紊地进行 。
此外 ， 针对北京2022年冬奥会和冬残奥会研发的手语播报数字人 ， 未来有望被推广至更多应用场景 。
让听障人士感受冬奥魅力
【手语播报数字|手语播报数字人上岗 “无声世界”共享冰雪热情】杜银玲是一位聋人 ， 同时也是一位手语教师、网络博主 。
“以前 ， 我们观看体育比赛时 ， 需要同时打开电视和手机 ， 一边看比赛画面 ， 一边看手机中的文字解说 。 ”她告诉采访人员 ， 这样虽然也能获取到比赛信息 ， 但过程较为复杂 ， 体育赛事的观赏性也大打折扣 。
从AI合成主播到虚拟美妆博主 ， 语音播报数字人在传媒、医疗、教育等领域越来越常见 ， 但手语播报数字人却不常见 。 尤其在体育新闻专业领域 ， 听障群体往往无法直接通过手语播报获取信息 。
冬奥会期间正式上岗的手语播报数字人 ， 由北京智谱华章科技有限公司、凌云光技术股份有限公司、清华大学计算机系贾珈教授团队、中科院计算所陈益强研究团队联合打造 。
研发团队在前期调研中了解到 ， 人工手语翻译工作量大 ， 电视节目主持人和手语主持人配合难度高 ， 且手语翻译专业人员稀缺 。 因此 ， 团队希望通过AI技术将口语播报内容翻译合成为手语 ， 并通过手语播报数字人进行播报 。
“这套手语播报系统在表意的准确性和表达的可懂度方面具有突出优势 。 ”研发人员告诉采访人员 ， 由于不需要过多人工干预 ， 这套系统还能节省大量人力 ， 在手语播报时更快、更精准地传达相应信息 。
“智能手语播报拓展了我们观看比赛、理解比赛的渠道 ， 让我们更深入地沉浸在比赛的氛围里 。 ”杜银玲说 。
数字人如何学习手语
为了让学员准确快速地进行手语翻译 ， 杜银玲在日常教学中 ， 会让学员反复训练 ， 提高手语运用的熟练度 。 同样 ， 手语播报数字人在学习手语的过程中 ， 也经历了一番“系统而刻苦”的训练 。
手语播报数字人生成技术涉及多个领域 ， 包括计算机视觉、自然语言处理、跨媒体计算、人机交互等 。
在语料库建设阶段 ， 手语播报数字人系统完成了《国家通用手语词典》8214条通用手语 ， 以及2000多条冬奥赛事相关词汇手语的采集和录制 。 为确保手语播报的准确性和专业度 ， 研发团队还收录了10万多条常用语句 。
研发人员指着屏幕告诉采访人员 ， 在庞大的数据源基础上 ， 团队通过自主搭建的多模态肢体动作、表情、手势同步采集系统 ， 完成多模态动作捕捉数据采集 ， 进而再通过建立高精度语义蒸馏模型、跨模态拟人生成算法等 ， 实现对文本内容的手语播报 。
“手语不同于自然语言表达 ， 常规语速下正常人每分钟能说出200多字 ， 而在语音转化到文字的过程中 ， 需要提取核心语义 。 为此 ， 团队研发了高精度语义蒸馏模型 ， 目的是从不同的文本中提取出有效的核心语义内容 。 ”北京智谱华章科技有限公司首席技术官张鹏说 。
此外 ， 在清华大学计算机科学与技术系贾珈教授团队的技术支持下 ， 手语播报数字人在动作拟合技术上实现突破 ， 即通过采用多模态手语采集方案 ， 实现动作、手势、表情同步采集 ， 手语播报数字人的手语表现力趋近于真人手语老师 ， 手语动作更加流畅、优美、协调 。
推动无障碍沟通产品建设
深入体验了手语播报数字人的专业服务后 ， 杜银玲对该项技术的未来充满了期待 。
“手语播报数字人将有利于推动国家通用手语标准普及 ， 为残疾人创造更多平等参与社会生活的机会 。 ”杜银玲说 。
该系统上线前经过4轮测评 ， 200多位听障人士和手语老师参与验证测评 ， 结果显示 ， 手语播报数字人的手语可懂度接近90% 。
凌云光技术股份有限公司副总裁杨艺表示 ， 在进行大范围听障群体评测基础上 ， 手语播报数字人通过在关键技术上取得突破 ， 实现了从以前只是“比画”一下动作 ， 到展示面部表情和复杂手语动作体系的跨越 。
“每个地方方言不同 ， 手语表达特点不同 ， 手语播报数字人为听障人士提供冬奥资讯的同时 ， 也能提供手语标准示范 ， 在教学层面为听障人士提供获取知识和信息的机会 。 ”北京电视台新闻频道中心副主任王毅说 。
谈到手语播报数字人的未来发展前景时 ， 多位业内人士均认为 ， “后冬奥时代” ， 这一系统有望被推广至更多电视台、网络媒体 ， 实现手语与语音之间的双向转换 ， 让“无声世界”实现无障碍互动交流 。 采访人员 陶稳 曹玥

    推荐阅读


    上一篇：交易额|大数据“交易自由”还有多远

    下一篇：二氧化碳|中国科学十大进展入选理由