新闻中心 > 融媒热头条  > 正文

AI技术,让我们“听”懂聋人

2022-01-12 14:49:37   来源:光明日报

5034

  光明日报记者 刘 茜 陈建强

  这个寒假,有一批失聪的大学生成了冬奥会的远程志愿者,他们来自天津理工大学聋人工学院。这些志愿者把电视新闻栏目的内容转换成手语顺序的文本,为冬奥会转播中需要的AI(人工智能)手语数字人提供大规模的语料支持。

  袁甜甜,天津理工大学聋人工学院副院长,是这些听障大学生的老师,也是无障碍智能科技研发中心的成员。她介绍:“无障碍智能科技研发中心将为冬奥会的实况转播提供AI手语数字人的手语语料支持,我和学生们已经为此忙了两个多月。能够为冬奥会服务,我们充满了荣誉感。”

  教AI认知手语

  2021年,创办中国聋人高等工科特殊教育30年纪念大会上,一个“手语角”吸引了不少人驻足。只要在摄像头前打出手语,身后的显示屏上就会出现语意连贯的文字翻译。袁甜甜展示着这个被称为“复杂场景下中国手语实时翻译系统”的《“鲸可语”——多模态连续手语自动标注识别系统》项目(下称“鲸可语”)。据介绍,在光线充足且稳定的室内,系统对手语的识别率最高能达到95%,部分场景下可以实现“同步翻译”。研发这套系统的目的,是让每个健听人都能轻松地看懂手语。其自动标注识别系统“鲸可语”还获得了去年第七届中国国际“互联网+”大学生创新创业大赛主赛道的金奖。

  王建源是研发团队的成员之一。他是聋人家庭长大的聋儿,听力损失严重,吐字发声非常困难,手语是他和这个世界打交道最初也最有效的方式。22年来,聋人的身份没有让他感到自卑;口不能言,也没耽误他成为一个妥妥的“学霸”;但如果你问他,因为听力障碍,从小到大遇到过哪些方面的不便,他会平静地在手机上打出四个字:方方面面——因为认识手语的人太少了。

  一个最典型的例子是看病,如果没有手语翻译陪着,即便只是头疼脑热,像王建源这样的“手语族”也很难独自就医——绝大多数医生不会手语。

  从1991年9月11日首批6名聋生入学到今天,天津理工大学聋人学院的老师们积累了很多与聋人沟通的经验。

  袁甜甜学的是计算机专业,2006年研究生一毕业,她就在聋人工学院计算机科学与技术系工作。上班第一天,她面对的挑战就是学手语。通过看文字、读唇语,学生们能够了解老师,可是老师不能很快地了解学生。磕磕绊绊地学会了手语,袁甜甜记不清有多少次,凌晨一两点钟陪学生去看病,帮忙做手语翻译。

  我国有2780万聋人,如何依靠科技的力量让健康人走进他们的世界?袁甜甜、王建源等人开始了“鲸可语”手语实时翻译系统的研发。

  “鲸可语”手语实时翻译类似于手语版的“语音输入法”。只不过后者是输入语音、机器识别、转成文字,而前者是输入手语动作和表情、机器识别。

  要把人工智能训练成一个合格的手语翻译,得把手势、表情、大肢体动作,通通从视频转化为数据,再“教”给计算机。所以,能充分理解、展示手语之美的听障生,是最适合给人工智能当“老师”的人。

  很多国外团队建立的手语数据集无法支持复杂场景下的手语翻译,一个直接的原因,就是无法找到足够多的人在自然状态下采集手语。“而我们的团队背靠聋人工学院,很多成员本身就是手语使用者,在自然手语的采集上有优势。”袁甜甜说。

  让健听人“读懂”听障人更重要

  冬奥会中,袁甜甜团队服务的AI手语数字人,能够帮助聋人更好地理解健听人的表达,“鲸可语”手语识别和翻译则是借助科技的力量帮助健听人更好地理解聋人的表达。这两者之间有怎样的区别?

  做AI手语数字人,是让聋人用熟悉的方式去理解健听人的表达方式,核心研发点是手语生成,而“鲸可语”手语识别和翻译的核心研发点是手语识别,“鲸可语”这项技术更难。“鲸可语”需要计算机视觉和自然语言识别处理两种技术:聋人的手语包括表情、手部动作,肢体动作,都需要计算机做融合识别,这是计算机识别技术;把计算机识别出来的信息用计算机程序再变成健听人所熟悉的语言模式,这是自然语言识别处理技术。AI手语数字人,某种程度上只涉及自然语言识别处理技术过程。从技术转化上看,AI手语数字人的产业落地时间会更短,数据上的投入相对较少,更容易将成果市场化。

  “为什么一定要搞手语翻译呢?聋人听不到,现在有语音识别啊!有的聋人不会说话,拿手机打字不就行了吗?”曾经有一些企业向袁甜甜了解过正在开发中的手语实时翻译系统,想谈投资。但谈来谈去,他们却对项目的必要性产生了疑问,觉得手语翻译除了“做善事”没有其他意义。为什么还要倾心于“鲸可语”的研发和转化呢?

  “在与学生交流的过程中,我知道对残障人士最好的关心就是平等。他们不是残障,只是与我们不一样。”袁甜甜说。

  沟通永远是双向的。我们教听障人写字、认字,读唇语,他们在努力融入健听人的世界;我们健听人也要为听懂接纳听障人作出一点努力。

  袁甜甜说,直到今天,手语仍然是许多听障人士最自然、高效的表达方式,“比写字、打字都快”。但为了促进无障碍交流,要求健听人都去学手语,显然不现实。“鲸可语”手语实时翻译系统就是利用高科技让健听人努力向听障人靠拢。

  《光明日报》( 2022年01月12日 08版)

文章关键词:手语,&rdquo,&ldquo,翻译,袁甜 责编:杨薇薇
5034

相关阅读 换一换

  • 江苏南通通州区体旅融合风生水起

      周末,江苏南通通州区先锋街道的洲际绿博园又迎来了大波的游客高峰。游人进入景区,在花木绿植中,放慢脚步,享受阳光。记者发现,不少游客带着跑步、骑行和划船等装备,既来看景,更来健身。   在南通上班的河南永城务工者王浩宇是个跑步运动爱好者。

  • 从“产供销”转向“销供产” 新疆红枣更红了

      从原枣到加工枣,从枣类食品到含枣食品,适应消费者需求,新疆红枣正从外到内不断变身,产品包装从简单粗放到时尚新潮,产业发展从“产供销”转变为“销供产”,受到越来越多消费者欢迎。   说到红枣,必提新疆。多年来,新疆大力发展特色林果产业

  • “小织补”激活城市更新

      市民和游客在北京市东城区三里河参观游玩。 新华社记者 鞠焕宗摄   停车杂乱没有空地、体育健身设施缺乏、配电箱噪声太大……百姓身边的“消极空间”不仅影响城市风貌,也成为民生关切。如何让有限公共空间最大限度满足居民需求?经济日报记者日前走

  • 冰雪冷资源 催生热产业

      阿勒泰地区的小学生在将军山练习滑雪。  阿尔达克·拜斯汗摄(影像中国)  本版制图:汪哲平   冬日的新疆阿勒泰地区,白雪皑皑,银装素裹。   寒冬里,群众的工作生活非但没有减速,反而蒸蒸日上。近年来,阿勒泰地区积极发展冰雪相关特色产业

  • 让每个孩子都享有公平而有质量的教育(大数据观察·数说新跨越)

      数据来源:教育部、国家统计局  制图:张丹峰   百年大计,教育为本。从1986年义务教育法颁布,到2000年底基本普及九年义务教育,再到2007年、2008年免除城乡义务教育学杂费……作为现代国民教育体系的基石,我国义务教育发展一路走

  • 帮扶更有速度 救助更有温度(深阅读·让脱贫群众生活更上一层楼)

      日前,新疆博湖县纪委监委联合多部门,走进居民家现场查看冬季供暖等情况,保障群众温暖过冬。  年 磊摄(人民视觉)   近日,安徽省当涂县五彩社会工作服务中心的志愿者与空巢老人一起贴年画,为老人家增添节日喜庆气氛。  欧宗涛摄(人民视觉

  • 村里开了新民宿(经济新方位·脱贫地区乡村振兴)

      因为生意红火,青海黄南藏族自治州尖扎县德乾村的帐篷民宿比原计划多运营了1个月,2021年11月中旬才歇业冬休。   忙活了一年,村民夏吾三知挣到四五万元,其中约1万元是帐篷民宿发给他的工资,夏吾三知很满意。   此前,这家2021年8月

  • 生产线上看“减碳”

      光明日报记者 张国圣 光明日报通讯员 王 丹   2021年12月14日,川渝党政联席会议举行第四次会议,决定共同启动成渝地区双城经济圈碳达峰碳中和联合行动。作为联合行动的重要项目,位于重庆两江新区的华能重庆两江燃机发电有限责任公司宣布

  • 5年,高铁助推云南走向开放前沿

      光明日报记者 张 勇 光明日报通讯员 张伟明 何思远   2016年12月28日,云南首次接入全国高速铁路网;2021年12月3日,中老铁路全线开通运营,云南铁路从边陲末梢走向开放前沿。5年多来,以高铁为代表的云南铁路,改变云南,影响世

  • 广西贺州中院“谋快巧惠”执行模式助力优化营商环境

    □ 执行改革·为民底色 ● 执行案件不能简单地将查封的足值财产一拍了之,执行工作要把背后的隐患尽可能在一个案件中处理好,这就需要法官有预见性,通盘考虑 ● 案件涉及的债权人多,只要有一个不同意,案件就没有办法推进。一些广西壮族自治区外的债权

慢新闻

又快吃不起猪肉了?国家发改委回应 又快吃不起猪肉了?国家发改委回应

大象陪办

新闻推荐

网站简介 | 版权声明 | 广告服务 | 联系方式 | 网站地图

Copyright © 2012 hnr.cn Corporation,All Rights Reserved

映象网络 版权所有