科技向善,信息无障碍研究会联合腾讯优图发布AI手语翻译机

2019年05月16日 476阅读

5月16日,在全球无障碍宣传日之际,信息无障碍研究会联合腾讯优图实验室发布“优图AI手语翻译机”,这一攻克AI手语识别的技术挑战致力于通过人工智能技术为听障人群搭建无障碍沟通平台。深圳市信息无障碍研究会秘书长杨骅表示,腾讯优图提供的这项技术,可以在一定程度上缓解听障者的沟通障碍,为听障者提供更好的服务。 

攻坚场景服务研究会携手腾讯成立“AI听障无障碍联合项目组”

“优图团队将继续进行语料库拓展和算法优化,进一步探索在机场、民政等公共服务领域部署,提供无障碍沟通解决方案,方便听障人日常交流提供便利。”腾讯杰出科学家贾佳亚教授表示。

为进一步深入接触听障群体,了解手语和优化数据和识别算法,腾讯优图实验室已和深圳市信息无障碍研究会共同成立AI手语识别联合项目组,双方将基于手语数据采集、产品算法优化等展开长期深度的合作,通过与听障者或手语使用者进一步接触,扩充数据容量,完善数据规范,致力于推动后续的产品和服务部署。

 (信息无障碍研究会和优图AI听障无障碍联合项目组)
 (信息无障碍研究会和优图AI听障无障碍联合项目组)

据优图实验室AI手语识别项目组研究员阳赵阳介绍,优图AI手语翻译机以普通摄像头作为手语采集装置,依托高性能计算机进行后台运算,用户只需面对摄像头完成手语表达,翻译机屏幕界面就能快速把手语转换为文字,帮助听障人士和健听人士进行正常交流,未来有望在机场、高铁、民政窗口等公共场所部署应用,助力信息无障碍城市建设。

(优图AI手语翻译机界面)
(优图AI手语翻译机界面)

攻克手语识别难题自研算法解决沟通障碍

据世界卫生组织最新数据显示,目前全球约有4.66亿人患有残疾性听力损失,超过全世界人口的5%;据估计,到2050年这一数字将达到9亿,全球将有约十分之一的人出现残疾性听力损失。我国听力障碍人士已达7200万,其中有2700万听障者需通过手语等方式进行沟通交流。

虽然我国在信息无障碍领域的投入在逐渐增加,但听障人群的一些需求仍得不到满足,尤其在公共环境设施、服务体验等方面。据相关数据统计,我国目前致力于听障者专业服务的人士只有大约一万名,大部分公共服务并没有配备专门的便利设施,这些都是听障者长久以来面临的迫切需求。

针对这一社会痛点,优图团队首次将计算机视觉人工智能技术应用到手语识别场景,而此次发布的“优图AI手语翻译机”产品,利用了普通摄像头和高性能计算机,可以识别听障人士的手语,并快速识别翻译成文字。

据腾讯优图研究员阳赵阳介绍,手语翻译的核心技术是手语识别(SLR),通过计算机算法,自动区分手语表达中的各类手势、动作、手势和动作之间的切换,最后将手语翻译成为文字。此前也有一些团队探索过用人工智能技术缓解听障人士沟通障碍,但往往需要借助一些额外的设备或传感器,不仅增加了使用门槛,而且也无法保证对复杂手语表达的识别率。不仅如此,手语特有的地域性、复杂性和多样性,使得手语识别技术即使在深度学习的帮助下也依然存在很大的挑战,难以被实际应用。

(手语识别算法总体框架图)
(手语识别算法总体框架图)

此次优图AI手语翻译机产品,通过自研算法实现了对复杂手语表达的识别技术突破,该算法参考了先进的手势识别、动作识别和序列翻译等技术,考虑了手语的地域性和多样性表达,包含了不同的表达习惯和速度。

这也是继优图实验室宣布通过人工智能技术帮助警方寻回多名被拐儿童之后,腾讯践行“科技向善”理念的又一体现,也是腾讯在计算机视觉人工智能领域的又一重大技术突破。

 

科技向善,信息无障碍再次拓宽新边界

 

这并不是双方在AI+无障碍建设上的首次合作,2013年研究会与腾讯等科技企业共同成立信息无障碍产品联盟。腾讯一直在坚持推动“一个都不能少”和“信息无障碍”理念的传播与落地。截至目前,QQ、QQ空间、微信、腾讯网、腾讯新闻、应用宝、企鹅FM等大部分产品已面向障碍用户实现无障碍优化。

研究会一直以来致力于提供专业的信息无障碍解决方案,在与腾讯的合作中腾讯旗下各类产品从社交、娱乐、新闻等多维度出发,共同努力,为障碍人士构建出友好的信息社会。2018年12月3日,腾讯因信息无障碍领域的突出成绩获得“联合国教科文组织数字技术增强残疾人权能奖”。

我们相信在与腾讯等多方企业、团体与个人的共同努力下,科技无障碍的边界必将迎来更加广阔的天地。