
《柳州日报》相关报道
“大家好,我叫于维佳,今天介绍的产品是手语翻译手套。”11月11日下午,柳州工学院信息科学与工程学院(软件学院合署)副教授于维佳佩戴手语翻译手套,用手语向大众问好时,电子屏幕一端的AI虚拟主播也同步将他手势对应的含义以语音和文字形式呈现。

于维佳用手语翻译手套交流
佩戴手套的听障群体动动手就能轻松沟通,这是什么原理?
于维佳介绍,别看手语翻译手套的外观与运动手套一样,它经过116道缝纫工艺,在不影响手部运动的前提下,将205个精密部件和自研柔性传感器等融入其中,电池充电一次能使用10个小时。当听障人士佩戴该手套,通过手语表达自己的意思时,手套会通过蓝牙连接到自主研发的App,再转化为AI虚拟主播的声音和屏幕上的文字及手语动画,便于听障人士沟通。目前手语翻译手套已从实验室走向市场,获得听障群体好评。

搭配电池模块的穿戴式手语翻译手套
研发初期,手语翻译手套要实现这样的功能,难度不言而喻。
于维佳介绍,手语是视觉语言,手势动作的个体差异非常大,在这个领域的机器翻译技术最难的是要解决个性化动作的通用解释。手语翻译手套在实验室阶段,技术人员不断优化设计算法,力求让每一个用户通过手指细微的弯曲动作,实现自主学习、自主进化的机制,以适应每个人的肌肉记忆、手语习惯。

手语翻译手套的手掌部分与常规手套一样
项目开发过程中,于维佳及其研发团队遇到新难题,各地研发团队采集的手语数据主要围绕机器视觉。如果将手语数据嵌入智能穿戴设备,有助于提高听障人士使用的获得感,可彼时国内缺乏相关的穿戴数据库,怎么办?为了收集并建立数据库,团队联动多地相关部门,耗费几年时间采集大量中国通用手语数据。
广东省阳江市的95后市民刘女士是手语手套的使用者之一。曾经她因害怕人工耳蜗手术带来的术中风险和术后伤痛,选择了手语手套。使用手语手套2年,刘女士最大的感受是,以前通过打手语、打字等方式与身边老人沟通,打字速度很慢,遇到老人不识字时,还无法沟通,心情很懊恼。如今借助手语手套,打手语能实时翻译成文字、转为语音,与人沟通交流很顺畅。

和手语翻译手套配套的App
11月10日,参与研发的广西科技大学计算机科学与技术学院(软件学院)副教授邓钧忆介绍,手语翻译手套和App在设计时,搭载了先进的AI算法、VR技术、智能穿戴技术,能快速高效实现语音、文字、手语的互译互转功能,拥有完全自主知识产权,国产化率达到90%以上。手语翻译手套和App涵盖的数据包括《国家通用手语常用词表》的所有手语,已开发了英语等6国语言的手语,可支持阿拉伯手语、柬埔寨手语,还能接受俄、法、英、德、日等多国手语定制开发,实现信息沟通更便捷。
该成果荣获第十届中国创新创业大赛广西赛区一等奖、2023年第三届“清华大学国强研究院杯”全球人工智能与机器人双创大赛初创组全国二等奖等多个奖项。
【媒体报道链接】
1.柳州日报:柳州研发手语翻译手套可“破界”交流 听障群体动动手就能轻松沟通
https://app5.lzxinwenwang.com/app/szb/lzrb/PC/content/202511/14/content_356323.html
2.柳州1号:柳州智造!这款手套里藏着一座“AI翻译工厂”,让手语被“听”见
https://nginx-lzrm.lzdaily.com.cn/lzrm/site1/mweb/202511/13/c88813.html?xyt=1763014235002