天津理工大学鲸言创益精英团队产品研发哑语手势即时翻译系统软件

天津理工大学鲸言创益精英团队产品研发哑语手势即时翻译系统软件 天津理工大学鲸言创益精英团队产品研发哑语手势即时翻译系统软件——

让人工智能技术看懂哑语手势(编解码·靠近热门职业)

关键阅读文章

一边是听障人士喊着哑语手势，一边是屏幕上全自动“汉语翻译”出文本。因为让大量听障人士被“听到”，天津理工大学鲸言创益无阻碍信息科技研发部门用近5年的时间，搭建起短视频词库，产品研发“繁杂情景下中国手语即时翻译系统软件”，让人工智能应用带来大家大量便捷。

监控摄像头前，张益彬左手和右手更替挥动，嘴巴随着手语动作略微上升，一旁的液晶屏上，“太阳总在风雨后”7个字马上显示出来……

张益彬是天津理工大学聋哑人工学院网络工程专业2019级学员，都是该校鲸言创益无阻碍信息科技研发部门的组员。在这种近60人队伍中，高于一半组员是和张益彬一样的听力障碍学员，她们用近5年时长搭建起一个包括30多万条短视频的词库。现如今，团队打造的“繁杂情景下中国手语即时翻译系统软件”将要落地式运用。

大胆尝试，将哑语手势即时翻译为视频语音或文本

2006年，袁甜甜的变成天津理工大学聋哑人工学院计算机专业的一名教师，对她而言，课堂教学较大的困难是沟通障碍。

那时候，语音识别软件并未面世，学员又全是听障人士，袁甜甜的只有咬着牙自学手语，“一堂课出来，摇头晃脑，常常满身是汗，一望观众席，学生们或是一脸茫然。”袁甜甜的说，向学员信息传递难以，十分困难的是了解学生的念头。

第二次全国残疾人统计调查资料显示，在我国约有听障人士2780数万人。“时迄今日，哑语手势仍是听障人士的‘汉语’。”袁甜甜的说，虽然近些年语音识别软件普及化，但表示的逻辑性立足点自始至终绕不动健听人，“针对听障人士而言，听得懂是一方面，但她们最期盼的，或是被‘听到’。”

2016年底，哑语手势识别技术的原型逐渐在袁甜甜的脑子里清楚下去。“听障人士在高清镜头前搞出哑语手势，视频画面通过计算机的剖析解决，变换为文本或是视频语音。”袁甜甜的诠释构想，自主创新的逻辑性立足点从健听人变成了听障人，也代表着并没有完善的计划方案可以借鉴。“这是一次事关‘表述’的冒险。”袁甜甜的说。

搭建优化算法，给电子计算机编一套哑语手势教材内容

假如说“哑语手势鉴别”和“语音识别技术”还有一些共同之处，那便是二者都需要借助于充足的词库。现如今，语音识别技术词库已十分完善丰富多彩，“视频语音的语料库在自然状态下十分有利于获得，但哑语手势语料库却很少。”袁甜甜的说。