让人工智能看懂手语（解码·走近新职业）
让人工智能看懂手语（解码·走近新职业）
中心阅览
一边是听障人士打着手语，一边是屏幕上自动“翻译”出文字。为了让更多听障人士被“听见”，天津理工大学鲸言创益无障碍智能科技研制团队用近5年时刻，构建起视频语料库，研制“杂乱场景下我国手语实时翻译体系”，让人工智能技术带给人们更多便当。
摄像头前，张益彬左右手替换挥舞，嘴角随同手语动作轻轻上扬，一旁的显现屏上，“阳光总在风雨后”7个字立刻显现出来……
张益彬是天津理工大学聋人工学院网络工程专业2019级学生，也是该校鲸言创益无障碍智能科技研制团队的成员。在这个近60人的团队中，超越一半成员是和张益彬相同的听障学生，他们用近5年时刻构建起一个包含30余万条视频的语料库。现在，团队打造的“杂乱场景下我国手语实时翻译体系”即将落地使用。
斗胆测验，将手语实时翻译为语音或文字
2006年，袁甜甜成为天津理工大学聋人工学院计算机系的一名教师，对她来说，教育最大的困难是沟通障碍。
其时，语音辨认软件没有问世，学生又都是听障人士，袁甜甜只能硬着头皮自学手语，“一堂课下来，手舞足蹈，经常满头大汗，一望台下，学生们还是一脸茫然。”袁甜甜说，向学生传递信息很难，难上加难的是了解学生的想法。
第2次全国残疾人抽样调查数据显现，我国约有听障人士2780万人。“时至今日，手语仍是听障人士的‘母语’。”袁甜甜说，尽管近年来语音辨认软件普及，但表达的逻辑起点始终绕不开健听人，“关于听障人士来说，听懂是一方面，但他们最巴望的，还是被‘听见’。”
2016年末，手语辨认体系的雏形开端在袁甜甜脑海中明晰起来。“听障人士在摄像头前打出手语，视频画面通过计算机的剖析处理，转换为文字或许语音。”袁甜甜阐释设想，创新的逻辑起点从健听人变成了听障人，也意味着没有成熟的方案能够学习。“这是一次关乎‘表达’的探险。”袁甜甜说。
构建算法，给计算机编一套手语教材
如果说“手语辨认”和“语音辨认”还有一些相似之处，那便是二者都必须依托于丰厚的语料库。现在，语音辨认语料库已十分成熟丰厚，“语音的语料在自然状态下十分便于获取，但手语语料却十分少。”袁甜甜说。
“别的，语音是一种‘单信道’的方式，而手语是‘多信道’，计算机要辨认的不只有动作，还有表情和场景。”袁甜甜介绍，从对数据收集的支撑程度看，我国现在手语语言学的体系性并不强，“手语方言”举目皆是，这就给数据收集造成了极大困难。
“要将设想变为实际，就要先确立规范。”袁甜甜说，她和团队成员确认了先易后难的思路，基于国家通用手语的规范收集数据，“简略来讲，咱们翻译的是手语里的‘普通话’。”
王建源是聋人工学院网络工程专业2018级学生，也是鲸言创益团队的草创成员。他的作业是收集手语语料，这些语料便是视频画面。“招募志愿者，请他们来录视频，反反复复地录。”王建源“说”。
王建源从小在特别校园肄业，父母也都是听障人士，他从不避讳在健听人面前打出手语，因为他觉得手语很美。“可是，手语的美是杂乱的，这个工程量太大了！”王建源笑着“说”。
两年时刻里，王建源和团队其他成员几乎每天都准时呈现在学院的实验室，有时忙到很晚，爽性席地而睡。现在，他们现已收集到30余万条语料，“通过测算对比，距离我国汉语水平考试的4级水平仅差100多个词了。”王建源介绍。
手语是一门视觉语言，有特定的语法、语序。手势、表情、肢体动作自在排列组合，表达的便是不同的意思。在袁甜甜的设想中，这套体系呈现的内容，不应该是由汉语单词罗列而成的语句，而是在输入端和输出端既要遵从手语语序、语境，也要契合汉语的表述逻辑。
天津理工大学计算机学院研一学生孙悦把自己在团队中的作业形容为“修桥”。“就拿‘阳光总在风雨后’这句话来说，手语的语序是‘风/雨/结束/阳光’，这显然让人看不懂。”孙悦说，她和同伴们逐步构建起一套手语辨认算法框架模型，“通俗来说，便是咱们给计算机编了一套‘手语教材’。”有了这套“教材”，丰厚的语料库就有了用武之地，相当于找到了手语转换为汉语的规则，“桥”修通了，数据才能跑得顺利。现在，这个模型现已根本能够完成“杂乱场景下的手语实时翻译”。
建立桥梁，手语翻译使用于更多场景
2019年，袁甜甜领衔的“杂乱场景下我国手语实时翻译体系”入选工信部新一代人工智能产业创新重点任务揭榜项目，并获得国家资金支撑，这也加快了整个团队行进的脚步。
上一年5月，他们把研究成果带进了在天津举办的第五届世界智能大会的会场，获得点赞。“其时体系现已涵盖教育、法令、餐饮、交通等使用场景，在光线足够的环境下，辨认率可达95%。”袁甜甜说，现在，这套体系还在升级，“咱们的目标是100万条语料，根本掩盖社会生活的常用场景。”
最让张益彬难忘的是，上一年10月，他和团队合力研制的项目《“鲸可语”——多模态接连手语自动标示辨认体系》荣获第七届我国国际“互联网+”大学生创新创业大赛全国总决赛金奖，而自动标示辨认是手语翻译的要害一环。这也证明了“张益彬们”的尽力得到了国内科创界的高度关注。
闻讯而来的合作方越来越多，这让团队成员关于体系未来的使用场景有了无尽畅想。不久前，天津市急救中心也找到他们，希望引入这套体系。“经常碰到急救对象是听障人士，生命垂危之际，打字沟通功率太低了，往往只能用手语表达。”袁甜甜说。
今年之内，这套体系将使用于天津理工大学的办公楼。到时，楼内大厅将呈现一个交互机器人和一块交互大屏，所有听障人士都能够被“听见”。
