中国队夺金幕后的「AI手语翻译官」：初次上岗，手语可懂度超90%
在首都体育馆，那是一个星光璀璨的夜晚，中国短道速滑队以其无与伦比的实力，在混合团体接力赛场上展现出绝对的统治力。在一声哨响之后，队员们犹如离弦之箭，飞驰在冰面上。经过激烈的角逐，中国队成功夺得中国首金！这一时刻，腾讯 3D 手语数智人主播「聆语」的声音也响彻场馆，通过手语传递着这份喜悦与激情。
不仅如此，「聆语」作为央视频的「AI 手语翻译官」，在多场赛事中提供了专业且准确的手语解说服务。对于那些生活在无声世界中的特殊人群来说，「聆语」的出现无疑是一次视觉与听觉的双重盛宴。他们通过「聆语」的手语解说，仿佛也能感受到比赛现场的紧张气氛和选手们的激情。
在本次北京冬奥会的观众席中，一位来自武汉的听障人士表示，他一直对冰雪赛事充满期待，但赛事解说员快速的语速常常让他错过一些精彩内容。「聆语」的出现让他对未来的观赛体验充满了期待。
据统计，中国有高达2780万的听障人士。由于缺少足够的手语翻译和主持人，他们在获取外界信息时面临着不小的挑战。而冰雪赛事的热度无疑对大型赛事的电视观赛体验提出了更高的要求，这其中也包括对手语解说服务的需求。在这样的背景下，AI 手语数智人主播应运而生，为听障人士带来了更加便捷的信息获取方式。
腾讯 3D 手语数智人「聆语」正是这一领域的佼佼者。通过建立健听人的语言体系、运用逼真的画面语言、连贯自然的动作以及新词热词的快速适配，「聆语」不断提升 AI 手语表达的可懂度。在央视频 APP 中，「聆语」也迎来了自己的第一份工作——央视频 AI 手语翻译官。它的存在让听障人士也能享受到与健全人同样的观赛体验，进一步拉近了他们与大型赛事的距离。这无疑是一次技术与人文的完美结合，展现出了科技的力量和人文的关怀。腾讯最新推出的3D手语数智人“聆语”，由腾讯云小微与PCG AI等技术团队联手研发，融合了多模态交互技术、3D数字人建模、机器翻译、语音识别及自然语言理解等前沿技术，让“聆语”的手语表达能力逼近真人。为了让手语老师的工作效率更高，腾讯还自主研发了一套可视化动作编辑平台。通过这个友好工具，手语老师能够轻松地对所有手语动作进行高效精修。
至今为止，“聆语”已经覆盖了超过160万的词汇和语句，并且针对体育赛事进行了大量定向优化，手语可懂度已经达到行业领先的90%以上。腾讯团队表示，他们致力于利用积累的AI技术，为听障人士打造一款高度可懂的手语数智人，让科技成为他们生活中的得力助手。这也是腾讯一直强调的“科技向善”理念。
在打造“聆语”的过程中，团队面临了诸多挑战。如何让数字人表达自然、生动，避免出现神态和动作的僵硬，是首先要解决的问题。为此，“聆语”依托腾讯领先的3D技术，如重光照扫描还原、面部肌肉驱动、表情肢体手势捕捉等，成功生成了高度还原真人、动作自然的数字人。
为了让“聆语”像专业的手语主持人一样，实时、精准地传递解说内容，腾讯团队深入研究国家通用手语词典，并开发出一套手语翻译系统。这套系统具备低延迟生成高准确率的手语语言表征的能力。例如，当输入“他是我的手语老师”，经过预处理和翻译后，系统能够准确理解并传达这一信息。
为了让“聆语”实现更流畅的手语动作，腾讯团队基于多模态端到端生成模型进行联合建模及预测，生成高准确率的动作、表情、唇动等序列。这使得“聆语”的手语效果自然且专业，易懂度高。得益于腾讯云小微和PCG AI在语音技术领域的长期积累，“聆语”的AI手语可懂度达到了惊人的90%以上。
“聆语”是腾讯为听障人士打造的一款真正可懂的手语数智人，它通过先进的AI技术和深入的行业研究，实现了自然、专业的手语表达，为听障人士提供了极大的便利。赛场手语翻译的难点在于从复杂的赛场声音中精准识别解说语音。这就需要借助先进的ASR技术，将语音信息从背景噪音中分离出来，并进行智能识别。随后，将识别出的文本信息进行智能摘要处理，以确保手语翻译与主持人的语速同步。接下来，将这些翻译转化为手语视频，不仅要保证每个手语动作的准确性，还要实现动作间的无缝衔接。
在信息准确率的追求上，“聆语”更是不断进化。它能够迅速捕捉最新的流行词汇，如将17岁小将苏翊鸣亲切地称为“小栓子”，或是将谷爱凌通过“首字母 + 唇形”的方式准确表达。借助腾讯强大的大数据能力，“聆语”能够实时掌握这些热词，并快速更新手语词汇库。
不仅如此，“聆语”更贴近实际业务，拥有更强的产品落地能力。腾讯团队运用多项AI技术，如3D数字人建模、机器翻译、多模态数字人生成、迁移学习、实时面部动作生成及驱动等，使其感知理解能力进一步加强。这使得“聆语”支持的业务场景更加丰富，累积的业务数据也更加庞大。
随着AI交互智能技术的不断发展和应用，“AI手语合成主播”的未来充满无限可能。数智人已经成为许多行业的得力助手，为人类提供更加高效、精准的服务。在新闻传媒领域，虚拟主播和动画手语的应用已经受到广泛关注。2021年10月，广电总局在科技发展规划中明确指出，要推动这些技术在新闻播报、天气预报、综艺科教等领域的广泛应用，以提高制播效率和智能化水平。
腾讯云小微一直在AI交互智能领域进行着不懈的探索和实践。联合PCG AI及AI Lab等技术力量，腾讯云小微已经打造了多个数智人方案，为大众提供包括客服、导览、讲解等多样化服务，涉及众多领域。未来，“聆语”将在更多场景提供服务，为听障人士和正常人搭建沟通的桥梁，助力实现更好的无障碍信息传播环境。