SignGemma – 打破沟通障碍的AI手语翻译模型

SignGemma是什么

SignGemma是由谷歌DeepMind团队于2025年5月27日推出的一款强大的AI手语翻译模型。作为Gemma模型家族的最新成员，SignGemma专注于将美国手语（ASL）翻译成英语文本。该模型通过多模态训练方法，结合视觉数据和文本数据，能够精准识别手语动作并实时转化为口语文本。其目标是为听障与失聪人士提供无障碍的数字沟通工具。

核心功能

SignGemma的核心功能包括：

• 实时翻译：能够将手语动作实时转换为准确的文本输出，响应延迟低于0.5秒。
• 精准识别：不仅能识别基本手势，还能理解手语中的语境和情感表达。
• 多语言支持：目前主要支持美国手语（ASL）到英语的翻译，未来有望扩展到更多手语。
• 端侧部署：支持在本地设备上运行，用户数据无需上传云端，保护用户隐私。

技术原理

SignGemma的技术原理基于以下几点：

• 多模态训练：结合视觉数据（手语视频）和文本数据进行训练，通过多摄像头阵列与深度传感器构建手部骨骼的时空轨迹模型。
• 三维语义理解框架：能够理解手语中的“空间语法”，例如用不同身体区域代表不同话题域，使模型在长句翻译中的连贯性提升40%。
• 对比学习技术：通过对比学习技术，将手语的空间表达映射为口语的线性序列。
• 高效架构设计：基于Gemma3n架构，采用Per-Layer Embeddings（PLE）技术，显著降低内存需求，提升响应速度。

支持平台

SignGemma支持在多种设备上运行，包括智能手机、平板电脑和笔记本电脑等。其轻量化设计使其能够在仅需2GB内存的设备上流畅运行，无需依赖云端服务。

团队介绍

SignGemma由谷歌DeepMind团队开发。DeepMind团队以其在人工智能领域的创新和突破而闻名，致力于通过技术手段打破手语使用者在沟通上的障碍。团队成员包括语言学家、开发者以及无障碍技术专家。

项目资源

• 官方网站注册页面：http://goo.gle/SignGemma
• 预计开源时间：2025年底

业务场景

SignGemma的应用场景广泛，包括：

• 教育支持：帮助教师与听障学生之间的无障碍沟通。
• 医疗沟通：在诊疗过程中，协助医患之间的交流，减少信息误解。
• 公共服务：在政府机构和企业接待流程中，自动识别手语查询内容，提升服务质量。
• 社交互动：在直播、会议等场景中，实现手语与口语用户之间的实时交流。