全球首个多语种手语视频生成模型诞生：SignLLM

近日，一项名为 SignLLM 的新型 AI 技术取得了突破性进展，或将彻底改变听障人士的沟通方式。作为全球首个多语种手语生成模型，SignLLM 能够将输入的文本或语音指令，实时转化为对应的手语手势视频，为打破语言障碍、促进信息无障碍传播带来了革命性希望。

长期以来，由于手语本身的复杂性和多样性，以及缺乏高质量数据的支持，手语翻译一直是人工智能领域极具挑战性的难题。而 SignLLM 的出现，成功克服了这两大技术瓶颈。

据研究团队发布的论文介绍，SignLLM 的成功主要归功于两项关键创新：

首个多语言手语数据集 Prompt2Sign 的构建

该数据集包含海量来自不同手语体系的视频数据，并经过精心处理和标注，转化为 AI 模型易于学习的格式，为 SignLLM 的训练提供了强大的数据基础。

独创的“视觉符号化”和“代码本重建”技术

SignLLM 通过将手语视频分解为一系列离散的字符级符号标记，并将其映射到与文本语言相似的表达形式，巧妙地将手语翻译任务转化为现有的文本翻译模型可以处理的形式，从而有效利用了大型语言模型 (LLM) 强大的语义理解和生成能力。

研究团队表示，SignLLM 在八种不同语言的手语生成任务中均取得了目前最优的性能表现，显著超越了过去基于传统方法开发的模型。SignLLM 的诞生，为 AI 手语翻译领域的技术突破带来了新的希望。随着研究的深入和应用的拓展， SignLLM 有望为听障人士带来更便捷、更高效的沟通体验， 在促进信息无障碍和社会包容方面发挥积极作用。

github项目地址

https://signllm.github.io/