Universitat d'Alacant

Para alcanzar la comunicación entre la comunidad oyente y la comunidad sorda que utiliza la lengua de signos como medio de comunicación, ha sido necesario desarrollar dos funcionalidades:

1) De signos a texto: Por una parte, la plataforma reconoce e interpreta lo que un usuario o usuaria signa frente a una cámara, proporcionando una transcripción en texto y voz (véase Figura 1). El sistema que implementa esta funcionalidad está formado por una cámara, que puede ser de cualquier tipo, incluyendo aquellas cámaras integradas en dispositivos móviles y tabletas, que será la encargada de capturar las imágenes de una persona que está signando en Lengua de Signos (LS). Estas imágenes se procesan mediante redes neuronales para la obtención de los signos signados, generando una frase o texto completo en LS. Este texto es la entrada a un tercer módulo encargado de su traducción a la Lengua Oral (LO) a través de una técnica de procesamiento de lenguaje natural (NLP). El texto generado se muestra en una pantalla que puede ser una pantalla de ordenador, de cualquier dispositivo móvil o tableta.

Figura 1. Diagrama de la funcionalidad correspondiente a la generación de texto y voz a partir del signado frente a una cámara.

2) De texto y/o voz a signos: Por otra parte, la plataforma obtiene, a partir de texto o de un mensaje de voz, la correspondiente transcripción a LS y la muestra por pantalla mediante un avatar virtual (véase Figura 2). Así pues, en este caso, el usuario o usuaria indicará el texto que desea signar mediante la voz, utilizando cualquier micrófono o mediante el teclado (incluyendo aquellos que permiten escribir texto de manera manuscrita). Una vez obtenido el texto, se utilizará una técnica de procesamiento de lenguaje natural o NLP (Natural Language Processing) para obtener el texto expresado en signos de la LSE. Estos signos son signados por un avatar virtual que se muestra en una pantalla, ya sea de ordenador, de dispositivo móvil o de tableta.

Figura 2: Diagrama de la funcionalidad correspondiente a la generación del signado mediante un avatar virtual a partir de texto o audio introducido por un usuario/a.

VENTAJAS DE LA TECNOLOGÍA

• Este sistema funciona en tiempo real, de una forma sencilla y rápida.

• Es capaz de reconocer frases completas, a diferencia del resto de plataformas que solo ofrecen un reconocimiento signo a signo.

• Para lograr esta comunicación solo es necesario contar con un dispositivo móvil con cámara y pantalla.

• La precisión del sistema alcanza el 95%.

ASPECTOS INNOVADORES DE LA TECNOLOGÍA

• Permite una comunicación bidireccional, es decir, se realiza la conversión de signos a texto, pero también de texto y/o voz a signos. Hasta el momento solo era posible la conversión de signos a texto.

• El sistema incluye unos keypoints faciales que permiten un reconocimiento más preciso de la lengua de signos al incluir el análisis de las expresiones faciales y vocalización de los signos.

La tecnología se encuentra en un nivel de desarrollo avanzado (ofrece una precisión del 95%), contando con una demo. Hasta el momento, ha sido entrenado con vocabulario especialmente del campo de la restauración y la salud pero se pretende ampliar a nuevos ámbitos.

Este sistema puede adaptarse a multitud de ámbitos en los que las personas sordas necesiten comunicarse sin necesidad de un intérprete, por ejemplo: salud, financiero, administrativo, restauración, compras, transporte, justicia, etc.

Se buscan empresas o entidades interesadas en adquirir esta tecnología para su explotación comercial mediante acuerdos de licencia de la patente o para el desarrollo de la tecnología y su adaptación a las necesidades concretas de su actividad.

Esta tecnología se encuentra protegida mediante solicitud de patente.

• Título de la patente: “Sistema y método de comunicación entre personas sordas y personas oyentes”.

• Número de solicitud: P202430179

• Fecha de solicitud: 12/03/2024