Universitat d'Alacant

Investigadores del Instituto Universitario de Investigación Informática (IUII) de la Universidad de Alicante han desarrollado un nuevo sistema capaz de proporcionar una interacción natural a la persona discapacitada para llevar a cabo distintas terapias de rehabilitación, tanto motora, como cognitiva. Para ello, el sistema presenta una nueva aproximación aprovechando de forma eficiente las nuevas tecnologías y sensores de interacción hombre-máquina.

El sistema combina la utilización de distintos sensores, un sensor de largo alcance (como una cámara 3D), que permite la identificación del usuario así como la interacción con el sistema mediante gestos o la propia pose del usuario o paciente. Este sensor proporciona también información de profundidad de la escena, permitiendo ubicar de forma precisa el entorno donde opera.

La información obtenida mediante el sensor de largo alcance puede ser combinada con la utilización de otro sensor 3D de corto alcance, que proporciona una representación virtual precisa de las manos de los usuarios. Esta información se utiliza y combina con la información de otros sensores para llevar a cabo terapias de rehabilitación que requieran movimientos precisos de las manos, una pose, o cierto gesto de los dedos de las manos. Este sensor se encuentra ubicado sobre un brazo giratorio, permitiendo su utilización cuando sea necesario.

El sistema, a su vez, integra un sensor de seguimiento de mirada capaz de obtener la posición de la mirada (seguimiento de ojos) del paciente. Este sensor está calibrado para cada paciente de forma que permite conocer la posición de la mirada del paciente respecto a las interfaces de usuario mostradas en la pantalla de la tableta digital.

Los sensores citados anteriormente se combinan con una matriz de micrófonos, que permite captar órdenes de voz por parte del usuario, así como información sonora del entorno.

Finalmente, todos los sensores quedan conectados a una tableta digital que alberga el procesamiento de la información y ofrece, así mismo, otro medio de interacción adicional: la interacción por contacto. Este modo de interacción permite también llevar a cabo terapias de rehabilitación o comunicación basadas en el contacto del paciente con las interfaces mostradas en la pantalla de la tableta digital.

Todos los componentes del sistema pueden ir montados sobre una plataforma móvil en forma de atril conformando un sistema completo de interacción natural para llevar a cabo terapias con pacientes con distintas discapacidades.

Respecto al modo de funcionamiento, el sistema dispone de un entorno de trabajo para el desarrollo de las aplicaciones que permiten llevar a cabo rehabilitación o comunicación de usuarios a través de los distintos interfaces hombre-máquina.

Inicialmente, el sistema identifica un usuario en el entorno para ajustar su configuración a sus requisitos y características según su discapacidad. Esta tarea puede ser llevada a cabo con la ayuda de un terapeuta o un cuidador quien da de alta al usuario en el sistema y ayuda a su entrenamiento para dicho paciente.

El sistema recibe como entrada datos gestuales y es capaz de traducir dichos gestos a órdenes básicas (arriba, abajo, izquierda, derecha, etcétera). Además el sistema permite la personalización de gestos propios para cada paciente y para cada uno de los sensores. De esta forma se posibilita la creación de un conjunto de poses, gestos con el cuerpo, brazos, cabeza, mano, movimiento de los ojos, así como precisos movimientos de la mano a nivel local (movimiento de los dedos) o comandos de voz, distintos para llevar a cabo las mismas acciones sobre el sistema. Mediante estas acciones el usuario puede navegar por el entorno del sistema, opciones, aplicaciones, etcétera, así como llevar a cabo una rehabilitación o comunicación específica con una aplicación concreta.

Figura 1.- Imagen frontal del prototipo

Un paciente concreto puede ser reconocido en el sistema mediante identificación biométrica (reconocimiento facial) y además puede definir un conjunto de sensores a utilizar en función de su tipo de discapacidad, así como serie de gestos personalizados. Mediante esta personalización a medida para cada paciente, y la calibración de los sensores para su correcto funcionamiento, se consigue que el sistema se adapte lo mejor posible al usuario y ofrezca una interfaz lo más natural posible.

El sistema viene acompañado de con un conjunto de aplicaciones que permiten tanto la interacción como la rehabilitación del paciente. En concreto, se han desarrollado varias aplicaciones que toman como entrada las órdenes básicas: una aplicación de texto predictivo (capaz de convertir el texto en habla); una aplicación de rehabilitación motora (mediante manipulación virtual de objetos) y otra de rehabilitación cognitiva (mediante dibujo guiado). No obstante, este conjunto inicial de aplicaciones es extensible y adaptable en función de las distintas necesidades de los pacientes. Para ello, el sistema proporciona un espacio de trabajo flexible y modular para el desarrollo de nuevas terapias.

• Permite la interacción y la realización de terapias de rehabilitación a personas tanto con discapacidad motora como cognitiva.

• Posibilita múltiples modos de interacción (gestual, poses/movimiento mano, voz, mirada, y táctil) para personas con distintas discapacidades ofreciendo notables ventajas frente a otros sistemas.

• Permite la personalización de gestos propios para cada paciente y para cada uno de los sensores facilitando una interacción natural con el sistema.

• Facilita la identificación biométrica (reconocimiento facial) de los pacientes adecuando la interacción del sistema (sensores y gestos) en función del nivel de discapacidad del usuario.

• Combina de forma eficiente la información obtenida de los sensores con interfaces 3D que permiten la rehabilitación de forma más realista gracias a la utilización de técnicas avanzadas de realidad virtual.

• Proporciona un espacio de trabajo flexible y modular para el desarrollo de nuevas aplicaciones orientadas a nuevas terapias en función de las distintas necesidades de los pacientes.

• Está formado por sensores y dispositivos existentes en el mercado, por tanto, puede modificarse, adaptarse y reproducirse de forma sencilla y a un coste razonable en función del tipo de pacientes y terapias objeto de aplicación.

El sistema ha sido desarrollado y probado con éxito a nivel de laboratorio. Actualmente se dispone de un prototipo (ver Figura 2) con las siguientes características:

• El prototipo dispone de sensores para la captura de información de movimiento de la mano, de los ojos y del cuerpo (cabeza, brazos, etc.). El sistema está abierto a la incorporación de nuevos sensores. Actualmente se están realizando pruebas para incluir sensores tipo pulsera para biorritmos. La plataforma donde se colocan los sensores y el ordenador ha sido también desarrollada por completo.

• Se ha desarrollado una aplicación de rehabilitación cognitiva en base a fichas de imágenes. El usuario debe seleccionar una de las imágenes mostradas. Otra aplicación desarrollada es la búsqueda de la salida en un laberinto.

• Toda la parte de gestión de usuario (identificación mediante biometría, selección de dispositivos adaptados a su discapacidad y entrenamiento y reconocimiento de los gestos del usuario) ya está desarrollada.

Figura 2.- Imagen lateral del prototipo

El sistema propuesto puede utilizarse para llevar a cabo terapias de rehabilitación a personas con discapacidad motora y/o cognitiva. Asimismo, el sistema facilita la comunicación con otras personas mediante una interacción personalizada y natural de los pacientes con los dispositivos (sensores, Tablet, etc…) que lo forman.

Entre los potenciales interesados se pueden encontrar:

• Empresas desarrolladoras y comercializadoras de sistemas de apoyo a personas discapacitadas.

• Asociaciones y entidades públicas o privadas orientadas a la prestación de servicios a personas con discapacidad.

• Administraciones Públicas regionales o nacionales en las áreas de Bienestar Social y discapacidad.

Se buscan empresas y entidades interesadas en esta tecnología para la utilización y/o explotación comercial mediante:

• Acuerdos de licencia de la patente para ceder los derechos de uso, fabricación o comercialización de la tecnología.

• Acuerdo de proyecto de I+D (cooperación técnica) para la aplicación y/o adaptación del sistema a otros sectores.

• Acuerdo de subcontratación (asistencia técnica, solución llave en mano, formación, etc.).

Esta tecnología se encuentra protegida mediante patente.

• Título de la patente: “Sistema multisensor para rehabilitación e interacción de personas con discapacidad”

• Número de solicitud: 201531430

• Fecha de solicitud: 05/10/2015