La compañía Samsung ha presentado la aplicación Tallk, una herramienta de software que facilita la comunicación de las personas con movilidad reducida y ausencia del lenguaje oral, como los pacientes de ELA.
Ha sido desarrollada por la startup española Irisbond, especializada en soluciones de eye tracking. La app, que usa la cámara de una tableta para la comunicación interpersonal, está disponible en castellano para determinados modelos de Galaxy Tab de Samsung. El objetivo es facilitar la comunicación verbal a personas que sufren este tipo de patologías y otras similares, así como de dotarles de una mayor independencia. Está en estudio favorecer mediante algún tipo de acuerdo y promoción el acceso del sistema a las personas enfermas.
USO DE LA INTELIGENCIA ARTIFICIAL
El proyecto ha tenido un fuerte componente de I+D y con una combinación de Inteligencia Artificial, mecanismos de seguimiento facial y metodologías de Deep learning basado en redes neuronales, se ha conseguido desarrollar un seguimiento ocular sin necesidad de dispositivos adicionales y simplemente usando la cámara integrada de la tableta.
El proyecto ha pasado por diferentes fases, una de desarrollo de algoritmos para realizar el eye tracking utilizando las cámaras de las Samsung Galaxy y, por otro lado, se ha desarrollado la aplicación Tallk, diseñada para ser controlada con la mirada. Finalmente, se ha realizado la integración del resultado de ambas fases aplicando diferentes herramientas de usabilidad, para hacer posible el control de la aplicación con la mirada.
POSIBILIDADES
Con un tamaño de pantalla mínimo de 8” por motivos de usabilidad y accesibilidad, la tecnología de seguimiento ocular de Tallk utiliza la cámara de la tablet para localizar el iris usando patrones faciales del usuario. El seguimiento del iris a través de la cámara estándar de una tablet ha supuesto un reto durante su desarrollo, ya que, hasta el momento, sólo se podía realizar a través de cámaras adicionales basadas en infrarrojos.
Gracias a diferentes algoritmos e Inteligencia Artificial, el software traduce el movimiento de los ojos en trazados aproximados dentro de la pantalla para acceder a un teclado virtual predictivo y verbalizar el texto introducido por el usuario, mediante la voz configurada en el menú de accesibilidad de la tableta. Los algoritmos de Irisbond, unidos al modelado y reconocimiento de patrones faciales junto con la Inteligencia Artificial aplicada, captan el movimiento de los ojos y lo traducen en movimientos dentro de una pantalla. Cualquier persona puede manejar el teclado virtual de forma natural, intuitiva y sin utilizar las manos; creando así una nueva manera de relacionarse con su entorno a través de tecnologías de seguimiento ocular. Irisbond lleva a cabo un proyecto de colaboración con el Instituto de Tecnología de Massachusetts (MIT) para investigar técnicas que perfeccionen sus algoritmos.
El uso de redes neuronales para crear mapas de reconocimiento facial que sean capaces de identificar puntos característicos de la cara y landmarks; combinado con vectores oculares, genera unos modelos que, entrenados convenientemente con miles de datos, permiten realizar un seguimiento eficaz de la mirada.
La aplicación también permite gestionar una colección con las frases favoritas, así como un histórico de las utilizadas recientemente, por lo que puede acceder a ellas y activarlas en cualquier momento. El teclado permite al usuario comunicarse con Bixby, asistente de Inteligencia Artificial, con el fin de utilizar sus comandos para resolver distintas peticiones.
La aplicación Tallk está disponible en castellano y se puede descargar de forma totalmente gratuita en las tiendas Galaxy Store y Play Store en España. Una vez descargada, tan sólo hay que configurar la aplicación y calibrar el cursor a través de la cámara de la tablet compatible, una lista que se irá ampliando paulatinamente.
