Mamu, Software de seguimiento ocular de baja resolución

Irisbond

Sector: Salud

Business Case

Se propone desarrollar un algoritmo de seguimiento ocular basado en visión artificial para dispositivos móviles. Cogiendo como referencia las capacidades de los dispositivos de seguimiento ocular de alta resolución (Hiru) tratar de replicar dichas funcionalidades abaratando los costes que suponen tener un hardware dedicado.

Objetivos

El objetivo de caso de uso es tener un algoritmo de seguimiento ocular de bajo coste basado en IA que permita la integración de un usuario en cualquier dispositivo (móvil o de sobremesa) que contenga una cámara web. Este tiene que ser, por un lado, adaptable a la casuística del usuario en uso (variabilidad del iluminación y rasgos faciales) y por otro lo suficiente liviano para poder funcionar en tiempo real.

Use case

Dado que la solución tiene muchos módulos que hacen uso de la IA, el esfuerzo se centro en el desarrollo de la red neuronal ajustándolo a las necesidades de nuestro problema. Para los módulos menos imprescindibles, se buscaron vías para obtener algoritmos mas genéricos de código abierto y productos ya comercializados.

Infraestructura

On Premise

Tecnologías utilizadas

Machine Learning y Deep Learning

Computer Vision

Datos utilizados

1.000.000 de imágenes sintéticas con su etiqueta de ángulo de mirada (generador público).

10.000 imágenes reales con etiqueta (ángulo).

Recursos utilizados

A nivel organizativo ha sido necesario 1 jefe de proyecto, 3 técnicos de SW (visión artificial y microservicios). Desarrollo técnico principalmente por Vicomtech y Irisbond (algoritmia), y validación técnica, requisitos, viabilidad e integración con una app en Android únicamente por parte de Irisbond.

Dificultades y aprendizaje

Limitaciones de conseguir imágenes reales, se buscaron alternativas con las que conseguir datos alternativos

Tratar de utilizar recursos y algoritmos de terceros para después adaptarlos a nuestro problema.

Dificultad de integración de un algoritmo de visión artificial (DL) en dispositivos móviles con limitaciones de computo.

Alta dependencia que tienen los modelos a los cambios del entorno: Cambios de luz, posición del usuario.