Son alumnos de la sede Esquel de la UNPSJB y desarrollaron un prototipo basado en inteligencia artificial entrenada por ellos mismos.
Cuatro estudiantes de Chubut desarrollaron una app que traduce lengua de señas a audio y texto en tiempo real. El proyecto fue creado por alumnos de la sede Esquel de la Universidad Nacional de la Patagonia San Juan Bosco (UNPSJB) y apunta a facilitar la comunicación de personas hipoacúsicas.
El prototipo fue bautizado SOLIDX y surgió como idea de John Franco Hughes, Eric Vincon, Valentín Roo y Alen Vinay, estudiantes de la tecnicatura de Analista Programador Universitario. El desarrollo se presentó como trabajo final de una materia orientada a la experimentación tecnológica.
La aplicación funciona a partir de un motor de inteligencia artificial entrenado por los propios estudiantes. En esta etapa, el sistema traduce entre diez y quince señas y permite ampliar ese número con nuevos entrenamientos.
Según explicaron, la intención es continuar con el desarrollo del modelo para que pueda utilizarse en equipos de escritorio, entornos web o dispositivos móviles.
El origen del proyecto en Esquel
La iniciativa comenzó a partir de una situación cotidiana. Durante una jornada laboral, John Hughes mantuvo una charla con un vecino de Esquel que le comentó las dificultades de su hijo hipoacúsico para encontrar aplicaciones que traduzcan lengua de señas.
Ese mismo día, el grupo decidió avanzar con la propuesta como proyecto académico. La materia Laboratorio y Lenguaje de Programación exige desarrollar soluciones tecnológicas con foco en la innovación.
“En un principio estábamos convencidos de que íbamos a hacer un videojuego, que solo tuviera cierto tipo de complejidad inteligente y que fuera entretenido, pero después, charlando y analizando otras alternativas de proyecto, decidimos hacer algo que pueda tener un impacto social y resolver un problema”, contó John a un medio local.
Para el desarrollo de SOLIDX, los estudiantes combinaron tecnologías de visión por computadora y redes neuronales artificiales, aplicadas al reconocimiento de señas captadas por una cámara.
Cómo entrenaron la inteligencia artificial
“La visión por computadora es un campo de la inteligencia artificial que permite a las computadoras ‘ver’ e interpretar imágenes y videos, mientras que las redes neuronales son la rama de la inteligencia artificial que procesa datos y reconoce patrones complejos en esos datos visuales”, explicó el estudiante.
“En este caso, lo que tomamos de la realidad son señas”, agregó. “Los datos tomados por la cámara fluyen a través de modelos matemáticos de inteligencia artificial que aprenden patrones una vez que los entrenamos”.
El sistema identifica puntos clave del cuerpo, como rostro, torso y manos, y a partir de esa información construye una base de datos propia para el reconocimiento de las señas.
“Esto es clave porque siempre se dice que la inteligencia artificial usa datasets ya hechos y acá empezamos desde cero”, señaló John, sobre el proceso de entrenamiento del modelo.
Aprender lengua de señas para desarrollar la app
Además del desafío técnico, los estudiantes debieron incorporar conocimientos básicos de lengua de señas para poder entrenar la inteligencia artificial. Para eso recurrieron a videos disponibles en YouTube.
Ese aprendizaje permitió avanzar con el prototipo y continuar cargando datos al sistema, con el objetivo de mejorar la traducción a audio y texto.
“La idea ahora es seguir porque es un proyecto que tiene gran potencial y mucho impacto social, más que nada porque resuelve un problema que muchas personas tienen en toda la provincia y en todo el país”, subrayó John
Sé el primero en comentar