Los relojes inteligentes ofrecen a las personas un método privado de recibir notificaciones sobre su entorno, como una llamada telefónica, alertas de salud o una próxima entrega de paquetes.

Ahora unos investigadores de la Universidad de Washington han desarrollado SoundWatch, una aplicación de smartwatch para personas sordas y con problemas de audición que quieran ser conscientes de los sonidos cercanos. Cuando el reloj inteligente capta un sonido en el que el usuario está interesado, por ejemplo, una sirena, el pitido del microondas o el gorjeo de un pájaro, SoundWatch lo identifica y envía al usuario un zumbido amistoso junto con información sobre el sonido.

“Esta tecnología proporciona a las personas una manera de experimentar los sonidos que requieren una acción, como extraer la comida del microondas cuando este pita. Pero estos dispositivos también pueden mejorar las experiencias de las personas y ayudarlas a sentirse más conectadas al mundo”, dijo el autor principal Dhruv Jain, estudiante de doctorado de la Universidad de Wisconsin en la Escuela de Ciencias Informáticas e Ingeniería Paul G. Allen. “Utilizo el prototipo de reloj para notar el canto de los pájaros y los sonidos de las cascadas cuando estoy de excursión. Me hace sentir presente en la naturaleza. Espero que otras personas sordas o con problemas de audición que estén interesadas en los sonidos también encuentren útil SoundWatch”.

El equipo comenzó este proyecto diseñando un sistema para sordos y personas con problemas de audición que querían saber qué pasaba en sus casas.

“Solía dormir incluso con la alarma de incendios”, dijo Jain, que nació con problemas de audición.

El primer sistema desarrollado, llamado HomeSound, utiliza tabletas Microsoft Surface distribuidas por toda la casa que actúan como una red de pantallas interconectadas. Cada pantalla proporciona un plano básico de la casa y alerta al usuario sobre un sonido y su fuente. Las pantallas también muestran la forma de onda del sonido, para ayudar a los usuarios a identificarlo, y almacenan un historial de todos los sonidos que un usuario podría haber pasado por alto cuando no estaba en casa.

El reloj inteligente desarrollado. (Foto: Jain et al./ASSETS 2020)

Los investigadores probaron HomeSound en los hogares de seis participantes sordos o con problemas de audición del área de Seattle, durante tres semanas. Los participantes fueron instruidos para que siguieran con sus vidas de manera normal y completaran encuestas semanales.

Basándose en sus informes, un segundo prototipo usó aprendizaje automático para clasificar los sonidos en tiempo real. Los investigadores crearon un conjunto de datos de más de 31 horas de 19 sonidos comunes relacionados con el hogar, como el ladrido de un perro o el maullido de un gato, el llanto de un bebé y llamadas a la puerta.

“La gente mencionó ser capaces de sacar a sus mascotas cuando notaban que el perro ladraba desde otra habitación o se daban cuenta de que no tenían que esperar junto a la puerta cuando esperaban que alguien viniera”, dijo Jain. “HomeSound permitió todos estos nuevos tipos de interacciones que la gente podía tener en sus casas. Pero muchas querían información durante el día, cuando salían en sus coches o iban de paseo”.

Los investigadores luego se volcaron entonces en un sistema de vigilancia inteligente, que permite a los usuarios recibir alertas sonoras dondequiera que estén, incluso en lugares donde no tengan sus teléfonos, como en el gimnasio.

Debido a que los relojes inteligentes tienen capacidades limitadas de almacenamiento y procesamiento, el equipo necesitaba un sistema que no se comiera la batería del reloj y que además fuera rápido y preciso. Primero los investigadores compararon una versión comprimida del clasificador HomeSound con otros tres clasificadores de sonido disponibles. La variante de HomeSound era la más precisa, pero también la más lenta.

Para acelerar el sistema, el equipo hace que el reloj envíe el sonido a un dispositivo con más potencia de procesamiento, el teléfono del usuario, para su clasificación. Hacer que un teléfono clasifique los sonidos y envíe los resultados al reloj no solo ahorra tiempo sino que también mantiene la privacidad del usuario porque los sonidos solo se transfieren entre los propios dispositivos del usuario.

Los investigadores probaron la aplicación SoundWatch en marzo de 2020 – antes de la orden de Washington de quedarse en casa – con ocho participantes sordos y con problemas de audición en el área de Seattle. Los usuarios probaron la aplicación en tres lugares diferentes en o alrededor del campus de la UW: en la oficina de un estudiante de posgrado, en el salón de un edificio y en una parada de autobús.

La gente encontró que la aplicación era útil para hacerles saber si había algo a lo que debían prestar atención. Por ejemplo: que habían dejado el grifo abierto o que un coche estaba tocando la bocina. Por otro lado, a veces clasificaba mal los sonidos (etiquetando un coche que pasaba como agua corriente) o era lento para notificar a los usuarios (un usuario era sorprendido por una persona que entraba en la habitación mucho antes de que el reloj enviara una notificación sobre la apertura de una puerta).

El equipo también está desarrollando el HoloSound, que utiliza realidad aumentada para proporcionar subtítulos en tiempo real y otra información sonora a través de las gafas HoloLens.

“Queremos aprovechar el surgimiento de la tecnología de punta del aprendizaje automático para hacer sistemas que mejoren la vida de las personas en una variedad de comunidades”, dijo el autor principal Jon Froehlich, profesor asociado de la Escuela Allen.

Otro enfoque actual es el desarrollo de un método para identificar sonidos específicos a partir del ruido de fondo, e identificar la dirección de la que proviene un sonido, como una sirena.

La aplicación SoundWatch está siendo probada y pronto estará disponible públicamente como descarga para Android. Hasta entonces, los usuarios interesados pueden inscribirse para las pruebas beta. Los investigadores están ansiosos de escuchar los comentarios para poder hacer la aplicación más útil.

“La discapacidad es algo muy personal, y queremos que estos dispositivos permitan a la gente tener experiencias más profundas”, dijo Jain. “Ahora estamos buscando formas de que las personas personalicen estos sistemas para sus propias necesidades específicas. Queremos que sean notificadas sobre los sonidos que les preocupan, como la voz del cónyuge entre el habla general, la apertura de una puerta trasera frente a la apertura de la puerta delantera, y más”.