Soy ciego y utilizo la app Seeing IA de Microsoft: esto es todo lo que puedo hacer con ella

Cuatro años después de que Microsoft anunciara su tecnología Seeing AI, y dos años después de que se lanzara en formato app, esta aplicación empezaba a estar disponible en español. De momento, solo para usuarios de iOS.

La teoría ya la sabemos: la aplicación describe lo que el usuario tiene delante cuando lo enfoca con la cámara. Así, es capaz de leer textos cortos, facilitar la lectura de los códigos de barra y reconocimiento facial. Hemos preguntado a Juanjo Montiel, usuario de esta app, para que nos cuente su experiencia y estas son sus impresiones.

No hay día que no la emplee

Juanjo Montiel se confiesa usuario fiel de esta aplicación. Y lo es desde que estuvo disponible en inglés. “Al principio solo estaba disponible en Estados Unidos, pero en cuanto supe de ella quise utilizarla”, nos cuenta. Montiel la conoció en un evento de Microsoft en Seattle y, desde entonces, creyó en el potencial que podía tener.

El detector de luminosidad le sirve para saber si las luces de una habitación, por ejemplo de hotel, están encendidas y poderlas apagar

Juanjo Montiel se la descargó hace ahora un par de años. La emplea desde entonces, primero en inglés y, desde que está disponible en español, en nuestro idioma. La app se sincroniza con el teléfono, así que coge, por defecto, el lenguaje del terminal.

Montiel emplea Seeing IA para muchas cosas: desde leer carteles o el texto de los envases de los alimentos hasta para tener una descripción de las fotos. “Puedes importar las que te mandan por Whatsapp. No solo te hace una descripción de la escena, sino que las puedes explorar con el dedo, para saber si hay un objeto, una cara, la disposición que tiene o quién aparece”, explica. Si el archivo lleva texto, la aplicación se lo puede leer. Eso sí, en el caso de los memes, donde se combinan texto e imágenes, la app no funciona tan bien, según la experiencia de Juanjo Montiel.

Escaneando un código de barras de un producto

También le permite escanear y leer los códigos de barra de los productos. La aplicación se conecta a una base de datos para saber a qué corresponde cada código de barras pero, según Juanjo Montiel, no está muy completa en nuestro idioma. Para poder leerlos correctamente, la aplicación tiene un sistema que indica con pitidos si el usuario está centrando bien o no la cámara para enfocar el código. “Es muy útil para poder enfocarlo bien”, asegura.

La aplicación también permite leer textos manuscritos aunque, tal y como ironiza Montiel, “aún no es capaz de entender la letra de los médicos”. Sin embargo, sí que ha podido leer textos que su hijo pequeño ha escrito de su puño y letra.

Las descripciones deben mejorar

Juanjo Montiel también nos explica que cuando la aplicación describe cosas “a veces dice barbaridades”, especialmente en la descripción de determinados tipos de escena. “La aplicación decía que mi móvil era un mando a distancia”, nos pone como ejemplo. Pero se muestra comprensivo con este tipo de fallos. “Dependerá de la calidad o del contraste que tenga la imagen” para que pueda hacer una buena descripción de lo que hay, reflexiona.

¿Qué tipo de descripción realiza Seeing AI? De momento, muy críptica, del estilo “interior coche”. Pero para Juanjo Montiel tiene su utilidad, “porque te puede servir para hacerte una idea de lo que hay”. Para hacer estas descripciones orales, Seeing AI emplea VoiceOver pero, si está apagado, entonces funciona con Siri.

Usando la app para la lectura de textos cortos

Otra de las cosas más útiles para Juanjo Montiel es que la aplicación pueda leer también otro tipo de pantallas digitales. “A veces, cuando el ordenador se queda colgado o se ha reiniciado, me resulta muy útil para saber en qué momento está, si está cargando las actualizaciones o qué está pasando en ese momento”, explica.

Seeing IA le permite leer textos cortos, como lo que escribe su hijo. Pero no puede copiarlo y pegarlo en otro documento

Pero Montiel valora que para ciertas funciones la app funciona incluso sin tener conexión a Internet. Por ejemplo, para leer texto. “Personalmente empleo mucho la función de leer textos breves”, nos cuenta. Y en esto, según Montiel, Seeing AI es mejor que TapTapSee, otra de las app de accesibilidad que usa. En este caso, la app necesita conectarse a un servidor para devolver la petición, mientras que Seeing AI no para texto breve (pero sí para descripción de fotos).

Otra de las prestaciones que también le resultan especialmente útiles es el detector de luz que lleva incorporado en la cámara para saber la cantidad de luminosidad que recibe. “Al ser ciego no sé si las luces de la habitación de un hotel, por ejemplo, están encendidas. Así que uso esta app para apagarlas en caso de que lo estén”, relata.

Cuestión de práctica

La aplicación hace uso de la cámara del teléfono para poder funcionar, así que, aunque en ciertas utilidades la herramienta guía al usuario para hacer el mejor enfoque, Montiel reconoce que hace falta una cierta práctica. En su experiencia, leer un texto cuando está en columna suele ser difícil, porque hay que apuntar muy bien con la cámara.

Juanjo Montiel probando el reconocimiento de caras. "Hombre de 33 años con el pelo castaño que parece ser neutral"

Pero nos explica que, por ejemplo, para poder hacer una foto de un documento, la app guía muy bien al usuario para que pueda centrar correctamente la imagen. “Te va diciendo, con voz, si solo se ve el borde superior, si el izquierdo no es visible… y cuando estás perfectamente centrado, te pide que ya no te muevas”, nos cuenta. Después de eso, la app pasa por un proceso de OCR para poder leer el documento.

Con esta app puede leer los códigos de barra de los productos, aunque la base de datos aún es un poco escasa

Eso sí, asegura que “nunca” ha conseguido hacer una foto a una carta de los restaurantes y que la aplicación pueda leerle correctamente lo que hay en ella. “Suelen estar en columnas, el papel suele tener mucho brillo, quizá no le hago bien la foto…”, reconoce Montiel. “Pero, para mí, es bastante buena”.

También le gustaría que la aplicación mejorase otras prestaciones. Por ejemplo, que no solo buscara los códigos de barra, sino que le diera el código completo para después él poder buscarlo en cualquier sitio. O que pudiera pegar los textos breves en otras aplicaciones. “También estaría bien que pudiera capturar de una foto una determinada cara y decirle quién es quién en la imagen”, añade.

Así sé el valor de cada billete

Seeing AI es capaz también de reconocer el valor de los billetes. “Es muy útil porque yo no soy capaz de diferenciar los billetes con el tacto”, reconoce. “En las monedas es más fácil porque tienen bordes diferentes”, explica.

Seeing AI reconociendo un billete de 10 euros

“Seeing AI es muy útil y rápido para saber el valor del billete”.

¿Reconocería uno falso? Juanjo Montiel cree que no porque, entiende, la aplicación se basa en un patrón de colores, pero reconoce que no lo ha probado.

Otras app que también uso

Montiel reconoce que el móvil es, para él una herramienta básica para su día a día. Y Seeing AI está entre esas herramientas fundamentales. Pero no es la única aplicación que emplea Juanjo Montiel en su día a día. Así, nos habla de TapTapSee, que, aunque es muy básica, le resulta muy útil para poder leer el termómetro.

Con esta app puede saber la composición de las fotos que recibe, aunque las descripciones son muy crípticas

También usa Be My Eyes. “Es de voluntariado colaborativa. La gente se apunta y, cuando necesitas, ayuda, haces una videollamada y te leen lo que necesitas saber. Es muy útil para saber la fecha de caducidad”. Y es que, según Montiel, “el factor humano sigue siendo muy necesario”, y más para personas con discapacidad como él.

Juanjo Montiel también prefiere otras aplicaciones para saber el color exacto de las cosas. Aunque Seeing AI permite saber el color de lo que se está enfocando, Montiel cree que Photoshop sigue siendo mejor. “Puedes ir pixel a pixel para saber el color exacto. Seeing AI me vuelve un poco loco en este tema, no me convence, porque le afecta mucho la luz, el reflejo”.

-
La noticia Soy ciego y utilizo la app Seeing IA de Microsoft: esto es todo lo que puedo hacer con ella fue publicada originalmente en Xataka por Arantxa Herranz .