La investigación sobre el aprendizaje automático y los interesantes modelos de inteligencia artificial creados como consecuencia son temas populares en estos días.

Pero hay una especie de mundo de sombras de científicos que trabajan para socavar estos sistemas, no para demostrar que no valen nada, sino para apuntalar sus debilidades. Un nuevo documento demuestra esto al mostrar cuán vulnerables son los modelos de reconocimiento de imágenes a las manipulaciones de color más simples de las imágenes que deben identificar.

No se trata de una acusación profunda de la visión artificial: las técnicas para “vencer” los sistemas de reconocimiento de imágenes podrían caracterizarse con la misma facilidad que las situaciones en las que se desempeñan particularmente mal.

A veces esto es algo sorprendentemente simple: rotar una imagen, por ejemplo, o agregar una etiqueta loca. A menos que un sistema haya sido entrenado específicamente en una manipulación determinada o tenga órdenes de verificar variaciones comunes como esa, simplemente va a fallar.

En este caso, es una investigación de la Universidad de Washington dirigida por el estudiante de posgrado Hossein Hosseini. Su imaginería “adversarial” era igualmente simple: cambia los colores.

Probablemente muchos de ustedes han intentado algo similar a esto cuando juguetean en un programa de manipulación de imágenes: al cambiar los valores de “matiz” y “saturación” en una imagen, puede hacer que alguien tenga la piel verde, una banana parezca azul y así sucesivamente.

Eso es exactamente lo que hicieron los investigadores: giró las perillas para que un perro se viera un poco amarillo, un ciervo parecía morado, etc.

Las imágenes originales están a la izquierda; versiones con cambio de color y las mejores suposiciones de los sistemas a la derecha.

Críticamente, sin embargo, el “valor” de los píxeles, es decir, qué tan claro u oscuro es, no se modificó, lo que significa que las imágenes todavía se ven como lo que son, solo en colores extraños.

 

Pero aunque un gato se parece a un gato, no importa si es gris o rosado para nosotros, no se puede decir lo mismo de una red neuronal profunda. La precisión del modelo que probaron se redujo en un 90 por ciento en conjuntos de imágenes ajustadas por color que normalmente se identificarían fácilmente. Cambiar los colores cambia totalmente la conjetura del sistema.

 

 

El equipo probó varios modelos y todos se averiaron en el conjunto con cambio de color, por lo que no fue solo una consecuencia de este sistema específico.

No es demasiado difícil de arreglar, en este caso, todo lo que necesita hacer es agregar algunas imágenes etiquetadas, con cambio de color en los datos de entrenamiento para que el sistema esté expuesto a ellos de antemano. Esta adición trajo las tasas de éxito a niveles razonables (si bien bastante pobres).

Pero el punto no es que los sistemas de visión por computadora sean fundamentalmente malos en color o algo así. Es que hay muchas maneras de manipular sutil o sutilmente una imagen o un video que devastan su precisión o la subvierten.

“Las redes profundas son muy buenas para aprender (o para memorizar mejor) la distribución de los datos de entrenamiento”, escribió Hosseini en un correo electrónico a TechCrunch. “Ellos, sin embargo, apenas generalizan más allá de eso. Entonces, incluso si los modelos son entrenados con datos aumentados, es probable que podamos encontrar un nuevo tipo de imágenes adversas que puedan engañar al modelo “.

Un modelo entrenado para detectar variaciones de color podría ser vulnerable a las imágenes adversas basadas en la atención y viceversa. La forma en que estos sistemas se crean y codifican en este momento simplemente no es lo suficientemente robusta como para evitar tales ataques. Pero al catalogarlos e idear mejoras que protejan contra algunos, pero no todos, podemos avanzar en el estado del arte.

“Creo que necesitamos encontrar una manera para que el modelo aprenda los conceptos, como ser invariante al color o la rotación”, sugirió Hosseini. “Eso puede ahorrarle al algoritmo una gran cantidad de datos de entrenamiento y es más similar a cómo los humanos aprenden”.