Las apariencias no engañan tanto: La IA podría predecir tu próximo movimiento observando tu mirada

por Eduardo Velloso y Tim Miller

Nuestros ojos a menudo traicionan nuestras intenciones. Piense en los jugadores de póquer que esconden sus "señales" detrás de las gafas de sol o en los guardametas que vigilan la mirada del delantero para predecir dónde van a disparar.

En los deportes, los juegos de mesa y los juegos de cartas, los jugadores pueden verse entre sí, lo que crea una capa adicional de juego social basado en la mirada, el lenguaje corporal y otras señales no verbales.

Los juegos digitales carecen completamente de estas señales. Incluso cuando jugamos contra otros, hay pocos medios de transmitir información implícita sin palabras.

Sin embargo, el reciente aumento en la disponibilidad de rastreadores oculares comerciales puede cambiar esta situación. Los rastreadores oculares utilizan una cámara infrarroja y LEDs infrarrojos para estimar dónde está mirando el usuario en la pantalla. Hoy en día, es posible comprar rastreadores de ojos precisos y robustos por tan sólo A$125.

Seguimiento ocular para juegos

Los rastreadores oculares también se venden integrados en portátiles y equipos de RV, lo que abre muchas oportunidades para incorporar el rastreo ocular en los videojuegos. En un reciente artículo de revisión, ofrecimos un catálogo de la amplia gama de mecánica de juego posible gracias al rastreo ocular.

Esto nos allanó el camino para investigar cómo las señales sociales emitidas por nuestros ojos pueden ser incorporadas en los juegos contra otros jugadores y la inteligencia artificial.

Para explorar esto, utilizamos la versión digital del juego de mesa Ticket to Ride. En el juego, los jugadores deben construir pistas entre ciudades específicas en el tablero. Sin embargo, debido a que los oponentes pueden bloquear su camino, usted debe hacer todo lo posible para mantener sus intenciones ocultas.

En un escenario de sobremesa, si usted no tiene cuidado, su oponente podría calcular su plan basado en la forma en que usted mira el tablero. Por ejemplo, imagine que su meta es construir una ruta entre Santa Fe y Seattle. Nuestra tendencia natural es mirar hacia atrás y hacia adelante entre esas ciudades, considerando rutas alternativas y los recursos que tienes en las cartas en tus manos.

En nuestro reciente artículo, encontramos que cuando los humanos pueden ver hacia dónde miran sus oponentes, pueden inferir algunas de sus metas - pero sólo si ese oponente no sabe que sus ojos están siendo monitoreados. De lo contrario, empiezan a emplear diferentes estrategias para tratar de engañar a su oponente, incluyendo mirar una ruta señuelo o mirar por todo el tablero.

¿Puede la IA utilizar esta información?

Queríamos ver si un juego de IA podía usar esta información para predecir mejor los movimientos futuros de otros jugadores, basándonos en modelos anteriores de reconocimiento de intención en IA.

La mayoría de las IAs de juegos usan las acciones del jugador para predecir lo que pueden hacer a continuación. Por ejemplo, en la figura de abajo a la izquierda, imagine que un jugador está reclamando rutas para ir desde Sante Fe a algún destino desconocido en el mapa. La tarea de la IA es determinar qué ciudad es el destino.

Cuando se está en Santa Fe, todos los destinos posibles son igualmente probables. Después de llegar a Denver, es menos probable que quieran ir a Oklahoma City, porque podrían haber tomado una ruta mucho más directa. Si luego viajan de Denver a Helena, entonces la ciudad de Salt Lake se vuelve mucho menos probable, y la ciudad de Oklahoma aún menos.

En nuestro modelo, hemos aumentado este modelo básico para que también tenga en cuenta dónde está buscando este reproductor.

La idea es simple: si el jugador está mirando una ruta determinada, es más probable que el jugador trate de reclamar esa ruta. Como ejemplo, considere el lado derecho de la figura. Después de ir a Denver, nuestro sistema de rastreo ocular sabe que el jugador ha estado mirando la ruta entre Seattle y Helena, mientras que hace caso omiso de otras partes del mapa. Esto nos dice que es más probable que tomen esta ruta y terminen en Seattle.

Nuestra IA aumenta la probabilidad relativa de esta acción, mientras que disminuye otras. Como tal, su predicción es que el próximo movimiento será a Helena, en lugar de a Salt Lake City. Puede leer más sobre los detalles en nuestro artículo.

Experimentación

Evaluamos lo bien que nuestra IA podía predecir el siguiente movimiento en 20 juegos para dos jugadores. Medimos la precisión de nuestras predicciones y la rapidez con la que se podían hacer.

Los resultados muestran que el modelo básico de reconocimiento de intención predijo correctamente el siguiente movimiento el 23% de las veces. Sin embargo, cuando añadimos la mirada a la mezcla, la precisión se duplicó con creces, aumentando al 55%.

Además, el modelo de la mirada fue capaz de predecir la ciudad de destino correcta antes que el modelo básico, con la IA que utilizó la mirada reconociendo intenciones un minuto y medio antes que la que no tenía mirada. Estos resultados demuestran que el uso de la mirada puede ser utilizado para predecir la acción mucho mejor y más rápido que el mero uso de acciones pasadas.

Resultados recientes inéditos muestran que el modelo de la mirada también funciona si la persona observada sabe que está siendo observada. Hemos encontrado que las estrategias de engaño que los jugadores emplean para hacer más difícil que otros jugadores determinen sus intenciones no engañan a los IAs tan bien como engañan a los humanos.

¿Hacia dónde vamos ahora?

Esta idea puede aplicarse en contextos distintos a los juegos. Por ejemplo, el montaje colaborativo entre robots y humanos en una fábrica.

En estos escenarios, la mirada de una persona conducirá naturalmente a una predicción más temprana y precisa por parte del robot, aumentando potencialmente la seguridad y conduciendo a una mejor coordinación.