El Hao AI Lab, un laboratorio de investigación de la Universidad de California en San Diego, puso a prueba varios modelos de inteligencia artificial en el icónico videojuego Super Mario Bros., reporta TechCrunch.
Los resultados sorprendieron:
- Claude 3.7 (Anthropic) fue el mejor, seguido de Claude 3.5.
- Gemini 1.5 Pro (Google) y GPT-4o (OpenAI) tuvieron dificultades.
Pero no fue exactamente la misma versión de Super Mario Bros. de 1985. Los investigadores ejecutaron el juego en un emulador, utilizando un sistema especial llamado GamingAgent, que permitía a la IA controlar a Mario, reporta TechCrunch.
Cómo la IA intentó dominar Super Mario Bros.
El sistema GamingAgent, desarrollado por el equipo de Hao, proporcionaba a los modelos de IA instrucciones básicas, como:
“Si un obstáculo o enemigo está cerca, muévete/salta a la izquierda para esquivarlo”.
Además, la IA recibía capturas de pantalla en tiempo real para analizar el entorno y generar comandos en Python para controlar al personaje.
Sin embargo, la tarea no fue sencilla. Los modelos de IA tuvieron que aprender a planificar movimientos complejos y desarrollar estrategias de juego.
Los modelos de “razonamiento”, como OpenAI’s o1, obtuvieron peores resultados que los modelos “no razonadores”, a pesar de que generalmente son más fuertes en otras pruebas.
“Uno de los principales problemas es que los modelos de razonamiento tardan demasiado en decidir una acción—en juegos en tiempo real como Super Mario Bros., el tiempo lo es todo. Un segundo de retraso puede significar la diferencia entre un salto exitoso y una caída al vacío”, explicaron los investigadores.
Videojuegos y la IA
Desde hace décadas, los videojuegos han sido un referente para evaluar el rendimiento de los modelos de inteligencia artificial. Sin embargo, algunos expertos cuestionan qué tan válida es esta métrica para medir el progreso real de la IA.
Los videojuegos son entornos cerrados y simplificados, diferentes a la complejidad del mundo real.
Las IA pueden entrenarse con cantidades de datos casi infinitas dentro del juego, algo que no ocurre en situaciones reales.
Este tipo de benchmarks ha generado debates sobre cómo medir la capacidad real de los modelos. Andrej Karpathy, investigador y miembro fundador de OpenAI, habló sobre lo que llamó una “crisis de evaluación” en el mundo de la IA.
“No sé realmente qué métricas de IA mirar ahora mismo. En resumen, mi reacción es que no sé qué tan buenos son estos modelos en este momento”, escribió en X (antes Twitter).
Mientras la IA avanza en juegos como Super Mario Bros., la verdadera pregunta sigue en el aire: ¿Hasta qué punto estas habilidades reflejan el avance real de la inteligencia artificial en el mundo cotidiano?
