El reciente informe de METR ha revolucionado la forma en que evaluamos el progreso de los modelos de inteligencia artificial (IA), destacando tanto los avances notables en ciertas tareas como las limitaciones persistentes en aquellas que requieren juicio humano. Al analizar una gama ampliada de tareas, METR ha concluido que, aunque los modelos de IA están mejorando a un ritmo impresionante, su rendimiento en situaciones complejas que implican razonamiento y análisis crítico sigue siendo deficiente. Este hallazgo subraya la necesidad de ajustar nuestra expectativa sobre la capacidad de las máquinas, especialmente cuando se enfrentan a problemas que no son fácilmente verificables mediante métodos automáticos.
El gráfico de horizonte temporal de METR, ampliamente discutido y en ocasiones malinterpretado, ha sido objeto de renovada atención tras su actualización. El informe revela que la longitud de las tareas que los modelos pueden completar con éxito se duplica cada cuatro meses, un síntoma claro del avance exponencial en capacidades técnicas como la programación y las matemáticas. Sin embargo, incorporar tareas más ambiciosas, que requieren un alto nivel de juicio y creatividad, ha puesto de manifiesto que estos sistemas todavía tienen un largo camino por recorrer antes de poder superar las habilidades humanas en investigación y desarrollo.
Las nuevas evaluaciones propuestas en el informe incluyen tareas designadas para investigar la capacidad de la IA en la creación de evaluaciones y en la calificación de argumentos filosóficos. A pesar de los impresionantes logros en áreas técnicas, los modelos fallaron en su intento de generar evaluaciones útiles y no lograron igualar el rendimiento humano en la calificación de argumentos. La incapacidad de estos sistemas para manejar adecuadamente tareas más abiertas y subjetivas plantea preguntas críticas sobre su futura aplicabilidad en campos donde el juicio personal y la creatividad son esenciales.
Expertos en inteligencia artificial, como Sayash Kapoor, han elogiado a METR por reconocer la necesidad de realizar evaluaciones más sofisticadas y creativas, pero también han expresado cautela. La especulación sobre si los modelos de IA podrán eventualmente alcanzar niveles humanos en estas tareas más complejas sigue siendo un tema de intenso debate en la comunidad científica. Aunque algunos sostienen que los avances en tareas más fáciles eventualmente facilitarán el éxito en las tareas abiertas, otros advierten que las habilidades de juicio y la capacidad de formular preguntas son el verdadero cuello de botella en la automatización del I+D en IA.
Por último, la inclusión de tareas que requieren juicio en el gráfico de METR representa un paso en la dirección correcta, aunque todavía se enfrenta a desafíos significativos. La dificultad de diseñar y puntuar estas evaluaciones significa que el progreso en este ámbito difícilmente puede cuantificarse con precisión. Sin embargo, la evolución hacia la consideración de tareas más complejas es prometedora, sugiere que la comunidad de IA está comenzando a entender mejor las capacidades y limitaciones de los modelos actuales. A medida que avancemos, será vital seguir evaluando el papel de la IA en el futuro del desarrollo tecnológico y científico.







