EliteTable y la búsqueda automática de políticas de control ejecutable
EliteTable utiliza modelos de lenguaje grandes para mejorar programas que resuelven tareas de control, evaluados en entornos simulados. Su enfoque combina soluciones previas para generar nuevas propuestas y ediciones, con mejoras estadísticas en la mayoría de pruebas. Sin embargo, el progreso no es uniforme en todos los casos.
Qué encontramos
EliteTable es un algoritmo de búsqueda de programas guiado por modelos de lenguaje que mantiene una tabla de soluciones de alta puntuación para orientar propuestas, modificaciones y mezclas de programas. Se evaluó en seis tareas clásicas de control en el entorno Gymnasium, con resultados que mostraron un aumento mediano en la puntuación de los candidatos entre generaciones y mejoras en cinco de seis tareas para los ganadores seleccionados.
La tensión
La mejora observada en algunas tareas contrasta con el declive o estancamiento en otras, como Acrobot-v1, donde la mediana del cambio en episodios retenidos fue negativa. Esto pone en cuestión la universalidad del método y señala posibles limitaciones en la generalización de mejoras o en la estabilidad de las políticas descubiertas.
Lo que podría abrir
El uso de modelos de lenguaje para guiar la generación y edición iterativa de programas abre un camino para sistemas autosuficientes que optimizan políticas ejecutables sin supervisión externa directa en cada paso, facilitando la automatización de soluciones en control robótico y otros dominios donde la búsqueda efectiva es clave.
Lo que todavía no sabemos
Aún no está claro cómo se comporta EliteTable fuera de los entornos de prueba simulados ni frente a problemas con mayor complejidad o incertidumbre. Además, la dependencia en parámetros de tabla fija y la selección de soluciones pueden afectar la diversidad y la exploración de alternativas, dejando abierta la posibilidad de caer en óptimos locales o degradación en ciertos escenarios.