La teoría del 'catapulta' de Gwern explota en Lobsters: ¿Grokking como camino hacia la AGI?

Ok, aquí hay algo que quizás aún no hayas captado.

Un hilo en la sección de IA de Lobsters retoma el ensayo de Gwern «Human-like Neural Nets by Catapulting» — y la sección de comentarios es, de hecho, digna de leer. Gwern es el hombre que predijo la hipótesis de escalado mucho antes de que se convirtiera en tema principal, así que cuando presenta una teoría, suele haber una razón para escuchar.

La idea central es esta: ¿qué pasaría si entrenamos un modelo con un conjunto de datos relativamente limitado, pero continuamos el proceso de entrenamiento mucho después de que la curva de pérdida parezca haberse estabilizado? La teoría se basa en el fenómeno del «grokking» — el efecto observado donde un modelo aparentemente se estanca, y luego repentinamente generaliza de una manera completamente diferente. Gwern especula que modelos lo suficientemente grandes, sometidos a una fuerte weight decay para evitar la memorización, pueden ser forzados a internalizar patrones de una manera que se asemeja más a la generalización humana que a la interpolación estadística habitual.

La analogía que utiliza es el sueño: nuestro cerebro «olvida» durante el sueño REM, y esto parece fortalecer — no debilitar — la capacidad de generalizar. ¿Puede el sobreentrenamiento con una regularización agresiva hacer lo mismo para las redes neuronales?

Lo interesante ahora mismo es el momento oportuno. Estamos en un período en el que la certeza convencional de que «simplemente escala los datos y los parámetros» comienza a flaquear. Varios actores informan que las ganancias puras de escalado se están aplanando. En ese contexto, las estrategias de entrenamiento alternativas — incluyendo este tipo de sobreentrenamiento intensivo — parecen más relevantes de lo que lo eran hace dos años.

Ten en cuenta las limitaciones aquí: esto es especulación de la comunidad en torno a un ensayo, no un estudio revisado por pares. Nadie ha presentado resultados reproducibles de modelos grandes. Y el «grokking» se ha demostrado principalmente en tareas relativamente simples — si escala a modelos de frontera es una pregunta abierta.

Pero es precisamente el tipo de preguntas que se mueven del submundo a los laboratorios. Estate atento a si alguien comienza a publicar ablaciones sobre regímenes de sobreentrenamiento en los próximos meses — podría ser una señal temprana de que alguien está probando esto de manera más sistemática.

La fuente es Lobsters y la discusión de HN asociada. Señal temprana, no conclusión.