La primera vez que me adentré en el Deep Learning, me dijeron: “Usa Adam. Siempre usa Adam”. Y, la verdad, por un tiempo, les hice caso. Funcionaba. Mis modelos convergían rápido, los números en la consola subían (o bajaban) como esperabas, y la vida era sencilla. Pero entonces llegaron los proyectos más complejos, los datasets más ruidosos, y las frustraciones empezaron.
Recuerdo un modelo de clasificación de imágenes, sencillo, nada del otro mundo. Con Adam, lograba un 85% de precisión en el set de validación, que no estaba mal. Pero había algo… se sentía suave, como si el modelo no estuviera “luchando” lo suficiente por un mejor mínimo. Un día, por pura cabezonería, decidí probar un SGD (Stochastic Gradient Descent) con momentum. Configuré un learning rate schedule decente y dejé que corriera. Al principio, era lento, muy lento comparado con Adam. Me fastidiaba verlo. Pero después de un rato, los resultados empezaron a mejorar, y terminé con un 88%, casi un 3% más que con Adam. Eso, para mí, fue una bofetada. Adam no era la bala de plata universal.
¿Por qué Adam nos ha “malacostumbrado”?
Adam, y sus primos como RMSprop o Adagrad, son optimizadores adaptativos. Esto significa que ajustan la tasa de aprendizaje para cada parámetro de la red de forma independiente, basándose en la magnitud de sus gradientes. Esto es genial porque:
- Convergencia rápida: Especialmente en las primeras etapas del entrenamiento, Adam puede encontrar un camino rápido hacia una buena región del espacio de parámetros.
- Menos tuning inicial: No tienes que preocuparte tanto por el learning rate inicial, ya que se autoajusta. Es una comodidad, lo admito.
Para la mayoría de prototipos, para probar una idea rápida, Adam es mi elección por defecto. Me quita un quebradero de cabeza y me permite validar si mi arquitectura o mi idea inicial tienen algo de potencial.
La trampa de la “adaptación” (y por qué me genera urticaria)
El problema de los optimizadores adaptativos surge cuando buscas ese rendimiento extra, esa generalización que marca la diferencia. En mi experiencia, los modelos entrenados con Adam pueden tener problemas para generalizar tan bien como los entrenados con SGD (y un buen momentum).
¿Por qué? Una teoría (y mi observación lo respalda) es que la naturaleza adaptativa de Adam puede llevar a soluciones que se quedan atascadas en mínimos locales “planos” o “anchos” al principio, pero que no son los óptimos globales, o lo que es más importante, no llevan a soluciones con una buena generalización en datos no vistos. Además, los optimizadores adaptativos pueden tener un rendimiento inconsistente cuando el learning rate se vuelve muy pequeño al final del entrenamiento, lo que hace que los modelos se detengan antes de alcanzar su máximo potencial.
En algunos casos, he visto que Adam es demasiado “agresivo” ajustando los learning rates para cada parámetro, haciendo que se “congelen” algunas conexiones o que el modelo salte demasiado de un mínimo local a otro sin asentarse bien. Si te interesa ahondar en el balance, te recomiendo leer sobre las batallas con el equilibrio en Machine Learning: Overfitting y Underfitting: Mis batallas con el equilibrio en Machine Learning (y por qué no es solo ajustar un parámetro).
Mi vuelta a los clásicos: SGD y Momentum
Después de varias de esas frustraciones, empecé a volver a los optimizadores “clásicos”. SGD con Momentum es mi segundo mejor amigo. ¿Por qué?
- Salida de mínimos locales: El momentum le da al gradiente una “inercia” que le permite superar pequeños mínimos locales y encontrar valles más profundos. Es como si el optimizador tuviera memoria de los pasos anteriores y no se dejara engañar por cada pequeña pendiente.
- Mejor generalización: A menudo, los modelos entrenados con SGD + Momentum tienden a encontrar mínimos que generalizan mejor. No siempre son los mínimos más “profundos” en el set de entrenamiento, pero suelen ser más “robustos” en el espacio de parámetros, lo que se traduce en un mejor rendimiento en datos nuevos.
- Más control: Aunque requiere más tuning (especialmente del learning rate y el factor de momentum), te da un control más granular. Y sí, el tuning de hiperparámetros es una pesadilla silenciosa que diferencia un modelo mediocre de uno decente, como ya he comentado: Hyperparameter Tuning: La pesadilla silenciosa que diferencia un modelo mediocre de uno decente (y cómo la afronto yo).
Cuándo elijo qué (mi regla de oro personal)
- Prototipos y pruebas rápidas: Adam. Es rápido, fácil de configurar y te da una idea del potencial.
- Modelos de producción donde cada punto cuenta: SGD con Momentum. Estoy dispuesto a invertir tiempo en ajustar el learning rate schedule (cosas como cosine annealing o step decay) para exprimir hasta el último porcentaje.
- Transfer Learning con modelos pre-entrenados: A veces empiezo con Adam para las capas superiores o finetuning rápido, pero si veo que se estanca o no generaliza bien, no dudo en cambiar a SGD.
- Cuando los gradientes son muy ruidosos o sparse: Adam o Adagrad pueden ser mejores inicialmente porque su adaptabilidad ayuda. Pero luego, podría probar un switch.
No hay una respuesta única. Mi recomendación es simple: no te quedes con la primera opción. Prueba, experimenta, y no tengas miedo de volver a lo básico. Adam es un gran punto de partida, pero no permitas que sea el techo de rendimiento de tu modelo. A veces, la herramienta más simple, bien calibrada, es la que te saca del apuro y te da los mejores resultados.