Aprendizaje por transferencia
Técnica de aprendizaje automático que aprovecha el conocimiento de un modelo preentrenado en un gran conjunto de datos para mejorar el rendimiento en una tarea diferente pero relacionada, especialmente cuando los datos etiquetados son escasos.
El aprendizaje por transferencia reutiliza conocimiento de una tarea (fuente) para mejorar el rendimiento en una tarea relacionada (objetivo). En visión por computador, el enfoque estándar toma una CNN preentrenada en ImageNet y la ajusta finamente con datos específicos del dominio, reduciendo los datos etiquetados necesarios y el tiempo de entrenamiento.
Comparado con entrenar desde cero, el aprendizaje por transferencia ofrece convergencia más rápida, menores requisitos de datos y mejor generalización, particularmente valioso donde es difícil obtener grandes conjuntos de datos etiquetados, como en imágenes médicas.
- Extracción de características: Congela las capas convolucionales preentrenadas y reemplaza solo la cabeza de clasificación final. Funciona bien cuando los datos objetivo son extremadamente limitados
- Ajuste fino: Descongela todas o algunas capas y continúa el entrenamiento con una tasa de aprendizaje baja. Logra mayor precisión cuando hay datos objetivo moderados disponibles
- Adaptación de dominio: Cierra la brecha de distribución entre dominios fuente y objetivo mediante entrenamiento adversarial o aprendizaje de características invariantes al dominio
Modelos fundacionales como CLIP, DINOv2 y SAM proporcionan representaciones que generalizan a diversas tareas con mínima adaptación. Métodos eficientes en parámetros como LoRA y capas adaptadoras permiten transferencia efectiva actualizando solo una pequeña fracción de parámetros.