¿Qué es el ajuste y cómo funciona?

El desarrollo de modelos del diseño inicial para nuevas tareas de ML requiere un tiempo extenso y la utilización de recursos en el acelerado precise. aprendizaje automático ecosistema. Afortunadamente, sintonia FINA ofrece una poderosa alternativa.

La técnica permite que los modelos previamente capacitados se vuelvan específicos de la tarea bajo requisitos de datos reducidos y reducción de las necesidades computacionales y ofrecen un valor excepcional a Procesamiento del lenguaje pure (PNL) y dominios de visión y reconocimiento de voz tareas.

Pero, ¿qué es exactamente ajuste en el aprendizaje automático, y por qué se ha convertido en una estrategia de referencia para científicos de datos y Ingenieros de ML? Exploremos.

¿Qué es el ajuste en el aprendizaje automático?

Sintonia FINA es el proceso de tomar un modelo que ya ha sido pretrontrado en un conjunto de datos basic grande y adaptándolo para funcionar bien en un conjunto de datos o tarea nuevo, a menudo más específico.

En lugar de entrenar un modelo desde cero, el ajuste fino le permite refinar los parámetros del modelo generalmente en las capas posteriores mientras conserva el conocimiento basic que obtuvo de la fase de entrenamiento inicial.

En aprendizaje profundoesto a menudo implica congelar las primeras capas de una pink neuronal (que capturan características generales) y capacitar a las capas posteriores (que se adaptan a las características específicas de la tarea).

El ajuste fino ofrece un valor actual solo cuando está respaldado por fundaciones de ML fuertes. Construye esos cimientos con nuestro curso de aprendizaje automáticocon proyectos reales y tutoría experta.

¿Por qué usar el ajuste fino?

Los grupos de investigación académica han adoptado el ajuste fino como su método preferido debido a su ejecución y resultados superiores. He aquí por qué:

• Eficiencia: La técnica disminuye sustancialmente tanto la necesidad de conjuntos de datos masivos como requisitos de recursos de GPU.
• Velocidad: Los tiempos de entrenamiento acortados son posibles con este método ya que las características fundamentales aprendidas previamente reducen la duración de la capacitación necesaria.
• Actuación: Esta técnica mejora la precisión en tareas específicas de dominio mientras funciona.
• Accesibilidad: Los modelos ML accesibles permiten que grupos de cualquier tamaño usen capacidades de sistema ML complejos.

Cómo funciona el ajuste: una visión basic paso a paso

Diagrama:

1. Seleccione un modelo previamente capacitado

Elija un modelo ya entrenado en un conjunto de datos amplio (por ejemplo, Bert para PNL, Resnet para tareas de visión).

2. Put together el nuevo conjunto de datos

Put together los datos de su aplicación objetivo que pueden incluir revisiones marcadas con sentimientos junto con imágenes marcadas con enfermedad a través de la organización adecuada y los pasos de limpieza.

3. Congele las capas base

Deberías mantener temprano pink neuronal Extracción de características a través de la congelación de la capa.

4. Agregue o modifique las capas de salida

Las últimas capas necesitan ajuste o reemplazo para generar salidas compatibles con su requisito de tarea específico, como números de clase.

5. Entrena el modelo

El nuevo modelo necesita capacitación con una tasa de aprendizaje mínima que proteja la retención de peso para evitar el sobreajuste.

6. Evaluar y refinar

Las verificaciones de rendimiento deben ser seguidas por refinamientos de hiperparameter junto con ajustes de capa entrenable.

Ajuste de fino versus aprendizaje de transferencia: diferencias clave

Aplicaciones de ajuste en el aprendizaje automático

El ajuste fino se utiliza actualmente para varias aplicaciones en muchos campos diferentes:

• Procesamiento del lenguaje pure (PNL): Personalización de modelos Bert o GPT para análisis de sentimientos, chatbots o resumen.

• Reconocimiento de voz: Adaptación de sistemas a acentos, idiomas o industrias específicos.

• Cuidado de la salud: Mejora de la precisión del diagnóstico en radiología y patología utilizando modelos ajustados.

• Finanzas: Capacitación de sistemas de detección de fraude en patrones de transacción específicos de la institución.

Sugerido: Cursos de aprendizaje automático free of charge

Ejemplo ajustado usando Bert

Pasemos por un easy ejemplo de ajuste de un modelo Bert para la clasificación de sentimientos.

Paso 1: Configure su entorno

Antes de comenzar, asegúrese de instalar e importar todas las bibliotecas necesarias, como transformadores, antorcha y conjuntos de datos. Esto garantiza una configuración suave para cargar modelos, datos de tokenización y capacitación.

Paso 2: Modelo de carga previamente capacitada

from transformers import BertTokenizer, BertForSequenceClassification
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
mannequin = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

Paso 3: Texto de entrada de tokenize

textual content = "The product arrived on time and works completely!"
label = 1  # Constructive sentiment
inputs = tokenizer(textual content, return_tensors="pt", padding=True, truncation=True)
inputs["labels"] = torch.tensor([label])

Paso 4: (opcional) Congelamiento de capas base

for param in mannequin.bert.parameters():
    param.requires_grad = False

Paso 5: Entrena el modelo

from torch.optim import AdamW

optimizer = AdamW(mannequin.parameters(), lr=5e-5)
mannequin.practice()
outputs = mannequin(**inputs)
loss = outputs.loss
loss.backward()
optimizer.step()

Paso 6: evaluar el modelo

mannequin.eval()
with torch.no_grad():
    prediction = mannequin(**inputs).logits
    predicted_label = prediction.argmax(dim=1).merchandise()

print("Predicted Label:", predicted_label)

Desafíos en el ajuste

Las limitaciones de tarifas están presentes, aunque el ajuste fino ofrece varios beneficios.

• Sobreajuste: Especialmente cuando se usa conjuntos de datos pequeños o desequilibrados.
• Olvido catastrófico: Perder el conocimiento previamente aprendido si se ha exagerado en nuevos datos.
• Uso de recursos: Requiere recursos de GPU/TPU, aunque menos que la capacitación completa.
• Sensibilidad del hiperparameter: Necesita un ajuste cuidadoso de la tasa de aprendizaje, el tamaño del lote y la selección de la capa.

Entender el Diferencia entre el sobreajuste y el achicito en el aprendizaje automático y cómo afecta la capacidad de un modelo para generalizar bien en datos invisibles.

Las mejores prácticas para un ajuste fino efectivo

Para maximizar la eficiencia de ajuste fino:

• Use conjuntos de datos de alta calidad y específicos de dominio.
• Inicie la capacitación con una baja tasa de aprendizaje para evitar que ocurra la pérdida de información very important.
• Se debe implementar la parada temprana para evitar que el modelo se sobreajuste.
• La selección de capas congeladas y entrenables debería coincidir con la similitud de las tareas durante las pruebas experimentales.

Futuro de ajuste en ML

Con el surgimiento de modelos de idiomas grandes como GPT-4, Géminisy Tirarel ajuste fino está evolucionando.

Técnicas emergentes como Ajuste fino de los parámetros (PEFT) como Lora (adaptación de bajo rango) están haciendo que sea más fácil y más barato personalizar modelos sin volver a capacitarlos por completo.

También estamos viendo que el ajuste se expande en modelos multimodalesintegrando texto, imágenes, audio y video, empujando los límites de lo que es posible en la IA.

Explorar el High 10 LLM de código abierto y sus casos de uso Para descubrir cómo estos modelos están dando forma al futuro de la IA.

Preguntas frecuentes (preguntas frecuentes)

1. ¿Se puede hacer un ajuste fino en dispositivos móviles o de borde?
Sí, pero es limitado. Si bien el entrenamiento (ajuste fino) generalmente se realiza en máquinas potentes, algunos modelos o técnicas livianas como el aprendizaje en el dispositivo y los modelos cuantificados pueden permitir dispositivos limitados de ajuste o personalización en el borde.

2. ¿Cuánto tiempo se tarda en ajustar un modelo?
El tiempo varía según el tamaño del modelo, el volumen del conjunto de datos y la potencia informática. Para conjuntos de datos pequeños y modelos de tamaño moderado como Bert-Base, el ajuste fino puede llevar de unos minutos a un par de horas en una GPU decente.

3. ¿Necesito una GPU para ajustar un modelo?
Si bien se recomienda una GPU para ajustar fino eficiente, especialmente con modelos de aprendizaje profundo, aún puede ajustar modelos pequeños en una CPU, aunque con tiempos de entrenamiento significativamente más largos.

4. ¿En qué se diferencia el ajuste fino de la extracción de características?
La extracción de características implica el uso de un modelo previamente capacitado para generar características sin actualizar pesos. En contraste, el ajuste fino ajusta algunos o todos los parámetros del modelo para que se ajusten mejor a una nueva tarea.

5. ¿Se puede hacer el ajuste con conjuntos de datos muy pequeños?
Sí, pero requiere una regularización cuidadosa, aumento de datosy transferir técnicas de aprendizaje como aprendizaje de pocos disparos para evitar el sobreajuste en pequeños conjuntos de datos.

6. ¿Qué métricas debo rastrear durante el ajuste fino?
Rastree las métricas como la precisión de la validación, la pérdida, la puntuación F1, la precisión y el recuerdo según la tarea. Monitorear el sobreajuste a través del entrenamiento frente a la pérdida de validación también es crítico.

7. ¿Es el ajuste fino solo aplicable a los modelos de aprendizaje profundo?
Principalmente, sí. El ajuste fino es más común con las redes neuronales. Sin embargo, el concepto puede aplicarse libremente a los modelos ML clásicos al volver a capacitar con nuevos parámetros o características, aunque está menos estandarizado.

8. ¿Se puede automatizar el ajuste fino?
Sí, con herramientas como Automl y Abriendo entrenador de caraLas partes del proceso de ajuste (como la optimización del hiperparameter, la parada temprana, and many others.) pueden automatizarse, lo que lo hace accesible incluso para los usuarios con una experiencia de ML limitada.