Cuando se trata de aplicaciones impulsadas por IA en tiempo actual, como autos autónomos o monitoreo de la saludincluso un segundo adicional para procesar una entrada podría tener graves consecuencias. Las aplicaciones de IA en tiempo actual requieren GPU y potencia de procesamiento confiable, que ha sido muy costosa y de costo profesional para muchas aplicaciones, hasta ahora.
Al adoptar un proceso de inferencia de optimización, las empresas no solo pueden maximizar la eficiencia de la IA; También pueden reducir el consumo de energía y los costos operativos (hasta en un 90%); mejorar la privacidad y la seguridad; e incluso mejorar la satisfacción del cliente.
Problemas de inferencia comunes
Algunos de los problemas más comunes que enfrentan las empresas cuando se trata de gestionar la eficiencia de la IA incluyen grupos de GPU subutilizados, modelos de propósito basic y falta de información sobre los costos asociados.
Los equipos a menudo provocan grupos de GPU para la carga máxima, pero entre el 70 y el 80 por ciento del tiempo, están subutilizados debido a flujos de trabajo desiguales.
Además, los equipos predeterminados a los grandes modelos de uso basic (GPT-4, Claude) incluso para tareas que podrían ejecutarse en modelos de código abierto más pequeños y más baratos. Las razones? Falta de conocimiento y una curva de aprendizaje empinada con la construcción de modelos personalizados.
Finalmente, los ingenieros generalmente carecen de información sobre el costo en tiempo actual para cada solicitud, lo que lleva a fuertes facturas. Herramientas como PractLapeer, Helicone puede ayudar a proporcionar esta información.
Con la falta de controles en la elección del modelo, el lote y la utilización, los costos de inferencia pueden escalar exponencialmente (por hasta 10 veces), los recursos de desperdicio, limitar la precisión y disminuir la experiencia del usuario.
Consumo de energía y costos operativos
Ejecutar LLMS más grandes como GPT-4, Llama 3 70B o MixTral-8x7b requiere significativamente más potencia por token. En promedio, del 40 al 50 por ciento de la energía utilizada por un centro de datos alimenta el equipo informático, con un 30 a 40 por ciento adicional dedicado a enfriar el equipo.
Por lo tanto, para una empresa que se ejecuta durante el día para la inferencia a escala, es más beneficioso considerar a un proveedor en la privación en lugar de un proveedor de la nube para evitar pagar un costo premium y consumiendo más energía.
Privacidad y seguridad
Según CISCo Estudio de referencia de privacidad de 2025 datos de datos, “El 64% de los encuestados se preocupan por compartir inadvertidamente información confidencial pública o con competidores, pero casi la mitad admite ingresar datos personales o no públicos en herramientas Genai “. Esto aumenta el riesgo de incumplimiento si los datos se registran o almacenan de manera incorrecta.
Otra oportunidad para el riesgo es ejecutar modelos en diferentes organizaciones de clientes en una infraestructura compartida; Esto puede conducir a violaciones de datos y problemas de rendimiento, y existe un riesgo adicional de que las acciones de un usuario afecten a otros usuarios. Por lo tanto, las empresas generalmente prefieren los servicios implementados en su nube.
Satisfacción del cliente
Cuando las respuestas tardan más de unos pocos segundos en aparecer, los usuarios generalmente dejan, lo que respalda el esfuerzo de los ingenieros para optimizar en exceso para la latencia cero. Además, las aplicaciones presentes “obstáculos como alucinaciones e inexactitud que pueden limitar el impacto y la adopción generalizados “, según un Comunicado de prensa de Gartner.
Beneficios comerciales de gestionar estos problemas
Optimizar el lote, elegir modelos de tamaño derecho (por ejemplo, cambiar de modelos LLAMA 70B o de código cerrado como GPT a GEMMA 2B cuando sea posible) y mejorar la utilización de GPU puede reducir las facturas de inferencia entre 60 y 80 por ciento. El uso de herramientas como VLLM puede ayudar, al igual que cambiar a un modelo de pago sin servidor como un flujo de trabajo puntiagudo.
Tome CleanLab, por ejemplo. Cleanlab lanzó el Modelo de idioma confiable (TLM) a agregar Un puntaje de confiabilidad para cada respuesta de LLM. Está diseñado para resultados de alta calidad y una confiabilidad mejorada, lo cual es basic para aplicaciones empresariales para evitar alucinaciones sin management. Antes de inferir, CleanLabs experimentó mayores costos de GPU, ya que las GPU estaban funcionando incluso cuando no se usaban activamente. Sus problemas eran típicos para los proveedores tradicionales de GPU en la nube: alta latencia, gestión ineficiente de costos y un entorno complejo para administrar. Con la inferencia sin servidor, reducen los costos en un 90 por ciento mientras mantienen los niveles de rendimiento. Más importante aún, se pusieron en marcha en dos semanas sin costos adicionales de gastos generales de ingeniería.
Optimización de las arquitecturas de modelos
Los modelos de base como GPT y Claude a menudo están entrenados para generalidad, no eficiencia o tareas específicas. Al no personalizar modelos de código abierto para casos de uso específicos, las empresas desperdician la memoria y calculan el tiempo para las tareas que no necesitan esa escala.
Los chips de GPU más nuevos como H100 son rápidos y eficientes. Estos son especialmente importantes cuando se ejecutan operaciones a gran escala como generación de movies o tareas relacionadas con la IA. Más núcleos CUDA aumenta la velocidad de procesamiento, superando las GPU más pequeñas; Nvidia Núcleos de tensor están diseñados para acelerar estas tareas a escala.
La memoria de GPU también es importante para optimizar las arquitecturas de modelos, ya que los grandes modelos de IA requieren un espacio significativo. Esta memoria adicional permite que la GPU ejecute modelos más grandes sin comprometer la velocidad. Por el contrario, el rendimiento de las GPU más pequeñas que tienen menos VRAM sufre, ya que mueven los datos a una RAM del sistema más lenta.
Varios beneficios de optimizar la arquitectura del modelo incluyen ahorros de tiempo y dinero. Primero, cambiar de transformador denso a variantes optimizadas por Lora o basadas en flashattion puede afeitarse entre 200 y 400 milisegundos del tiempo de respuesta por consulta, lo que es essential en los chatbots y los juegos, por ejemplo. Además, los modelos cuantificados (como 4 bits o 8 bits) necesitan menos VRAM y funcionan más rápido en GPU más baratas.
A largo plazo, la optimización de la arquitectura del modelo ahorra dinero en inferencia, ya que los modelos optimizados pueden ejecutarse en chips más pequeños.
La optimización de la arquitectura del modelo implica los siguientes pasos:
- Cuantificación – Reducción de la precisión (FP32 → Int4/int8), guardando la memoria y acelerando el tiempo de cómputo
- Poda – Eliminar pesas o capas menos útiles (estructurado o no estructurado)
- Destilación – Entrenamiento de un modelo de “estudiante” más pequeño para imitar la salida de uno más grande
Tamaño del modelo de comprimir
Modelos más pequeños Media inferencia más rápida e infraestructura menos costosa. Los modelos grandes (13b+, 70b+) requieren costosas GPU (A100S, H100), VRAM alto y más potencia. Compresarlos les permite funcionar con {hardware} más barato, como A10 o T4S, con una latencia mucho menor.
Los modelos comprimidos también son críticos para ejecutar la inferencia en el dispositivo (teléfonos, navegadores, IoT), ya que los modelos más pequeños permiten el servicio de solicitudes más concurrentes sin infraestructura de escala. En un chatbot con más de 1,000 usuarios concurrentes, pasar de un modelo de 13b a un modelo comprimido 7B permitió a un equipo servir más del doble de la cantidad de usuarios por GPU sin picos de latencia.
Aprovechando {hardware} especializado
Las CPU de uso basic no están construidas para operaciones tensoras. El {hardware} especializado como NVIDIA A100S, H100S, Google TPUS o AWS Inferentia puede ofrecer una inferencia más rápida (entre 10 y 100x) para LLM con una mejor eficiencia energética. El afeitado incluso de 100 milisegundos por solicitud puede marcar la diferencia al procesar millones de solicitudes diariamente.
Considere este ejemplo hipotético:
Un equipo ejecuta LLAMA-13B en GPU estándar A10 para su sistema de trapo interno. La latencia es de alrededor de 1.9 segundos, y no pueden lanzar mucho debido a los límites de VRAM. Por lo tanto, cambian a H100 con Tensorrt-LLM, habilitan FP8 y el núcleo de atención optimizado, aumentan el tamaño de lotes de ocho a 64. El resultado es reducir la latencia a 400 milisegundos con un aumento de cinco veces en el rendimiento.
Como resultado, pueden satisfacer solicitudes cinco veces con el mismo presupuesto y liberar a los ingenieros de navegar por los cuellos de botella de infraestructura.
Evaluación de opciones de implementación
Diferentes procesos requieren diferentes infraestructuras; Un chatbot con 10 usuarios y un motor de búsqueda que atiende a un millón de consultas por día tiene diferentes necesidades. Ir a los servidores de GPU en la nube (p. Ej., AWS Sagemaker) o de GPU de bricolaje sin evaluar las relaciones de costo-rendimiento conduce al gasto desperdiciado y una mala experiencia del usuario. Tenga en cuenta que si se compromete temprano a un proveedor de nubes cerrado, migrar la solución más tarde es doloroso. Sin embargo, evaluar temprano con una estructura de pago por uso le brinda opciones en el futuro.
La evaluación abarca los siguientes pasos:
- Latencia y costo del modelo de referencia en todas las plataformas: ejecute pruebas A/B en AWS, Azure, grupos de GPU locales o herramientas sin servidor para replicar.
- Mida el rendimiento de inicio en frío: esto es especialmente importante para las cargas de trabajo sin servidor o basadas en eventos, porque los modelos se cargan más rápido.
- Evalúe los límites de observabilidad y escala: evalúe las métricas disponibles e identifique cuáles son las consultas máximas por segundo antes de la degradación.
- Verifique el soporte de cumplimiento: decide si puede aplicar reglas de datos o registros de auditoría de GEO.
- Estima costo whole de propiedad. Esto debería incluir horas de GPU, almacenamiento, ancho de banda y sobrecarga para equipos.
El resultado closing
La inferencia permite a las empresas optimizar su rendimiento de IA, un menor uso y costos de energía, mantener la privacidad y la seguridad y mantener contentos a los clientes.
El put up Mejora de la inferencia de IA: técnicas avanzadas y mejores prácticas apareció primero en Unite.ai.
