Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información
Liquid AI, la startup del modelo de fundación con sede en Boston se salió del Instituto de Tecnología de Massachusetts (MIT), está buscando mover la industria tecnológica más allá de su dependencia de la arquitectura de transformadores que sustenta los modelos de idiomas grandes (LLM) más populares, como GPT de Openai serie y Géminis de Google familia.
Ayer, la compañía anunció “Borde de hiena“, Un nuevo modelo multi-híbrido basado en convolución diseñado para teléfonos inteligentes y otros dispositivos de borde antes del Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) 2025.
La conferencia, uno de los principales eventos para la investigación de aprendizaje automático, tendrá lugar este año en Viena, Austria.
El nuevo modelo basado en la convolución promete una IA más rápido y más eficiente en la memoria en el borde
Hyena Edge está diseñado para superar las líneas de base de transformadores fuertes tanto en eficiencia computacional como en la calidad del modelo de lenguaje.
En las pruebas del mundo actual en un teléfono inteligente Samsung Galaxy S24 Extremely, el modelo entregó una latencia más baja, una huella de memoria más pequeña y mejores resultados de referencia en comparación con un modelo de transformador ++ de parámetros.
Una nueva arquitectura para una nueva period de Edge AI
A diferencia de la mayoría de los modelos pequeños diseñados para la implementación móvil, incluidas SMOLLM2, los modelos PHI y LLAMA 3.2 1B, Hyena Edge se aleja de los diseños tradicionales de atención. En cambio, reemplaza estratégicamente a dos tercios de los operadores de atención de la Oquera Agrupada (GQA) con convoluciones cerradas de la familia Hyena-Y.
La nueva arquitectura es el resultado del marco de la síntesis de arquitecturas personalizadas (STAR) de Liquid AI, que utiliza algoritmos evolutivos para diseñar automáticamente los retorno de modelos y fue anunciado en diciembre de 2024.
Star explora una amplia gama de composiciones de operadores, enraizadas en la teoría matemática de los sistemas lineales que varían de entrada, para optimizar múltiples objetivos específicos de {hardware} como la latencia, el uso de la memoria y la calidad.
Benchmarked directamente en el {hardware} del consumidor
Para validar la preparación del mundo actual de Hyena Edge, Liquid AI realizó pruebas directamente en el teléfono inteligente Samsung Galaxy S24 Extremely.
Los resultados muestran que Hyena Edge alcanzó las latencias de prefirción y decodificación hasta un 30% más rápidos en comparación con su contraparte de transformador ++, con ventajas de velocidad que aumentan a longitudes de secuencia más largas.
Las latencias previas a la presentación a longitudes de secuencia cortas también superaron la línea de base del transformador, una métrica de rendimiento crítico para aplicaciones receptivas en dispositivo.
En términos de memoria, Hyena Edge usó constantemente menos RAM durante la inferencia en todas las longitudes de secuencia probada, posicionándola como un candidato fuerte para entornos con limitaciones de recursos estrictos.
Superación de transformadores en puntos de referencia de idiomas
Hyena Edge fue entrenado en 100 mil millones de tokens y evaluada en puntos de referencia estándar para modelos de lenguas pequeñas, incluidos Wikitext, Lambada, Piqa, HellaSwag, Winogrande, Arc-Simple y Arc-Problem.
En cada punto de referencia, Hyena Edge coincidió o excedió el rendimiento del modelo GQA-Transformer ++, con mejoras notables en los puntajes de perplejidad en Wikitext y Lambada, y mayores tasas de precisión en PIQA, Hellowag y Winogrande.
Estos resultados sugieren que las ganancias de eficiencia del modelo no tienen costo de la calidad predictiva, una compensación común para muchas arquitecturas optimizadas por el borde.
Hyena Edge Evolution: una mirada a las tendencias de rendimiento y operador
Para aquellos que buscan una inmersión más profunda en el proceso de desarrollo de Hyena Edge, un reciente Tutorial de video Proporciona un resumen visible convincente de la evolución del modelo.
El video resalta cómo las métricas clave de rendimiento, incluida la latencia de pregrascos, la latencia de decodificación y el consumo de memoria, mejoraron con las generaciones sucesivas de refinamiento de arquitectura.
También ofrece una rara mirada detrás de escena de cómo la composición interna del borde de hiena cambió durante el desarrollo. Los espectadores pueden ver cambios dinámicos en la distribución de los tipos de operadores, como los mecanismos de autoatensión (SA), varias variantes de hiena y capas Swiglu.
Estos cambios ofrecen información sobre los principios de diseño arquitectónico que ayudaron al modelo a alcanzar su nivel precise de eficiencia y precisión.
Al visualizar las compensaciones y la dinámica del operador a lo largo del tiempo, el video proporciona un contexto valioso para comprender los avances arquitectónicos subyacentes al rendimiento de Hyena Edge.
Planes de código abierto y una visión más amplia
Liquid Ai dijo que planea de código abierto una serie de modelos de cimientos líquidos, incluidos Hyena Edge, en los próximos meses. El objetivo de la compañía es construir sistemas de IA de propósito normal capaces y eficientes que puedan escalar desde centros de datos en la nube hasta dispositivos personales de borde.
El debut de Hyena Edge también destaca el creciente potencial de arquitecturas alternativas para desafiar los transformadores en entornos prácticos. Con cada vez más, se espera que los dispositivos móviles ejecuten cargas de trabajo de IA sofisticadas de forma nativa, modelos como Hyena Edge podrían establecer una nueva línea de base para lo que puede lograr la IA optimizada de borde.
El éxito de Hyena Edge, tanto en las métricas de rendimiento bruto como en la exhibición del diseño automatizado de la arquitectura, posiciona la IA líquida como uno de los jugadores emergentes para ver en el panorama del modelo de IA evolutivo.
