Hicimos un fuerte avance en las bases de ML, con un amplio trabajo en algoritmos, eficiencia, datos y privacidad. Mejoramos la eficiencia de ML a través de técnicas pioneras que reducen los tiempos de inferencia de LLM, que se implementaron en los productos de Google y se adoptaron en toda la industria. Nuestra investigación sobre cascadas presenta un método para aprovechar modelos más pequeños para salidas “fáciles”, mientras que nuestra novela decodificación especulativa El algoritmo calcula varios tokens en paralelo, acelerando la generación de salidas en ~ 2x – 3x sin afectar la calidad. Como resultado, los LLM que alimentan los productos conversacionales pueden generar respuestas significativamente más rápidas. Esto equivale a una experiencia de usuario muy mejorada y hace que la IA sea más eficiente de cómputo y energía. Estamos construyendo sobre este trabajo con borrador de refinamiento y verificación de bloques. También examinamos nuevas formas de mejorar las capacidades de razonamiento de los LLM a través de tokens de pausa – Una mayor potencia de razonamiento podría hacer que los modelos más pequeños sean más potentes, lo que resulta en ganancias de eficiencia significativas. Exploramos la eficiencia algorítmica de los transformadores y diseñamos Formador de polysketch, Hiperatenciay Atención selectivatres novedosos mecanismos de atención, para abordar los desafíos computacionales y los cuellos de botella en la implementación de modelos de idiomas y mejorar la calidad del modelo.
Nuestros equipos han logrado un progreso adicional appreciable, incluida la investigación sobre principios. algoritmos de aplazamiento con múltiples expertos y un basic configuración de dos etapas Algoritmo de aplazamiento. Nuestro RL Aprendizaje de imitación algoritmo para optimización del compilador condujo a ahorros significativos y reducción del tamaño de los archivos binarios; Nuestra investigación sobre el aprendizaje de refuerzo de objetivos múltiples de la retroalimentación humana, el Marco de política de idiomas condicionalesproporcionó una solución de principios con una compensación clave de funciones de calidad y ahorros de cómputo significativos; y trabajar en aprendizaje en contexto Proporcionó un mecanismo para el aprendizaje de la muestra para las tareas de recuperación escasa.
Los datos son otro bloque de construcción crítico para ML. Para apoyar la investigación de ML en todo el ecosistema, lanzamos y contribuimos a varios conjuntos de datos. Cuernopor ejemplo, es un formato de metadatos diseñado para las necesidades específicas de los datos de ML, que diseñamos en colaboración con la industria y la academia. Desarrollamos muestreo de sensibilidaduna técnica de muestreo de datos para modelos fundamentales, y probado que esta es una estrategia óptima de muestreo de datos para problemas clásicos de agrupación como ok-medio. Avanzamos nuestra investigación en algoritmos de agrupación escalable, y de origen abierto Una biblioteca de agrupación de gráficos paralelos, que proporciona resultados de última generación en gráficos de billones de borde en una sola máquina. La rápida proliferación de modelos de aprendizaje automático específicos de dominio destaca un desafío clave: si bien estos modelos se destacan dentro de sus respectivos dominios, su rendimiento a menudo varía significativamente en diversas aplicaciones. Para abordar esto, nuestra investigación desarrolló un algoritmo de principios Al enmarcar el problema como una tarea de adaptación de dominio de fuente múltiple.
Google Analysis está profundamente comprometida con la investigación de privacidad y ha hecho contribuciones significativas al campo. Nuestro trabajo en capacitación de modelos diferencialmente privado Destaca la importancia del análisis riguroso e implementación de los algoritmos ML de preservación de la privacidad para garantizar una protección sólida de los datos del usuario. Complementamos estos análisis con más eficiente algoritmos para el entrenamiento y nuevos métodos Para las implementaciones de auditoría, que abrimos para la comunidad. En nuestra investigación sobre el aprendizaje de los datos agregados, presentamos un enfoque novedoso para construcción de agregación conjuntos de datos, y exploraron varios aspectos algorítmicos de aprendizaje modelo de datos agregados, que lograron muestra optimista Tasas de complejidad en este entorno. También diseñamos nuevo métodos para generar datos sintéticos diferencialmente privados – Datos que son artificiales y ofrecen una fuerte protección de la privacidad, mientras que aún tienen las características requeridas para capacitar a los modelos predictivos.
A medida que superamos los límites de lo que se puede lograr en la optimización computacional, existen implicaciones significativas para la economía international. Llevar programación lineal (LP), un método de informática basic que informa la toma de decisiones basada en datos y tiene muchas aplicaciones en campos, como la fabricación y el transporte. Presentamos Pdlpque requiere menos memoria, es más suitable con las técnicas computacionales modernas y escala significativamente las capacidades de resolución de LP. Se le otorgó lo prestigioso Beale-Premio Orchard-Hays y ahora está disponible como parte de la fuente abierta de Google O herramientas. Anunciamos nuestro Envío API de diseño de crimsonun gran ejemplo de caso de uso de PDLP, para optimizar envío de carga. Esto permite soluciones más ambientales y rentables para los desafíos de la cadena de suministro, con el potencial de que las redes de envío entreguen 13% más de contenedores con un 15% menos de embarcaciones. Presentamos Occasions-FMtambién, para un pronóstico de sequence de tiempo más preciso, un tipo generalizado de pronóstico utilizado en dominios como el comercio minorista, la fabricación y las finanzas. Este modelo de fundación solo de decodificador fue pretrontratado en puntos de tiempo 100B del mundo actual, utilizando en gran medida datos de Tendencias de Google y Wikipedia PageViews, y superaron incluso a los poderosos modelos de aprendizaje profundo que fueron entrenados en la serie de tiempo objetivo.
