Phillip Burr es el jefe de producto de Lumai, con más de 25 años de experiencia en la gestión de productos globales, el mercado y los roles de liderazgo dentro de las principales empresas de semiconductores y tecnología, y un historial probado de productos y servicios de construcción y escala.
Lumai Es una empresa de tecnología profunda con sede en el Reino Unido que desarrolla procesadores de computación óptica 3D para acelerar las cargas de trabajo de inteligencia synthetic. Al realizar multiplicaciones de vectores de matriz utilizando vigas de luz en tres dimensiones, su tecnología ofrece hasta 50 veces el rendimiento y un 90% menos de consumo de energía en comparación con los aceleradores tradicionales basados en silicio. Esto lo hace particularmente adecuado para las tareas de inferencia de IA, incluidos los modelos de idiomas grandes, al tiempo que scale back significativamente los costos de energía y el impacto ambiental.
¿Qué inspiró la fundación de Lumai y cómo evolucionó la concept de la investigación de la Universidad de Oxford en una empresa comercial?
La chispa inicial se encendió cuando uno de los fundadores de Lumai, el Dr. Xianxin Guo, recibió una beca de investigación de 1851 en la Universidad de Oxford. Los entrevistadores entendieron el potencial de informática óptica y preguntaron si Xianxin consideraría patentes y girar a una empresa si su investigación tuvo éxito. Esto obtuvo la mente creativa de Xianxin y cuando él, junto con uno de los otros cofundadores de Lumai, el Dr. James Spall, había demostrado que usar la luz para hacer el cálculo en el corazón de la IA podría impulsar drásticamente el rendimiento de la IA y reducir la energía, se estableció la etapa. Sabían que el {hardware} de IA de silicio existente period (y sigue siendo) luchando por aumentar el rendimiento sin aumentar significativamente la potencia y el costo y, por lo tanto, si pudieran resolver este problema usando el cálculo óptico, podrían crear un producto que los clientes querían. Llevaron esta concept a algunos VC que los respaldaron para formar Lumai. Lumai recientemente cerró su segunda ronda de fondos, recaudando más de $ 10 millones y trayendo inversores adicionales que también creen que el cálculo óptico puede continuar escala y satisfacer la creciente demanda de rendimiento de la IA sin aumentar el poder.
Has tenido una carrera impresionante en el brazo, el semiconductor independiente y más, ¿qué te atrajo a unirte a Lumai en esta etapa?
La respuesta corta es el equipo y la tecnología. Lumai tiene un impresionante equipo de expertos ópticos, de aprendizaje automático y centros de datos, que brindan experiencia de los gustos de Meta, Intel, Altera, Maxeler, Seagate e IBM (junto con mi propia experiencia en BRAM, GRAFICS MENTORES Y MOTOROLA). Sabía que un equipo de personas notables tan centradas en resolver el desafío de reducir el costo de la inferencia de IA podría hacer cosas increíbles.
Creo firmemente que el futuro de la IA exige nuevos e innovadores avances en la informática. La promesa de poder ofrecer 50X el rendimiento de cálculo de IA y reducir el costo de la inferencia de IA a 1/10 en comparación con las soluciones de hoy fue una oportunidad demasiado buena para perderse.
¿Cuáles fueron algunos de los primeros desafíos técnicos o comerciales que enfrentó su equipo fundador en la escala de un avance de la investigación a una empresa lista para productos?
El avance de la investigación demostró que la óptica podría usarse para la multiplicación rápida y muy eficiente del vector de matriz. A pesar de los avances técnicos, el mayor desafío fue convencer a las personas de que Lumai podría tener éxito donde otras nuevas empresas de computación óptica habían fallado. Tuvimos que pasar tiempo explicando que el enfoque de Lumai period muy diferente y que en lugar de depender de un solo chip 2D, utilizamos ópticas 3D para alcanzar los niveles de escala y eficiencia. Por supuesto, hay muchos pasos para llegar de la investigación de laboratorio a la tecnología que se pueden implementar a escala en un centro de datos. Reconocimos muy temprano que la clave para el éxito fue atraer a los ingenieros que tienen experiencia en el desarrollo de productos en centros de datos de alto volumen y de datos. La otra área es el software program: es esencial que los marcos y modelos estándar de IA puedan beneficiarse del procesador de Lumai, y que proporcionemos las herramientas y los marcos para que esto lo sea lo más transparente posible para los ingenieros de software program de IA.
Se cube que la tecnología de Lumai usa la multiplicación de vector óptico 3D. ¿Puedes desglosar eso en términos simples para una audiencia normal?
Los sistemas de IA deben hacer muchos cálculos matemáticos llamados multiplicación del vector matriz. Estos cálculos son el motor que alimenta las respuestas de AI. En Lumai, hacemos esto usando luz en lugar de electricidad. Así es como funciona:
- Codificamos información en vigas de luz
- Estas vigas de luz viajan por el espacio 3D
- La luz interactúa con lentes y materiales especiales
- Estas interacciones completan la operación matemática
Al usar las tres dimensiones del espacio, podemos procesar más información con cada haz de luz. Esto hace que nuestro enfoque sea muy eficiente, reduciendo la energía, el tiempo y el costo necesarios para ejecutar sistemas de IA.
¿Cuáles son las principales ventajas de la informática óptica sobre las GPU tradicionales basadas en silicón e incluso la fotónica integrada?
Debido a que la tasa de avance en la tecnología de silicio se ha ralentizado significativamente, cada paso adelante en el rendimiento de un procesador de IA solo de silicio (como una GPU) da como resultado un aumento significativo en la potencia. Las soluciones solo de silicio consumen una increíble cantidad de potencia y están persiguiendo rendimientos decrecientes, lo que los hace increíblemente complejos y caros. La ventaja de usar la óptica es que una vez en el dominio óptico prácticamente no se devour poder. La energía se usa para ingresar al dominio óptico, pero, por ejemplo, en el procesador de Lumai podemos lograr más de 1,000 operaciones de cálculo para cada haz de luz, cada ciclo, lo que lo hace muy eficiente. Esta escalabilidad no se puede lograr utilizando fotónicas integradas debido a las restricciones de tamaño físico y el ruido de la señal, con el número de operaciones de cálculo de la solución de silicio-fotónica a solo 1/8 de lo que Lumai puede lograr hoy.
¿Cómo logra el procesador de Lumai una inferencia de latencia casi cero y por qué es ese issue tan crítico para las cargas de trabajo modernas de IA?
Aunque no afirmaríamos que el procesador Lumai ofrece latencia cero, ejecuta una operación de vector de matriz muy grande (1024 x 1024) en un solo ciclo. Las soluciones solo de silicio generalmente dividen una matriz en matrices más pequeñas, que se procesan individualmente paso a paso y luego los resultados deben combinarse. Esto lleva tiempo y da como resultado más memoria y energía que se utiliza. Reducir el tiempo, la energía y el costo del procesamiento de la IA son fundamentales para que tanto permitan que más empresas se beneficien de la IA y para permitir la IA avanzada de la manera más sostenible.
¿Puede guiarnos a través de cómo se integra su issue de forma suitable con PCIe con la infraestructura del centro de datos existente?
El procesador Lumai utiliza tarjetas de issue PCIe Type junto con una CPU estándar, todo dentro de un estante 4U estándar. Estamos trabajando con una gama de proveedores de equipos de rack centros de datos para que el procesador Lumai se integre con su propio equipo. Utilizamos interfaces de pink estándar, software program estándar, and so on. para que externamente el procesador Lumai se parezca a cualquier otro procesador de centros de datos.
El uso de energía del centro de datos es una preocupación world creciente. ¿Cómo se posiciona Lumai como una solución sostenible para el cálculo de IA?
El consumo de energía del centro de datos está aumentando a un ritmo alarmante. Según un Informe del Laboratorio Nacional de Lawrence BerkeleySe espera que el uso de energía del centro de datos en los EE. UU. Se triplique para 2028, consumiendo hasta el 12% de la energía del país. Algunos operadores del centro de datos están contemplando la instalación de energía del núcleo para proporcionar la energía necesaria. La industria necesita analizar diferentes enfoques para la IA, y creemos que la óptica es la respuesta a esta disaster energética.
¿Puedes explicar cómo la arquitectura de Lumai evita los cuellos de botella de escalabilidad de los enfoques de silicio y fotónicos actuales?
El rendimiento del primer procesador Lumai es solo el comienzo de lo que se puede lograr. Esperamos que nuestra solución continúe proporcionando grandes saltos en el rendimiento: al aumentar las velocidades de reloj ópticas y los anchos vectoriales, todo sin un aumento correspondiente en la energía consumida. Ninguna otra solución puede lograr esto. Los enfoques de silicio digital estándar continuarán consumiendo cada vez más costos y potencia para cada aumento en el rendimiento. Silicon Photonics no puede lograr el ancho vectorial necesario y, por lo tanto, las empresas que estaban buscando fotónicos integrados para el cálculo del centro de datos se han movido para abordar otras partes del centro de datos, por ejemplo, interconexión óptica o conmutación óptica.
¿Qué papel ve que la computación óptica juega en el futuro de la IA, y más ampliamente, en la informática en su conjunto?
La óptica en su conjunto desempeñará un papel importante en los centros de datos en el futuro, desde interconexión óptica, redes ópticas, conmutación óptica y, por supuesto, procesamiento de IA óptica. Las demandas de que la IA está colocando en el centro de datos es el controlador clave de este movimiento a óptico. La interconexión óptica permitirá conexiones más rápidas entre los procesadores de IA, que es esencial para grandes modelos de IA. La conmutación óptica permitirá una pink más eficiente, y el cálculo óptico permitirá un procesamiento de IA más rápido, más eficiente y de menor costo. Colectivamente, ayudarán a habilitar la IA aún más avanzada, superando los desafíos de la desaceleración en la escala de silicio en el lado de cómputo y las limitaciones de velocidad del cobre en el lado de la interconexión.
Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar Lumai.
