A pesar del hecho de que miles de millones de dólares se están derramando en la remodelación de la infraestructura energética en torno a las necesidades de la IA, nadie se ha establecido en una forma de cuantificar el uso de energía de la IA. Peor aún, las empresas generalmente no están dispuestas a revelar su propia pieza del rompecabezas. También hay limitaciones para estimar las emisiones asociadas con esa demanda de energía, porque la cuadrícula alberga una mezcla complicada y cambiante de fuentes de energía.
Es un gran desastre, básicamente. Dicho esto, aquí están las muchas variables, suposiciones y advertencias que usamos para calcular las consecuencias de una consulta de IA. (Puede ver los resultados completos de nuestra investigación aquí.)
Medición de la energía que utiliza un modelo
Empresas como OpenAI, que tratan en modelos de “fuente cerrada”, generalmente ofrecen acceso a sus sistemas a través de una interfaz donde ingresa una pregunta y recibe una respuesta. Lo que sucede en el medio, que el centro de datos en el mundo procesa su solicitud, la energía que se necesita para hacerlo y la intensidad de carbono de las fuentes de energía utilizadas, se mantiene en secreto, conocible solo para las empresas. Hay pocos incentivos para que publiquen esta información, y hasta ahora, la mayoría no.
Por eso, para nuestro análisis, observamos modelos de código abierto. Sirven como un proxy muy imperfecto pero el mejor que tenemos. (Openai, Microsoft y Google se negaron a compartir detalles sobre cuánta energía usan sus modelos de fuente cerrada).
Los mejores recursos para medir el consumo de energía de los modelos de IA de código abierto son Puntuación de energía AI, Ml.energíay Potencia mlperf. El equipo detrás de ML.Vitality nos ayudó con nuestros cálculos del modelo de texto e imagen, y el equipo detrás de AI Vitality Rating ayudó con nuestros cálculos de modelos de video.
Modelos de texto
Los modelos de IA usan energía en dos fases: cuando inicialmente aprenden de grandes cantidades de datos, llamados capacitación y cuando responden a las consultas, llamada inferencia. Cuando se lanzó ChatGPT hace unos años, la capacitación period el foco, ya que las compañías tecnológicas corrían para mantenerse al día y construir modelos Ever Larger. Pero ahora, la inferencia es donde se usa la mayor cantidad de energía.
La forma más precisa de comprender cuánta energía usa un modelo de IA en la etapa de inferencia es medir directamente la cantidad de electricidad utilizada por el servidor que maneja la solicitud. Los servidores contienen todo tipo de componentes: chips potentes llamados GPU que hacen la mayor parte de la computación, otros chips llamados CPU, ventiladores para mantener todo genial y más. Los investigadores generalmente miden la cantidad de potencia que la GPU dibuja y estiman el resto (más sobre esto en breve).
Para hacer esto, recurrimos al candidato de doctorado Jae-Received Chung y al profesor asociado Mosharaf Chowdhury en la Universidad de Michigan, que lideran el Ml.energía proyecto. Una vez que recolectamos cifras para el uso de energía de GPU de diferentes modelos de su equipo, tuvimos que estimar cuánta energía se usa para otros procesos, como el enfriamiento. Examinamos la literatura de investigación, incluida una Papel 2024 Desde Microsoft, para comprender cuánto son responsables de las GPU de demanda de energía whole de un servidor. Resulta ser aproximadamente la mitad. Así que tomamos la estimación de energía GPU del equipo y la duplicamos para tener una sensación de demandas de energía whole.
