ChatgptLa plataforma Chatbot de OpenAI, puede no tener tan hambre de poder como se suponía. Pero su apetito depende en gran medida de cómo se use ChatGPT y los modelos de IA que responden a las consultas, según un nuevo estudio.
A análisis reciente Por Epoch AI, un instituto de investigación de IA sin fines de lucro, intentó calcular cuánta energía eat una consulta típica de ChatGPT. A Estadística comúnmente citada Es que ChatGPT requiere alrededor de 3 vatios de energía para responder una sola pregunta, o 10 veces más que una búsqueda en Google.
Epoch cree que es una sobreestimación.
Usando el último modelo predeterminado de Openai para ChatGPT, GPT-4Ocomo referencia, Epoch descubrió que la consulta promedio de ChatGPT eat alrededor de 0.3 vatios-horas, menos que muchos electrodomésticos.
“El uso de energía no es realmente un gran problema en comparación con el uso de electrodomésticos normales o calefacción o enfriamiento de su hogar, o conduciendo un automóvil”, dijo a TechCrunch Joshua, el analista de datos de Epoch, quien realizó el análisis.
El uso de energía de la IA, y su impacto ambiental, en términos generales, es objeto de debate contencioso, ya que las compañías de IA buscan expandir rápidamente sus huellas de infraestructura. La semana pasada, un grupo de más de 100 organizaciones Publicado una carta abierta Pidiendo a la industria y los reguladores de la IA que se aseguren de que los nuevos centros de datos de IA no agoten los recursos naturales y obligen a los servicios públicos a depender de fuentes de energía no renovables.
Le dijiste a TechCrunch que su análisis fue estimulado por lo que caracterizó como investigaciones previas anticuadas. Usted señaló, por ejemplo, que el autor del informe que llegó a la estimación de 3 vatios, se suponía que OpenAi usó chips antiguos y menos eficientes para ejecutar sus modelos.
“He visto mucho discurso público que reconoció correctamente que AI iba a consumir mucha energía en los próximos años, pero en realidad no describía con precisión la energía que iba a IA hoy”, dijo. “Además, algunos de mis colegas notaron que la estimación más ampliamente informada de 3 vatios por consulta se basaba en una investigación bastante antigua, y basada en algunas savinas de matemáticas parecía ser demasiado alta”.
De acuerdo, la cifra de 0.3 vatios de Epoch también es una aproximación; Operai no ha publicado los detalles necesarios para hacer un cálculo preciso.
El análisis tampoco considera los costos de energía adicionales incurridos por las características de ChatGPT como la generación de imágenes o el procesamiento de entradas. Usted reconoció que las consultas de chatGPT de “entrada larga”, consultas con archivos largos adjuntos, por ejemplo, probablemente consumen más electricidad por adelantado que una pregunta típica.
Sin embargo, dijiste que espera que aumente el consumo de energía de la línea de base ChATGPT.
“[The] La IA será más avanzada, la capacitación de esta IA probablemente requerirá mucha más energía, y esta IA futura puede usarse mucho más intensamente, manejando muchas más tareas y tareas más complejas que la forma en que las personas usan ChatGPT hoy ”, dijo.
Mientras ha habido avances notables En la eficiencia de la IA en los últimos meses, se espera que la escala a la que se está desplegando AI impulsa la expansión de infraestructura enorme y hambrienta de energía. En los próximos dos años, los centros de datos de IA pueden necesitar casi toda la capacidad de energía 2022 de California (68 GW), Según un informe de RAND. Para 2030, el entrenamiento de un modelo fronterizo podría exigir una potencia de potencia equivalente a la de ocho reactores nucleares (8 GW), predijo el informe.
ChatGPT solo llega a un número enorme y en expansión de personas, lo que hace que sus demandas de servidor sean igualmente masivas. Operai, junto con varios socios de inversión, planea gastar miles de millones de dólares en nuevos proyectos de centros de datos de IA En los próximos años.
La atención de Openai, junto con el resto de la industria de la IA, también está cambiando a modelos de razonamiento, que generalmente son más capaces en términos de las tareas que pueden realizar pero requieren más informática para ejecutar. A diferencia de los modelos como GPT-4O, que responden a las consultas casi instantáneamente, los modelos de razonamiento “piensan” durante segundos hasta minutos antes de responder, un proceso que absorbe más computación y, por lo tanto, la alimentación.
“Los modelos de razonamiento asumirán cada vez más tareas que los modelos más antiguos no pueden, y generarán más [data] Para hacerlo, y ambos requieren más centros de datos ”, dijo.
Operai ha comenzado a lanzar modelos de razonamiento más eficientes como potencia como O3-Mini. Pero parece poco possible, al menos en esta coyuntura, que las ganancias de eficiencia compensen la mayor demanda de energía del proceso de “pensamiento” de los modelos de razonamiento y el creciente uso de IA en todo el mundo.
Usted sugirió que las personas preocupadas por su huella de energía AI usen aplicaciones como ChatGPT con poca frecuencia, o seleccionen modelos que minimicen la informática necesaria, en la medida realista.
“Podrías intentar usar modelos de IA más pequeños como [OpenAI’s] GPT-4O-Mini “, dijo,” y usándolos de manera que requiera procesar o generar una tonelada de datos “.
