Doxa 1727

Cómo hacer que la IA generativa sea más ecológica

Por Ajay Kumar y Thomas H. Davenport

Sostenibilidad del medio ambiente

Harvard Business Review

#Doxa #IA #generativa #costos #ambientales #modelos #empresa #sistemas #ecológicos #computacional #energía #datos #carbono #tecnología

Resumen. La IA generativa es impresionante, pero los costos ambientales ocultos y el impacto de estos modelos a menudo se pasan por alto. Las empresas pueden tomar ocho pasos para hacer que estos sistemas sean más ecológicos: utilice grandes modelos generativos existentes, no genere los suyos propios; perfeccionar los modelos existentes del tren; utilizar métodos computacionales de conservación de energía; use un modelo grande solo cuando ofrezca un valor significativo; sea perspicaz cuando use IA generativa; evaluar las fuentes de energía de su proveedor de nube o centro de datos; reutilizar modelos y recursos; incluya la actividad de IA en su monitoreo de carbono.

Si bien los observadores se han maravillado con las capacidades de las nuevas herramientas de IA generativa como ChatGPT, BERT, LaMDA, GPT-3, DALL-E-2, MidJourney y Stable Diffusion, los costos ambientales ocultos y el impacto de estos modelos a menudo se pasan por alto. El desarrollo y uso de estos sistemas ha requerido una gran cantidad de energía y el mantenimiento de su infraestructura física implica un consumo de energía. En este momento, estas herramientas apenas comienzan a ganar terreno, pero es razonable pensar que estos costos están a punto de crecer, y de manera espectacular, en el futuro cercano.

La industria del centro de datos, que se refiere a una instalación física diseñada para almacenar y administrar sistemas de tecnología de la información y las comunicaciones, es responsable del 2% al 3% de las emisiones globales de gases de efecto invernadero (GEI). El volumen de datos en todo el mundo se duplica cada dos años. Los servidores del centro de datos que almacenan este mar de información en constante expansión requieren enormes cantidades de energía y agua (directamente para enfriar e indirectamente para generar electricidad no renovable) para operar servidores informáticos, equipos y sistemas de enfriamiento. Estos sistemas representan alrededor del 7 % del consumo de electricidad de Dinamarca y el 2,8 % del consumo de electricidad de los Estados Unidos.

Casi todos los modelos de IA generativa más conocidos son generados por proveedores de nube de "hiperescala" (muy grandes) con miles de servidores que producen una gran huella de carbono; en particular, estos modelos se ejecutan en chips de unidades de procesamiento de gráficos (GPU). Estos requieren de 10 a 15 veces la energía que necesita una CPU tradicional porque una GPU usa más transistores en las unidades lógicas aritméticas. Actualmente, los tres principales proveedores de nube a hiperescala son Amazon AWS, Google Cloud y Microsoft Azure.

Si tratamos de comprender el impacto ambiental de ChatGPT a través de la lente de la huella de carbono, primero debemos comprender el ciclo de vida de la huella de carbono de los modelos de aprendizaje automático (ML). Esa es la clave para comenzar a hacer que la IA generativa sea más ecológica a través de un menor consumo de energía.

¿Qué determina la huella de carbono de los modelos de IA generativa?

Todos los grandes modelos generativos no son iguales en términos de uso de energía y emisiones de carbono. Al determinar la huella de carbono de un modelo ML, hay tres valores distintos a considerar:

• la huella de carbono del entrenamiento del modelo
• la huella de carbono de ejecutar la inferencia (inferir o predecir resultados utilizando nuevos datos de entrada, como un indicador) con el modelo ML una vez que se ha implementado, y
• la huella de carbono requerida para producir todo el hardware informático necesario y las capacidades del centro de datos en la nube.

Los modelos con más parámetros y datos de entrenamiento generalmente consumen más energía y generan más carbono. GPT-3, el modelo "principal" de ChatGPT, está en la parte superior o cerca de la parte superior de los modelos generativos en tamaño. Tiene 175 mil millones de parámetros de modelo y se entrenó en más de 500 mil millones de palabras de texto. Según un artículo de investigación, la clase reciente de modelos de IA generativa requiere un aumento de diez a cien veces en la potencia informática para entrenar modelos con respecto a la generación anterior, según el modelo involucrado. Por lo tanto, la demanda general se duplica aproximadamente cada seis meses.

Los modelos de entrenamiento son los componentes más intensivos en energía de la IA generativa. Los investigadores han argumentado que se estima que entrenar un "modelo de aprendizaje profundo de un solo idioma grande", como GPT-4 de OpenAI o PaLM de Google, usa alrededor de 300 toneladas de CO2; en comparación, la persona promedio es responsable de crear alrededor de 5 toneladas de CO2 al año, aunque el norteamericano promedio genera varias veces esa cantidad. Otros investigadorescalculó que entrenar un modelo de IA generativo de tamaño mediano usando una técnica llamada "búsqueda de arquitectura neuronal" usó un consumo de electricidad y energía equivalente a 626,000 toneladas de emisiones de CO2, o lo mismo que las emisiones de CO2 al conducir cinco autos estadounidenses promedio a lo largo de su vida. Entrenar un solo modelo BERT (un modelo de lenguaje grande desarrollado por Google) desde cero requeriría la misma energía y huella de carbono que un vuelo transatlántico comercial.

La inferencia, o el uso de los modelos para obtener respuestas a las indicaciones del usuario, utiliza menos energía en cada sesión, pero eventualmente involucra muchas más sesiones. A veces, estos modelos solo se entrenan una vez y luego se implementan en la nube y millones de usuarios los utilizan para la inferencia. En ese caso, la implementación de grandes modelos de aprendizaje profundo en la nube con fines de inferencia también consume mucha energía. Los analistas informan que NVIDIA estima que entre el 80% y el 90% del costo de energía de las redes neuronales se encuentra en el procesamiento de inferencias en curso después de entrenar un modelo.

Además de la capacitación inicial y el uso de la inferencia de la energía por parte de los grandes modelos generativos, los usuarios y revendedores de estos modelos emplean cada vez más la capacitación de ajuste fino o basada en indicaciones. Cuando se combina con el modelo generativo original entrenado en grandes volúmenes de datos, el ajuste fino permite mensajes y respuestas que se adaptan al contenido específico de una organización. Algunas investigaciones sugieren que el entrenamiento de ajuste fino consume considerablemente menos energía y poder de cómputo que el entrenamiento inicial. Sin embargo, si muchas organizaciones adoptan enfoques de ajuste fino y lo hacen con frecuencia, el consumo total de energía podría ser bastante alto.

Aunque es difícil calcular el costo de fabricación de las computadoras necesarias para ejecutar todo este software de IA, hay razones para creer que es muy alto. Un estudio de 2011 estimó que el 70% de la energía utilizada por una computadora portátil típica se consume durante su fabricación, y que las computadoras de escritorio son incluso más altas. Es probable que los chips y servidores GPU complejos y potentes utilizados para ejecutar modelos de IA sean mucho más altos que las computadoras portátiles y de escritorio.

Cómo hacer que la IA sea más ecológica

Dado todo eso, existe un movimiento para hacer que el modelado, la implementación y el uso de la IA sean más sostenibles desde el punto de vista ambiental. Su objetivo es reemplazar los enfoques hambrientos de energía con reemplazos más adecuados y conscientes del medio ambiente. Se necesita un cambio tanto de los proveedores como de los usuarios para hacer que los algoritmos de IA sean ecológicos para que su utilidad pueda implementarse ampliamente sin dañar el medio ambiente. Los modelos generativos en particular, dado su alto consumo de energía, deben volverse más ecológicos antes de que se vuelvan más omnipresentes. Conocemos varias formas diferentes en las que la IA y la IA generativa pueden moverse en esta dirección, que describimos a continuación.

Use modelos generativos grandes existentes, no genere los suyos propios. Ya hay muchos proveedores de modelos de imágenes y lenguajes grandes, y habrá más. Crearlos y entrenarlos requiere enormes cantidades de energía. Hay poca necesidad de que las empresas que no sean grandes proveedores o proveedores de la nube generen sus propios modelos grandes desde cero. Ya tienen acceso a los datos de capacitación necesarios y volúmenes masivos de capacidad informática en la nube, por lo que no necesitan adquirirlos.

Ajuste los modelos existentes del tren. Si una empresa quiere un modelo generativo entrenado en su propio contenido, no debe comenzar desde cero para entrenar un modelo sino refinar un modelo existente. La puesta a punto y la formación rápida en dominios de contenido específicos consumen mucha menos energía que la formación de nuevos modelos grandes desde cero. También puede proporcionar más valor a muchas empresas que los modelos de capacitación genérica. Este debería ser el enfoque principal para las empresas que deseen adoptar modelos generativos para su propio contenido.

Utilizar métodos computacionales de conservación de energía. Otro enfoque para reducir el consumo de energía de IA generativa es utilizar enfoques computacionalmente menos costosos, como TinyML, para procesar los datos. El marco TinyML permite a los usuarios ejecutar modelos ML en dispositivos periféricos pequeños y de bajo consumo, como microcontroladores con requisitos de ancho de banda reducidos (sin necesidad de enviar los datos al servidor para su procesamiento). Mientras que las CPU generales consumen un promedio de 70 vatios de energía y las GPU consumen 400 vatios de energía, un pequeño microcontrolador consume solo unos cientos de microvatios, mil veces menos energía, para procesar los datos localmente sin enviarlos a los servidores de datos.

Use un modelo grande solo cuando ofrezca un valor significativo. Es importante que los científicos de datos y los desarrolladores sepan dónde proporciona valor el modelo. Si el uso de un sistema que consume 3 veces más energía aumenta la precisión de un modelo entre un 1% y un 3%, entonces no vale la pena el consumo de energía adicional. En términos más generales, el aprendizaje automático y la inteligencia artificial no siempre son necesarios para resolver un problema. Los desarrolladores primero deben investigar y analizar múltiples soluciones alternativas y seleccionar un enfoque de acuerdo con los hallazgos. El Instituto de Ética de AI de Montreal, por ejemplo, está trabajando activamente en este problema.

Sea perspicaz cuando use IA generativa. Las herramientas de aprendizaje automático y PNL son revolucionarias para la predicción y los problemas de salud relacionados con la medicina. Son excelentes para predecir peligros naturales como tsunamis, terremotos, etc. Estas son aplicaciones útiles, pero las herramientas para generar publicaciones de blog o crear historias divertidas pueden no ser el mejor uso para estas herramientas de computación pesada. Pueden estar agotando la salud de la tierra más de lo que están ayudando a su gente. Si una empresa emplea IA generativa para la creación de contenido, debe tratar de garantizar que los modelos se usen solo cuando sea necesario o para reducir otros costos informáticos, lo que también debería reducir sus presupuestos informáticos generales.

Evalúe las fuentes de energía de su proveedor de nube o centro de datos. La intensidad de carbono de la IA (y el software en general) se puede minimizar mediante la implementación de modelos en regiones que pueden utilizar recursos de energía respetuosos con el medio ambiente y que no dañan el carbono. Esta práctica ha demostrado una reducción del 75% en las emisiones operativas. Por ejemplo, un modelo capacitado y que opera en los EE. UU. puede usar energía de combustibles fósiles, pero el mismo modelo se puede ejecutar en Quebec, donde la fuente de energía principal es la hidroeléctrica. Google comenzó recientemente a construir un centro de datos de energía limpia de $ 735 millones en Quebec y planea cambiar a energía libre de carbono las 24 horas del día, los 7 días de la semana para 2030. También ofrece una " Suite Carbon Sense” para ayudar a las empresas a reducir el consumo de energía en sus cargas de trabajo en la nube. Los usuarios de los proveedores de la nube pueden monitorear los anuncios de las empresas sobre cuándo y cómo han implementado fuentes de energía neutras en carbono o sin carbono.

Reutilizar modelos y recursos. Al igual que otros materiales, la tecnología se puede reutilizar. Se pueden usar modelos de código abierto en lugar de entrenar otros nuevos. El reciclaje puede reducir el impacto de las prácticas de IA que producen carbono. Las materias primas se pueden extraer para hacer nuevas generaciones de las últimas computadoras portátiles, procesadores, discos duros y mucho más.

Incluya la actividad de IA en su monitoreo de carbono. Todos los laboratorios de investigación, proveedores de IA y empresas que utilizan IA deben adoptar prácticas de monitoreo de carbono para saber cuál es su huella de carbono. También necesitan publicar sus números de huella para que sus clientes tomen decisiones inteligentes sobre cómo hacer negocios con ellos relacionados con la IA. El cálculo de las emisiones de GEI depende de los conjuntos de datos de los proveedores de datos y las empresas de procesamiento, como los laboratorios de investigación y los proveedores de servicios basados ​​en IA, como OpenAI. Desde el inicio de las ideas hasta la infraestructura que se utilizará para obtener resultados de investigación, todos deben seguir enfoques de IA verde. Hay varios paquetes y herramientas en línea disponibles como CodeCarbon, algoritmos verdes yML CO2 Impact, que se puede incluir en su código en tiempo de ejecución para estimar sus emisiones y debemos alentar a la comunidad de desarrolladores a considerar estas métricas de rendimiento para establecer puntos de referencia y evaluar modelos ML.

Por supuesto, hay muchas consideraciones relacionadas con el uso de modelos generativos de IA por parte de organizaciones e individuos: éticos, legales e incluso filosóficos y psicológicos. Las preocupaciones ecológicas, sin embargo, merecen ser añadidas a la mezcla. Podemos debatir las implicaciones futuras a largo plazo de estas tecnologías para la humanidad, pero tales consideraciones serán discutibles si no tenemos un planeta habitable para debatirlas.

Lea más sobre Sostenibilidad ambiental o temas relacionados Tecnología y análisis, inteligencia artificial y aprendizaje automático y gestión de datos

Ajay Kumar es profesor asociado de sistemas de información y análisis empresarial en EMLYON Business School, Francia. Ajay ha ocupado puestos posdoctorales en el Instituto de Tecnología de Massachusetts y la Universidad de Harvard. Actualmente, está afiliado como miembro visitante a la Said Business School de la Universidad de Oxford.

Thomas H. Davenport es Profesor Distinguido del Presidente de TI y Gestión en Babson College, investigador en el Centro de Negocios Digitales del MIT, cofundador del Instituto Internacional de Análisis y Asesor Principal de Deloitte Analytics. Es autor del nuevo libro Big Data at Work y del superventas Competiting on Analytics.