Doxa 1198

Deberíamos probar la IA de la misma manera que la FDA prueba los medicamentos

Por Carissa Véliz 

Tecnología

Harvard Business Review

#doxa #tecnologia #IA #FDA #medicamentos #algoritmos #sesgos

Resumen. Los algoritmos predictivos corren el riesgo de crear profecías autocumplidas, reforzando sesgos preexistentes. Esto se debe en gran parte a que no distingue entre causalidad y correlación. Para evitar esto, debemos enviar nuevos algoritmos a ensayos controlados aleatorios, similares a los que supervisa la FDA al aprobar nuevos medicamentos. Esto nos permitiría inferir si una IA está haciendo predicciones sobre la base de la causalidad.

Nunca permitiríamos que se vendiera un medicamento en el mercado sin haber pasado por pruebas rigurosas, ni siquiera en el contexto de una crisis de salud como la pandemia de coronavirus. Entonces, ¿por qué permitimos que algoritmos que pueden ser tan dañinos como una droga potente se suelten en el mundo sin haber sido sometidos a pruebas igualmente rigurosas? Por el momento, cualquiera puede diseñar un algoritmo y usarlo para tomar decisiones importantes sobre las personas, ya sea que obtengan un préstamo , un trabajo , un apartamento o una sentencia de prisión  , sin ningún tipo de supervisión o requisito basado en pruebas. La población general se utiliza como conejillos de indias.

La inteligencia artificial es una tecnología predictiva . Evalúan, por ejemplo, si es probable que un automóvil golpee un objeto, si es probable que un supermercado necesite más manzanas esta semana y si es probable que una persona pague un préstamo, sea un buen empleado o cometa una infracción adicional. . Las decisiones importantes, incluidas las de vida o muerte, se toman sobre la base de predicciones algorítmicas.

Las predicciones intentan completar la información faltante sobre el futuro para reducir la incertidumbre. Pero las predicciones rara vez son observadores neutrales: cambian el estado de cosas que predicen, en la medida en que se convierten en profecías autocumplidas. Por ejemplo, cuando instituciones importantes como las calificaciones crediticias publican pronósticos negativos sobre un país, eso puede resultar en que los inversionistas huyan del país, lo que a su vez puede causar una crisis económica.

Las profecías autocumplidas son un problema cuando se trata de auditar la precisión de los algoritmos. Suponga que un algoritmo ampliamente utilizado determina que es poco probable que sea un buen empleado. El hecho de que no obtenga trabajos no debe contar como evidencia de que el algoritmo es preciso, porque la causa de que no obtenga trabajos puede ser el algoritmo en sí.

Queremos que los algoritmos predictivos sean precisos, pero no a través de ningún medio, ciertamente no a través de la creación de la realidad que se supone que deben predecir. Demasiadas veces aprendemos que los algoritmos son defectuosos una vez que han destruido vidas, como cuando un algoritmo implementado por la Agencia de Seguro de Desempleo de Michigan acusó falsamente a 34,000 desempleados de fraude.

¿Cómo podemos limitar el poder de las predicciones para cambiar el futuro?

Una solución es someter los algoritmos predictivos a ensayos controlados aleatorios. La única forma de saber si, digamos, un algoritmo que evalúa a los candidatos al puesto es realmente preciso, es dividir a los posibles empleados en un grupo experimental (que está sujeto al algoritmo) y un grupo de control (que es evaluado por seres humanos). El algoritmo podría evaluar a las personas de ambos grupos, pero sus decisiones solo se aplicarían al grupo experimental. Si las personas que fueron clasificadas negativamente por el algoritmo tuvieran carreras exitosas en el grupo de control, entonces eso sería una buena evidencia de que el algoritmo es defectuoso.

Los ensayos controlados aleatorios también tendrían un gran potencial para identificar sesgos y otras consecuencias negativas imprevistas. Los algoritmos son infamemente opacos . Es difícil entender cómo funcionan, y cuando solo se han probado en un laboratorio, a menudo actúan de formas sorprendentes una vez que se exponen a datos del mundo real. Los ensayos rigurosos podrían garantizar que no usemos algoritmos racistas o sexistas. Se podría crear una agencia similar a la Administración de Drogas y Alimentos para asegurarse de que los algoritmos se hayan probado lo suficiente como para ser utilizados por el público.

Una de las razones por las que los ensayos controlados aleatorios se consideran el estándar de oro en medicina (así como en economía ) es porque son la mejor evidencia que podemos tener de la causalidad. A su vez, una de las deficiencias más evidentes de la IA es que puede identificar correlaciones , pero no comprende la causalidad , lo que a menudo la lleva por mal camino. Por ejemplo, cuando un algoritmo decide que los candidatos masculinos tienen más probabilidades de ser buenos empleados que las mujeres, lo hace porque no puede distinguir entre características causales (por ejemplo, la mayoría de los empleados exitosos anteriores han asistido a la universidad porque la universidad es una buena manera de desarrollar las habilidades) y correlativas (por ejemplo, la mayoría de los empleados exitosos anteriores han sido hombres porque la sociedad sufre de prejuicios sexistas).

Los ensayos controlados aleatorios no solo han sido la base del avance de la medicina, sino que también han evitado innumerables desastres potenciales: la liberación de medicamentos que podrían habernos matado. Tales ensayos podrían hacer lo mismo con la IA. Y si nos uniéramos a la habilidad de la IA para reconocer las correlaciones con la capacidad de los ensayos controlados aleatorios para ayudarnos a inferir la causalidad, tendríamos muchas más posibilidades de desarrollar una IA más poderosa y más ética.

Carissa Véliz es profesora asociada en el Instituto de Ética en IA de la Universidad de Oxford en Inglaterra. Es la autora de Privacy is Power: Why and How You Should Take Back Control of Your Data (Corgi Books, 2021).