Cuando IA se encuentra con la economía de la reputación, todos somos juzgados silenciosamente
Por Sophie Kleber
Harvard Business Review
Datos
En el episodio de Black Mirror Nosedive, el protagonista, Lacie, vive en un mundo de cortesías en el que se anota toda interacción personal o comercial. Todo depende del puntaje social, y todos están desesperados por ascender en el ranking. Pero el juego de clasificación omnipresente tiene una gran captura: la clasificación es increíblemente difícil, mientras que la clasificación es rápida y fácil, como una caída libre.
Bienvenido a la economía de la reputación, donde el gráfico social individual, el conjunto de datos sociales sobre cada persona, determina el valor de uno en la sociedad, el acceso a los servicios y la empleabilidad. En esta economía, la reputación se convierte en moneda.
La economía de la reputación se basa en el sistema de clasificación de estrellas simplista pero efectivo. Cualquiera que haya calificado alguna vez su controlador Uber o su host Airbnb ha participado activamente. Pero, ¿qué sucede cuando los algoritmos, en lugar de los humanos, determinan el puntaje de reputación de un individuo en base a múltiples fuentes de datos y fórmulas matemáticas, prometiendo más precisión y más flexibilidad a través del aprendizaje automático?
El 70% de las empresas de EE. UU. Actualmente utilizan las redes sociales para detectar a los empleados. Y muchas startups habilitadas con inteligencia artificial compiten en el mercado de evaluación de recursos humanos, utilizando AI para rastrear las cuentas de medios sociales de los candidatos potenciales para filtrar los malos ajustes.
En 2012, Facebook solicitó una patente que utilizaría un algoritmo para evaluar las calificaciones crediticias de amigos, como un factor en la elegibilidad para obtener una hipoteca. Y China tiene el objetivo de implementar un puntaje social nacional para cada ciudadano para el año 2020, basado en los registros del crimen, sus redes sociales, lo que compra, e incluso los puntajes de sus amigos.
Cuando AI comienza a determinar el valor social de un individuo, lo que está en juego es alto. Como escribe Kim Darah en The New Economy: "Lejos de ser herramientas de decisión neutras y que todo lo saben, los algoritmos complejos están formados por humanos, que son, a todos los efectos, imperfectos". Debemos preguntarnos: ¿Qué tan buenos son los datos? ? ¿Qué tan bueno es el matemático? ¿Qué tan preparada está la sociedad para ser juzgada por la IA? ¿Y qué podría salir mal?
Malos datos
Los algoritmos aprenden extrayendo patrones de grandes conjuntos de datos históricos y luego aplicando esos patrones para predecir el futuro. Cuando el conjunto de datos está defectuoso, la predicción será incorrecta.
En 2012, el estado de Idaho redujo los beneficios de Medicaid para 4,000 personas con discapacidades de desarrollo e intelectuales en un sorprendente 20-30%. Después de que la American Civil Liberties Union (ACLU) demandó para obtener información sobre el algoritmo utilizado para determinar los recortes, descubrieron que dos tercios de los datos históricos habían sido corruptos, lo que resultó en un algoritmo predictivo basado en un subconjunto ligeramente defectuoso de un tercio de los datos existentes. Los datos incorrectos llevaron, entre otras cosas, a malos resultados.
Los datos potenciales de economía de reputación son igualmente defectuosos. El 79% de los estadounidenses en línea usan Facebook, pero solo el 32% están en Instagram y el 24% están en Twitter. Esta variación en la penetración de las redes sociales hace posible la triangulación de datos de múltiples redes solo para un subconjunto de usuarios; es un conjunto de datos incompleto. Además, la fragmentación a través de los canales de comunicación hace que las conexiones de pesaje por el verdadero nivel de afiliación sean imposibles.
Pero el problema más grande es el hecho comprobado de que la presencia digital de uno rara vez refleja su verdadero ser. Las personas publican cosas que piensan que las harán lucir bien, y dependiendo de la afiliación y la etapa de la vida, eso puede resultar en exageración, en cualquier dirección. Este sesgo hace que el uso de los datos de las redes sociales sea cuestionable en muchos casos.
Mala matemática
Los algoritmos no tienen una conciencia; repiten lo que aprenden. Cuando los algoritmos se repiten y perpetúan el sesgo o la opinión, debemos considerar el lavado matemático.
El lavado matemático involuntario ocurre cuando el algoritmo no se controla y, al aprender de los datos históricos, amplía el sesgo social. El sistema de justicia de los EE. UU. Usa un algoritmo llamado COMPAS para determinar la probabilidad de un delincuente de volver a delinquir. COMPAS ha sido probado por Pro Publica para predecir que los acusados negros tendrán mayores índices de reincidencia de lo que en realidad lo hacen, mientras que los acusados blancos tienen tasas más bajas de lo que realmente lo hacen.
El lavado matemático deliberado se produce cuando el algoritmo se modifica para corregir el curso o sesgar el sesgo. Supuestamente, Facebook se lavaba las narices cuando rutinariamente suprimía las noticias conservadoras en 2016.
El sesgo inconsciente está profundamente arraigado en el tejido social de Estados Unidos. Seguir dejando que los algoritmos perpetúen el sesgo social sería irresponsable, y basar las decisiones que cambian la vida en esa información podría retrasar el progreso hacia una verdadera igualdad.
Consecuencias no deseadas en la sociedad
La presión social es una forma poderosa y sutil de control. Y cuando esta presión social se amplifica con un algoritmo oscuro que presumiblemente observa cada movimiento digital, la libertad de expresión puede verse comprometida. Las personas pueden simplemente temer hablar en público, por temor a los efectos que pueda tener en su capacidad de obtener empleo, bienes o servicios. Tal "enfriamiento social" describe una cultura de autocensura, donde las personas (voluntariamente) ajustan su comportamiento para ajustarse a una norma social, por temor a que su comportamiento monitoreado digitalmente pueda afectar su reputación.
Los conductores de Uber exitosos están practicando el enfriamiento social adaptándose a una expectativa común de servicio: como describió un conductor de Uber en una entrevista con The Verge: "El servidor anticipa las necesidades, las hace sin esfuerzo, habla cuando se le habla, y usted ni siquiera nota que están ahí ".
Airbnb exhibe enfriamiento social en su sistema de revisión de anfitrión / invitado, donde las palabras genéricas de mayor elogio reflejan la renuencia de los anfitriones y los invitados a juzgar o ser juzgados.
Debido a la naturaleza abstracta y oscura del aprendizaje automático, las personas sienten que nunca saben cuándo se les juzga (¿cómo está conectado el ecosistema?) O quién (¿quién tiene acceso a los datos?) O cómo (¿cuál es el algoritmo? ) Esto lleva a la aversión al riesgo, que podría suprimir la expresión de ideas inconformistas y podría acabar con la creatividad. Llevado al extremo, esto crea una sociedad donde las personas tienen miedo de decir lo que piensan.
¿A dónde vamos desde aquí?
A medida que continuamos despertando a nuestra nueva realidad digital, la economía de la reputación se convertirá en una realidad para todos nosotros. Y optar por no ser una opción viable, cuando el 57% de los empleadores dicen que si no pueden encontrar un candidato en línea, saltan al siguiente. Nuestra reputación se convertirá en moneda.
Los legisladores y los grupos de derechos civiles por igual están lidiando con la cuestión de cómo regular el uso de algoritmos y cómo mantener el control de calidad sobre las fórmulas. Esfuerzos como el Reglamento General de Protección de Datos de la UE (GDPR) tienen como objetivo volver a poner al usuario en control de sus propios datos personales.
Mientras tanto, las personas deberán vigilar sus datos personales en línea. Para muchos adolescentes, la gestión de la reputación en línea es una realidad cotidiana en la que están bien versados. Sus perfiles a menudo son privados, regularmente arreglados y altamente curados. Su necesidad de autoexpresión sin censura y la oportunidad de cometer errores es, por ahora, subcontratada a plataformas efímeras como SnapChat. A medida que AI continúe infiltrándose en la economía de la reputación, se requerirá de todos nosotros disciplina en la forma en que interactuamos y en cómo juzgamos en línea.
Si esperamos tener acceso a empleos, bienes y servicios en el futuro, las plataformas sociales ya no pueden ser un patio de recreo para el ego. Nuestra reputación en línea nos precederá a todos.
Sophie Kleber es la directora creativa ejecutiva, producto global e innovación de Huge, Inc., donde trabaja para crear experiencias futuras de usuarios avanzados, utilizando AI para simplificar el complejo. Ella habla regularmente sobre el aprendizaje automático y el diseño anticipatorio. Ella hablará en SXSW 2018 sobre el diseño de personalidad artificial.
Harvard Business Review
Datos
En el episodio de Black Mirror Nosedive, el protagonista, Lacie, vive en un mundo de cortesías en el que se anota toda interacción personal o comercial. Todo depende del puntaje social, y todos están desesperados por ascender en el ranking. Pero el juego de clasificación omnipresente tiene una gran captura: la clasificación es increíblemente difícil, mientras que la clasificación es rápida y fácil, como una caída libre.
Bienvenido a la economía de la reputación, donde el gráfico social individual, el conjunto de datos sociales sobre cada persona, determina el valor de uno en la sociedad, el acceso a los servicios y la empleabilidad. En esta economía, la reputación se convierte en moneda.
La economía de la reputación se basa en el sistema de clasificación de estrellas simplista pero efectivo. Cualquiera que haya calificado alguna vez su controlador Uber o su host Airbnb ha participado activamente. Pero, ¿qué sucede cuando los algoritmos, en lugar de los humanos, determinan el puntaje de reputación de un individuo en base a múltiples fuentes de datos y fórmulas matemáticas, prometiendo más precisión y más flexibilidad a través del aprendizaje automático?
El 70% de las empresas de EE. UU. Actualmente utilizan las redes sociales para detectar a los empleados. Y muchas startups habilitadas con inteligencia artificial compiten en el mercado de evaluación de recursos humanos, utilizando AI para rastrear las cuentas de medios sociales de los candidatos potenciales para filtrar los malos ajustes.
En 2012, Facebook solicitó una patente que utilizaría un algoritmo para evaluar las calificaciones crediticias de amigos, como un factor en la elegibilidad para obtener una hipoteca. Y China tiene el objetivo de implementar un puntaje social nacional para cada ciudadano para el año 2020, basado en los registros del crimen, sus redes sociales, lo que compra, e incluso los puntajes de sus amigos.
Cuando AI comienza a determinar el valor social de un individuo, lo que está en juego es alto. Como escribe Kim Darah en The New Economy: "Lejos de ser herramientas de decisión neutras y que todo lo saben, los algoritmos complejos están formados por humanos, que son, a todos los efectos, imperfectos". Debemos preguntarnos: ¿Qué tan buenos son los datos? ? ¿Qué tan bueno es el matemático? ¿Qué tan preparada está la sociedad para ser juzgada por la IA? ¿Y qué podría salir mal?
Malos datos
Los algoritmos aprenden extrayendo patrones de grandes conjuntos de datos históricos y luego aplicando esos patrones para predecir el futuro. Cuando el conjunto de datos está defectuoso, la predicción será incorrecta.
En 2012, el estado de Idaho redujo los beneficios de Medicaid para 4,000 personas con discapacidades de desarrollo e intelectuales en un sorprendente 20-30%. Después de que la American Civil Liberties Union (ACLU) demandó para obtener información sobre el algoritmo utilizado para determinar los recortes, descubrieron que dos tercios de los datos históricos habían sido corruptos, lo que resultó en un algoritmo predictivo basado en un subconjunto ligeramente defectuoso de un tercio de los datos existentes. Los datos incorrectos llevaron, entre otras cosas, a malos resultados.
Los datos potenciales de economía de reputación son igualmente defectuosos. El 79% de los estadounidenses en línea usan Facebook, pero solo el 32% están en Instagram y el 24% están en Twitter. Esta variación en la penetración de las redes sociales hace posible la triangulación de datos de múltiples redes solo para un subconjunto de usuarios; es un conjunto de datos incompleto. Además, la fragmentación a través de los canales de comunicación hace que las conexiones de pesaje por el verdadero nivel de afiliación sean imposibles.
Pero el problema más grande es el hecho comprobado de que la presencia digital de uno rara vez refleja su verdadero ser. Las personas publican cosas que piensan que las harán lucir bien, y dependiendo de la afiliación y la etapa de la vida, eso puede resultar en exageración, en cualquier dirección. Este sesgo hace que el uso de los datos de las redes sociales sea cuestionable en muchos casos.
Mala matemática
Los algoritmos no tienen una conciencia; repiten lo que aprenden. Cuando los algoritmos se repiten y perpetúan el sesgo o la opinión, debemos considerar el lavado matemático.
El lavado matemático involuntario ocurre cuando el algoritmo no se controla y, al aprender de los datos históricos, amplía el sesgo social. El sistema de justicia de los EE. UU. Usa un algoritmo llamado COMPAS para determinar la probabilidad de un delincuente de volver a delinquir. COMPAS ha sido probado por Pro Publica para predecir que los acusados negros tendrán mayores índices de reincidencia de lo que en realidad lo hacen, mientras que los acusados blancos tienen tasas más bajas de lo que realmente lo hacen.
El lavado matemático deliberado se produce cuando el algoritmo se modifica para corregir el curso o sesgar el sesgo. Supuestamente, Facebook se lavaba las narices cuando rutinariamente suprimía las noticias conservadoras en 2016.
El sesgo inconsciente está profundamente arraigado en el tejido social de Estados Unidos. Seguir dejando que los algoritmos perpetúen el sesgo social sería irresponsable, y basar las decisiones que cambian la vida en esa información podría retrasar el progreso hacia una verdadera igualdad.
Consecuencias no deseadas en la sociedad
La presión social es una forma poderosa y sutil de control. Y cuando esta presión social se amplifica con un algoritmo oscuro que presumiblemente observa cada movimiento digital, la libertad de expresión puede verse comprometida. Las personas pueden simplemente temer hablar en público, por temor a los efectos que pueda tener en su capacidad de obtener empleo, bienes o servicios. Tal "enfriamiento social" describe una cultura de autocensura, donde las personas (voluntariamente) ajustan su comportamiento para ajustarse a una norma social, por temor a que su comportamiento monitoreado digitalmente pueda afectar su reputación.
Los conductores de Uber exitosos están practicando el enfriamiento social adaptándose a una expectativa común de servicio: como describió un conductor de Uber en una entrevista con The Verge: "El servidor anticipa las necesidades, las hace sin esfuerzo, habla cuando se le habla, y usted ni siquiera nota que están ahí ".
Airbnb exhibe enfriamiento social en su sistema de revisión de anfitrión / invitado, donde las palabras genéricas de mayor elogio reflejan la renuencia de los anfitriones y los invitados a juzgar o ser juzgados.
Debido a la naturaleza abstracta y oscura del aprendizaje automático, las personas sienten que nunca saben cuándo se les juzga (¿cómo está conectado el ecosistema?) O quién (¿quién tiene acceso a los datos?) O cómo (¿cuál es el algoritmo? ) Esto lleva a la aversión al riesgo, que podría suprimir la expresión de ideas inconformistas y podría acabar con la creatividad. Llevado al extremo, esto crea una sociedad donde las personas tienen miedo de decir lo que piensan.
¿A dónde vamos desde aquí?
A medida que continuamos despertando a nuestra nueva realidad digital, la economía de la reputación se convertirá en una realidad para todos nosotros. Y optar por no ser una opción viable, cuando el 57% de los empleadores dicen que si no pueden encontrar un candidato en línea, saltan al siguiente. Nuestra reputación se convertirá en moneda.
Los legisladores y los grupos de derechos civiles por igual están lidiando con la cuestión de cómo regular el uso de algoritmos y cómo mantener el control de calidad sobre las fórmulas. Esfuerzos como el Reglamento General de Protección de Datos de la UE (GDPR) tienen como objetivo volver a poner al usuario en control de sus propios datos personales.
Mientras tanto, las personas deberán vigilar sus datos personales en línea. Para muchos adolescentes, la gestión de la reputación en línea es una realidad cotidiana en la que están bien versados. Sus perfiles a menudo son privados, regularmente arreglados y altamente curados. Su necesidad de autoexpresión sin censura y la oportunidad de cometer errores es, por ahora, subcontratada a plataformas efímeras como SnapChat. A medida que AI continúe infiltrándose en la economía de la reputación, se requerirá de todos nosotros disciplina en la forma en que interactuamos y en cómo juzgamos en línea.
Si esperamos tener acceso a empleos, bienes y servicios en el futuro, las plataformas sociales ya no pueden ser un patio de recreo para el ego. Nuestra reputación en línea nos precederá a todos.
Sophie Kleber es la directora creativa ejecutiva, producto global e innovación de Huge, Inc., donde trabaja para crear experiencias futuras de usuarios avanzados, utilizando AI para simplificar el complejo. Ella habla regularmente sobre el aprendizaje automático y el diseño anticipatorio. Ella hablará en SXSW 2018 sobre el diseño de personalidad artificial.
No hay comentarios:
Publicar un comentario