Cuándo los algoritmos deciden de quién se oirán las voces
Por Theodora (Theo) Lau y Uday Akkaraju
Tecnología
Harvard Business Review
¿Qué fue lo primero que hiciste esta mañana cuando te despertaste? ¿Y qué fue lo último que hiciste antes de acostarte anoche?
Lo más probable es que muchos de nosotros, probablemente la mayoría de nosotros, estuviéramos en nuestros teléfonos inteligentes. Nuestro consumo diario de todo lo digital se analiza y dicta cada vez más mediante algoritmos: lo que vemos (o no vemos) en nuestras noticias y fuentes de redes sociales, los productos que compramos, la música que escuchamos. Cuando escribimos una consulta en un motor de búsqueda, los resultados se determinan y clasifican según lo que se considera "útil" y "relevante". Serendipity a menudo ha sido reemplazado por contenido seleccionado, con todos nosotros envueltos dentro de nuestro propio contenido personalizado. burbujas
¿Estamos renunciando a nuestra libertad de expresión y acción en nombre de la conveniencia? Si bien es posible que tengamos el poder percibido de expresarnos digitalmente, nuestra capacidad de ser vistos se rige cada vez más por algoritmos, con líneas de códigos y lógica, programados por humanos falibles. Desafortunadamente, lo que dicta y controla los resultados de tales programas es, en la mayoría de los casos, una caja negra.
Considere una reseña reciente en Wired, que ilustra cómo los algoritmos de aplicaciones de citas refuerzan el sesgo. Las aplicaciones como Tinder, Hinge y Bumble usan "filtrado colaborativo", que genera recomendaciones basadas en la opinión de la mayoría. Con el tiempo, dichos algoritmos refuerzan el sesgo social al limitar lo que podemos ver. Una revisión realizada por investigadores de la Universidad de Cornell identificó características de diseño similares para algunas de las mismas aplicaciones de citas, y el potencial de sus algoritmos para introducir formas más sutiles de sesgo. Descubrieron que la mayoría de las aplicaciones de citas emplean algoritmos que generan coincidencias según las preferencias personales anteriores de los usuarios y el historial de coincidencia de personas similares.
Pero, ¿qué pasa si los algoritmos que operan en una caja negra comienzan a impactar más que solo citas o pasatiempos? ¿Qué pasa si deciden a quién se le da prioridad a la voz? ¿Qué pasa si, en lugar de una plaza pública donde florece la libertad de expresión, Internet se convierte en un espacio protegido donde solo se escucha a un grupo selecto de individuos, y nuestra sociedad a su vez se forma con esas voces? Para llevar esto aún más lejos, ¿qué pasaría si cada ciudadano obtuviera un puntaje social, basado en un conjunto de valores, y los servicios que recibimos se rigen por ese puntaje? ¿Cómo nos iría entonces? Se espera que un ejemplo de dicho sistema, llamado Sistema de Crédito Social, entre en pleno funcionamiento en China en 2020. Si bien aún no se comprenden todas las implicaciones del programa de China, imagine cuándo el acceso al crédito se mide no solo por nuestro historial crediticio , pero por los amigos en nuestro círculo de redes sociales; cuando nuestra dignidad es considerada por un algoritmo sin transparencia o recurso humano; cuando nuestra elegibilidad para el seguro podría determinarse mediante sistemas de aprendizaje automático basados en nuestro ADN y nuestros perfiles digitales percibidos.
En estos casos, ¿en qué valores se basará el algoritmo? ¿De quién será la ética incrustada en el cálculo? ¿Qué tipos de datos históricos se utilizarán? ¿Y podríamos preservar la transparencia en estos temas y otros? Sin respuestas claras a estas preguntas, y sin definiciones estandarizadas de qué es el sesgo y qué significa la equidad, el sesgo humano y social se filtrará inconscientemente. Esto se vuelve aún más preocupante cuando las instituciones no tienen una representación diversa en su personal que refleje la demografía a la que sirven. El resultado de tales algoritmos puede afectar desproporcionadamente a aquellos que no pertenecen.
Entonces, ¿cómo previene la sociedad esto, o reducirlo cuando ocurre? Prestando atención a quién posee los datos. En un mundo donde los datos son el oxígeno que alimenta el motor de IA, aquellos que poseen los datos más útiles ganarán. En este mundo, debemos decidir quiénes serán los guardianes, ya que los grandes gigantes de la tecnología juegan cada vez más un papel central en todos los aspectos de nuestras vidas, y dónde se traza la línea entre los intereses públicos y privados. (En los EE. UU., Los guardianes generalmente son las propias compañías tecnológicas. En otras regiones, como Europa, el gobierno está comenzando a asumir ese papel).
Además, a medida que la IA continúa aprendiendo, y las apuestas se vuelven más altas cuando la salud y la riqueza de las personas están involucradas, hay algunos controles y equilibrios en los que estos guardianes deben centrarse. Deben asegurarse de que la IA no utilice datos históricos para prejuzgar los resultados; implementado incorrectamente, la IA solo repetirá los errores del pasado. Es imperativo que los datos y los científicos computacionales integren aportes de expertos de otros dominios, como la economía del comportamiento, la sociología, la ciencia cognitiva y el diseño centrado en el ser humano, para calibrar las dimensiones intangibles del cerebro humano y predecir el contexto. que el resultado Realizar comprobaciones de validez con la fuente de datos y el propietario de los datos para determinar el sesgo en varios puntos del proceso de desarrollo se vuelve más crucial a medida que diseñamos AI para anticipar interacciones y corregir sesgos.
Las organizaciones también juegan un papel. Si bien es posible que no quieran revelar lo que está dentro de su propia caja negra, deben ser abiertos y transparentes al revelar lo que define la imparcialidad y los prejuicios, es decir, los límites de la caja negra. Con este fin, las organizaciones deben adoptar pautas universales para crear y usar IA, como las propuestas por la Organización para la Cooperación y el Desarrollo Económico (OCDE): “Los principios requerirían que la IA respete los derechos humanos, los valores democráticos y la Ley. También debe ser seguro, abierto y obvio para los usuarios, mientras que aquellos que hacen y usan IA deben ser responsables de sus acciones y ofrecer transparencia ”. Y Steve Andriole, profesor de Tecnología de Negocios en la Escuela de Negocios de Villanova, recientemente solicitó un pregunta que invita a la reflexión: "¿Qué pasaría si diseñáramos a la IA para que fuera fiel a un principio simple: los seres humanos, independientemente de su edad, género, raza, origen, religión, ubicación, inteligencia, ingresos o riqueza, deberían ser tratados de manera equitativa, justa y consistente? ?
Y si. O si solo.
No podemos esperar para abordar estos problemas. Por ejemplo, es muy probable que los banqueros humanos pronto se vean aumentados con IA. El Departamento de Servicios Financieros de Nueva York (NYFS) ha publicado nuevas pautas que permitirán a las compañías de seguros de vida utilizar los datos de las redes sociales de los clientes para determinar sus primas (siempre que no discriminen). Probablemente no pasará mucho tiempo antes de que las aseguradoras comiencen a usar otras fuentes de datos alternativas también, siguiendo los pasos de muchas nuevas empresas de préstamos fintech. Entonces, a medida que continuamos el viaje de la evolución de la tecnología, debemos asegurarnos de no sacrificar la justicia y la transparencia en nombre de las ganancias de eficiencia. Debemos asegurarnos de abordar los puntos ciegos de nuestras tecnologías, que la desigualdad no se exacerbe y que la historia no se repita. Colectivamente, debemos responsabilizar a los líderes, tecnólogos y aquellos con un inmenso poder por sus acciones, para que la tecnología y los datos puedan usarse para el bien y para mejorar el bienestar de todos los ciudadanos.
Debemos trabajar hacia un futuro donde nuestro destino no esté determinado por un algoritmo que funcione en una caja negra.
Theodora (Theo) Lau es la fundadora de Unconventional Ventures y copresentadora de Rhetoriq, un podcast sobre historias con un propósito y discusiones que invitan a la reflexión sobre la longevidad, la tecnología y la innovación. Como oradora, escritora y asesora, busca generar innovación para mejorar el bienestar financiero de los consumidores y mejorar la banca. Síguela en Twitter @psb_dc.
Uday Akkaraju es un diseñador centrado en el ser humano especializado en ciencias cognitivas. Su trabajo se centra en hacer que la inteligencia artificial sea empática. Es el CEO de BOND.AI. Encuéntralo en Twitter @Uday_Akkaraju.
Tecnología
Harvard Business Review
¿Qué fue lo primero que hiciste esta mañana cuando te despertaste? ¿Y qué fue lo último que hiciste antes de acostarte anoche?
Lo más probable es que muchos de nosotros, probablemente la mayoría de nosotros, estuviéramos en nuestros teléfonos inteligentes. Nuestro consumo diario de todo lo digital se analiza y dicta cada vez más mediante algoritmos: lo que vemos (o no vemos) en nuestras noticias y fuentes de redes sociales, los productos que compramos, la música que escuchamos. Cuando escribimos una consulta en un motor de búsqueda, los resultados se determinan y clasifican según lo que se considera "útil" y "relevante". Serendipity a menudo ha sido reemplazado por contenido seleccionado, con todos nosotros envueltos dentro de nuestro propio contenido personalizado. burbujas
¿Estamos renunciando a nuestra libertad de expresión y acción en nombre de la conveniencia? Si bien es posible que tengamos el poder percibido de expresarnos digitalmente, nuestra capacidad de ser vistos se rige cada vez más por algoritmos, con líneas de códigos y lógica, programados por humanos falibles. Desafortunadamente, lo que dicta y controla los resultados de tales programas es, en la mayoría de los casos, una caja negra.
Considere una reseña reciente en Wired, que ilustra cómo los algoritmos de aplicaciones de citas refuerzan el sesgo. Las aplicaciones como Tinder, Hinge y Bumble usan "filtrado colaborativo", que genera recomendaciones basadas en la opinión de la mayoría. Con el tiempo, dichos algoritmos refuerzan el sesgo social al limitar lo que podemos ver. Una revisión realizada por investigadores de la Universidad de Cornell identificó características de diseño similares para algunas de las mismas aplicaciones de citas, y el potencial de sus algoritmos para introducir formas más sutiles de sesgo. Descubrieron que la mayoría de las aplicaciones de citas emplean algoritmos que generan coincidencias según las preferencias personales anteriores de los usuarios y el historial de coincidencia de personas similares.
Pero, ¿qué pasa si los algoritmos que operan en una caja negra comienzan a impactar más que solo citas o pasatiempos? ¿Qué pasa si deciden a quién se le da prioridad a la voz? ¿Qué pasa si, en lugar de una plaza pública donde florece la libertad de expresión, Internet se convierte en un espacio protegido donde solo se escucha a un grupo selecto de individuos, y nuestra sociedad a su vez se forma con esas voces? Para llevar esto aún más lejos, ¿qué pasaría si cada ciudadano obtuviera un puntaje social, basado en un conjunto de valores, y los servicios que recibimos se rigen por ese puntaje? ¿Cómo nos iría entonces? Se espera que un ejemplo de dicho sistema, llamado Sistema de Crédito Social, entre en pleno funcionamiento en China en 2020. Si bien aún no se comprenden todas las implicaciones del programa de China, imagine cuándo el acceso al crédito se mide no solo por nuestro historial crediticio , pero por los amigos en nuestro círculo de redes sociales; cuando nuestra dignidad es considerada por un algoritmo sin transparencia o recurso humano; cuando nuestra elegibilidad para el seguro podría determinarse mediante sistemas de aprendizaje automático basados en nuestro ADN y nuestros perfiles digitales percibidos.
En estos casos, ¿en qué valores se basará el algoritmo? ¿De quién será la ética incrustada en el cálculo? ¿Qué tipos de datos históricos se utilizarán? ¿Y podríamos preservar la transparencia en estos temas y otros? Sin respuestas claras a estas preguntas, y sin definiciones estandarizadas de qué es el sesgo y qué significa la equidad, el sesgo humano y social se filtrará inconscientemente. Esto se vuelve aún más preocupante cuando las instituciones no tienen una representación diversa en su personal que refleje la demografía a la que sirven. El resultado de tales algoritmos puede afectar desproporcionadamente a aquellos que no pertenecen.
Entonces, ¿cómo previene la sociedad esto, o reducirlo cuando ocurre? Prestando atención a quién posee los datos. En un mundo donde los datos son el oxígeno que alimenta el motor de IA, aquellos que poseen los datos más útiles ganarán. En este mundo, debemos decidir quiénes serán los guardianes, ya que los grandes gigantes de la tecnología juegan cada vez más un papel central en todos los aspectos de nuestras vidas, y dónde se traza la línea entre los intereses públicos y privados. (En los EE. UU., Los guardianes generalmente son las propias compañías tecnológicas. En otras regiones, como Europa, el gobierno está comenzando a asumir ese papel).
Además, a medida que la IA continúa aprendiendo, y las apuestas se vuelven más altas cuando la salud y la riqueza de las personas están involucradas, hay algunos controles y equilibrios en los que estos guardianes deben centrarse. Deben asegurarse de que la IA no utilice datos históricos para prejuzgar los resultados; implementado incorrectamente, la IA solo repetirá los errores del pasado. Es imperativo que los datos y los científicos computacionales integren aportes de expertos de otros dominios, como la economía del comportamiento, la sociología, la ciencia cognitiva y el diseño centrado en el ser humano, para calibrar las dimensiones intangibles del cerebro humano y predecir el contexto. que el resultado Realizar comprobaciones de validez con la fuente de datos y el propietario de los datos para determinar el sesgo en varios puntos del proceso de desarrollo se vuelve más crucial a medida que diseñamos AI para anticipar interacciones y corregir sesgos.
Las organizaciones también juegan un papel. Si bien es posible que no quieran revelar lo que está dentro de su propia caja negra, deben ser abiertos y transparentes al revelar lo que define la imparcialidad y los prejuicios, es decir, los límites de la caja negra. Con este fin, las organizaciones deben adoptar pautas universales para crear y usar IA, como las propuestas por la Organización para la Cooperación y el Desarrollo Económico (OCDE): “Los principios requerirían que la IA respete los derechos humanos, los valores democráticos y la Ley. También debe ser seguro, abierto y obvio para los usuarios, mientras que aquellos que hacen y usan IA deben ser responsables de sus acciones y ofrecer transparencia ”. Y Steve Andriole, profesor de Tecnología de Negocios en la Escuela de Negocios de Villanova, recientemente solicitó un pregunta que invita a la reflexión: "¿Qué pasaría si diseñáramos a la IA para que fuera fiel a un principio simple: los seres humanos, independientemente de su edad, género, raza, origen, religión, ubicación, inteligencia, ingresos o riqueza, deberían ser tratados de manera equitativa, justa y consistente? ?
Y si. O si solo.
No podemos esperar para abordar estos problemas. Por ejemplo, es muy probable que los banqueros humanos pronto se vean aumentados con IA. El Departamento de Servicios Financieros de Nueva York (NYFS) ha publicado nuevas pautas que permitirán a las compañías de seguros de vida utilizar los datos de las redes sociales de los clientes para determinar sus primas (siempre que no discriminen). Probablemente no pasará mucho tiempo antes de que las aseguradoras comiencen a usar otras fuentes de datos alternativas también, siguiendo los pasos de muchas nuevas empresas de préstamos fintech. Entonces, a medida que continuamos el viaje de la evolución de la tecnología, debemos asegurarnos de no sacrificar la justicia y la transparencia en nombre de las ganancias de eficiencia. Debemos asegurarnos de abordar los puntos ciegos de nuestras tecnologías, que la desigualdad no se exacerbe y que la historia no se repita. Colectivamente, debemos responsabilizar a los líderes, tecnólogos y aquellos con un inmenso poder por sus acciones, para que la tecnología y los datos puedan usarse para el bien y para mejorar el bienestar de todos los ciudadanos.
Debemos trabajar hacia un futuro donde nuestro destino no esté determinado por un algoritmo que funcione en una caja negra.
Theodora (Theo) Lau es la fundadora de Unconventional Ventures y copresentadora de Rhetoriq, un podcast sobre historias con un propósito y discusiones que invitan a la reflexión sobre la longevidad, la tecnología y la innovación. Como oradora, escritora y asesora, busca generar innovación para mejorar el bienestar financiero de los consumidores y mejorar la banca. Síguela en Twitter @psb_dc.
Uday Akkaraju es un diseñador centrado en el ser humano especializado en ciencias cognitivas. Su trabajo se centra en hacer que la inteligencia artificial sea empática. Es el CEO de BOND.AI. Encuéntralo en Twitter @Uday_Akkaraju.
No hay comentarios:
Publicar un comentario