¿Cuándo es importante que un algoritmo se explique a sí mismo?
Por Kathryn Hume
Harvard Business Review
Tecnología
Muchos esfuerzos para aplicar el aprendizaje automático se estancan debido a las preocupaciones sobre la "caja negra", es decir, la falta de transparencia sobre por qué un sistema hace lo que hace. A veces esto se debe a que la gente quiere entender por qué se hizo alguna predicción antes de tomar medidas que alteran la vida, como cuando un sistema de visión por computadora indica un 95% de probabilidad de cáncer a partir de una radiografía del pulmón de un paciente. A veces se debe a que los equipos técnicos necesitan identificar y resolver errores sin interrumpir todo el sistema. Y ahora que está en vigencia el Reglamento General de Protección de Datos (GDPR), se requiere que las empresas que manejan datos de consumidores expliquen cómo los sistemas automatizados toman decisiones, especialmente aquellas que afectan significativamente las vidas individuales, como asignar crédito o contratar a un candidato para un trabajo. Si bien GDPR solo se aplica en Europa, las empresas de todo el mundo anticipan que se producirán cambios similares y, por lo tanto, están revisando los esfuerzos de gobernanza.
Si busca en Internet, encontrará que la mayoría de los escritos sobre explainability algorítmico se divide en dos campos. Los defensores de la adopción rápida de tecnología a menudo sostienen que los humanos no son mejores para explicar decisiones que las máquinas, por lo que deberíamos plantear la cuestión para acelerar la innovación. Estos argumentos retóricos no ayudan a los profesionales responsables del cumplimiento normativo. Por otro lado, los críticos exigen requisitos estrictos para la transparencia y difaman una cultura de "mover rápido y romper cosas". Estos argumentos pueden sofocar la adopción, ya que no todos los casos de uso de aprendizaje automático requieren el mismo nivel de supervisión y responsabilidad: algunas decisiones son más importantes para poder explicar que otras.
Para tener éxito con el aprendizaje automático aplicado, debe retroceder y analizar el problema. ¿Qué significa que un procedimiento matemático o estadístico sea "apropiado" (como requiere GDPR)? ¿Los diferentes casos de uso requieren diferentes tipos de explicaciones? ¿Quién debería participar en las decisiones sobre el impacto comercial, el cumplimiento normativo, el enfoque técnico e incluso los valores éticos cuando las empresas integran el aprendizaje automático en las operaciones comerciales?
Comencemos por desempacar por qué una idea aparentemente simple, como el derecho a una explicación, es difícil de comprender e implementar en la práctica.
Como con cualquier tecnología, cuando comienzas un proyecto de aprendizaje automático, debes decidir si construir o comprar. Trabajar con un proveedor complica la transparencia porque muchas compañías de software eligen no divulgar qué algoritmos usan o los datos que usan para capacitarlos. A menudo, la razón que se da es para proteger la propiedad intelectual o prevenir una violación de seguridad. También hay un problema de complejidad: si el proveedor usa múltiples conjuntos de datos públicos y privados para capacitar a su sistema, piense en lo difícil que sería contar con mecanismos de auditoría para hacer un seguimiento de lo que ocurrió al tomar una decisión.
Si no está utilizando un proveedor, pero elige construir algo en la empresa, debe decidir si solo necesita explicar qué procedimientos va a utilizar, por ejemplo, los tipos de datos y los tipos de modelos, o si quieres ser capaz de explicar el funcionamiento interno de un modelo matemático.
El lenguaje en GDPR implica que es el procedimiento que requiere explicación. El considerando 71 dice que "procesamiento justo y transparente" significa auditar cómo se recopilan los datos, mantener los datos precisos, asegurar los datos y tomar medidas para identificar y prevenir cualquier efecto discriminatorio. El foco está en la recopilación de datos y la integridad; los modelos estadísticos deben ser "apropiados". Ninguno de estos pasos es trivial, pero a menudo se pasan por alto en los debates sobre la explantabilidad porque se presta mucha atención a los algoritmos y los modelos. Por ejemplo, el sesgo puede infiltrarse en un algoritmo en muchos puntos del sistema. Es posible que su empresa haya atendido históricamente a alguna población étnica, por lo que es posible que haya recopilado pocos datos al respecto. Las comunidades étnicas y demográficas pueden estar estrechamente correlacionadas con los datos de ubicación, lo que hace que una variable aparentemente inocua, como la ubicación GPS, sea un proxy para la discriminación étnica. Una vez en producción, los modelos a menudo encuentran casos límite: situaciones, datos o individuos que no son suficientes como los datos en los que han sido entrenados. Es importante controlar el sesgo tanto antes como después de que un sistema entre en producción, y tomar medidas para abordar el tratamiento involuntario.
Un tipo de explicación es aclarar los resultados que un sistema está diseñado para optimizar. En el ejemplo de un sistema de solicitud de crédito en línea, responsabilizar a un sistema significa supervisarlo para garantizar que las denegaciones no se correlacionen con atributos protegidos, como los antecedentes étnicos. Las limitaciones de este enfoque centrado en los resultados es que hay menos información sobre lo que un individuo tendría que hacer para intervenir y cambiar una decisión en el futuro. Un enfoque centrado en la intervención requiere una idea del funcionamiento interno de un modelo. Por ejemplo: "No calificaste porque no pagaste los últimos tres cheques de alquiler. Si paga los siguientes cuatro en una fila, su puntaje será lo suficientemente alto como para superar nuestro puntaje de umbral del 75% ".
Cuando es importante entender la lógica de un modelo estadístico, enfrentamos diferentes desafíos.
Como indiqué en mi artículo sobre la identificación de oportunidades de aprendizaje automático, los diferentes algoritmos de aprendizaje automático son cada vez más fáciles de explicar. Una regresión lineal de la forma y = mx + b no es demasiado difícil de explicar: solo tenemos que rastrear m para saber cómo x (entrada) se relaciona con y (salida). Pero, ¿qué pasa si "m" es una abreviatura de millones de relaciones, definiendo funciones complejas en arquitecturas? Con el aprendizaje profundo, perdemos la capacidad de identificar cómo las entradas se relacionan con los resultados porque la cantidad de variables incluidas y las relaciones entre ellos se vuelven demasiado complejas para describir. Entonces, por ejemplo, una red neuronal profunda puede indicar un 95% de posibilidades de que un individuo deje de pagar un préstamo, pero no puede articular qué aspectos de los datos formaron ese puntaje. Es una solución de compromiso, ya que los algoritmos más complejos desbloquean capacidades que los modelos estadísticos más simples como la regresión lineal no pueden manejar, pero a costa de la capacidad de explicación. (También vale la pena recordar que cuando los científicos de datos construyen algoritmos más simples que pueden ser más fáciles de explicar, también traen consigo sesgos y suposiciones que influyen en lo que ven en los datos, estos sesgos subjetivos son difíciles de identificar y controlar utilizando la tecnología).
Un último desafío en la explicación es dejar en claro para qué se optimiza realmente el modelo. Un cliente de tarjeta de crédito ideal es aquel que usa con frecuencia la tarjeta para la que se inscribe (resultado a largo plazo), no solo la persona que acepta la oferta de la tarjeta de crédito (resultado a corto plazo). Las personas que hacen clic en anuncios de display no suelen ser clientes con un alto valor de por vida, y la mayoría de los esfuerzos de marketing digital solo pueden usar datos de clickstream como proxies para ventas directas. Es difícil medir y obtener retroalimentación sobre los resultados a largo plazo, pero estas incógnitas conocidas pueden ser las más valiosas para el rendimiento de un sistema.
Esto puede parecer desalentador, pero si las personas adecuadas formulan las preguntas correctas en el momento adecuado para informar una serie de llamadas de juicio y decisiones, las cosas se vuelven tratables.
Para empezar, las partes interesadas no técnicas involucradas en un proyecto de aprendizaje automático necesitan capacitación para construir intuiciones sobre cómo funcionan los sistemas estadísticos. No necesitan codificar ni ser científicos de datos, pero sí deben apreciar que los sistemas de aprendizaje automático producen correlaciones de salida y no causas. Deben apreciar que un grupo minoritario que no está bien representado en un conjunto de datos puede recibir un tratamiento injusto de un algoritmo, no por malicia de parte de los científicos de datos, sino porque los modelos tienden a aprender relaciones que ayudan a predecir grandes partes de la información. conjunto de datos, a expensas de la precisión con respecto a ejemplos menos representados.
Luego, durante las discusiones previas al proyecto, un grupo diverso de partes interesadas del negocio, ciencia de datos, TI, privacidad y cumplimiento debe tener un asiento en la mesa. (Las empresas también deberían considerar explícitamente el papel de alguien para cuestionar el algoritmo, como los "equipos rojos" que a veces se utilizan en la toma de decisiones de alto riesgo). Es importante aclarar los requisitos normativos o los riesgos éticos antes de comenzar cualquier trabajo para evitar hundirse costos en aplicaciones interesantes que no cumplirán con los requisitos de nuevas regulaciones como GDPR o riesgo de denigración de la confianza del consumidor.
Estos grupos de diseño multifuncional deberían considerar preguntas como:
¿Qué tipo de responsabilidad importa para el caso de uso? La explicación no siempre es importante. Por ejemplo, si un bufete de abogados utiliza el aprendizaje automático para encontrar documentos relevantes para un caso, lo importante es que no se pierda algo importante, sin explicar por qué un documento es relevante y otro no. Aquí, la métrica correcta para que los científicos de datos se centren se conoce como "recuperación", la fracción de instancias relevantes que se han recuperado sobre la cantidad total de instancias relevantes, a través de un conjunto de documentos. El equipo de ciencia de datos debe integrar esto en las pruebas de modelo y los procesos de aseguramiento de calidad.
¿Dónde se ubica un modelo particular de aprendizaje automático en todo el proceso comercial? Un analista de negocios debe planear el proceso comercial de extremo a extremo. A menudo, un proceso en realidad incluye muchos modelos de aprendizaje automático con diferentes requisitos de explantación. Por ejemplo, un banco que utiliza aprendizaje automático para adquirir nuevos clientes con tarjeta de crédito tendrá al menos dos modelos: uno para evaluar el riesgo y aprobar la tarjeta (que requiere una mayor capacidad de explicación) y otro para predecir la propensión a convertir y personalizar las ofertas (que requiere menor explicabilidad). Las funciones de cumplimiento deben informar a los analistas comerciales de los requisitos normativos en cada fase del proceso comercial y los científicos de datos deben tener en cuenta estas restricciones en lugar de seleccionar solo la técnica de aprendizaje automático que tenga el mejor rendimiento en una tarea.
¿Qué procesos usaremos para gobernar los resultados? Los sistemas de aprendizaje automático son herramientas de optimización, y una forma de gobernarlos es pasar de explicar qué características de los datos condujeron a qué resultados, a declarar una política de alto nivel sobre los resultados deseados y hacer que los sistemas rindan cuentas para lograr esa política. Aquí, los científicos de datos deberían tener la responsabilidad de evaluar sus modelos para detectar sesgos hacia tipos de datos confidenciales, como el género o el origen étnico, durante el aseguramiento de la calidad y, lo que es más importante, después de que el modelo se active. Los sistemas estadísticos funcionan bien en el medio de la curva de campana, donde tienen una gran cantidad de datos, pero pueden producir resultados inesperados en casos menos representados o en comportamientos nuevos. Se debe responsabilizar a alguien para que audite y monitoree el desempeño del modelo a lo largo del tiempo e identifique cualquier acción contra la política comercial. Los equipos técnicos, comerciales y de cumplimiento deben reunirse periódicamente para revisar el desempeño y ajustar el modelo para lograr resultados justos. La empresa debe documentar la frecuencia con la que se actualizan los modelos y contar con un proceso para comunicarlo y cómo afecta las predicciones y cualquier cambio en los consumidores afectados por el sistema.
Gran parte de la conversación sobre explicabilidad e interpretabilidad se enfoca estrechamente en el funcionamiento interno de los modelos de aprendizaje automático, lo que lleva al miedo a las cajas negras o argumentos retóricos de que los humanos no son mejores para explicar su comportamiento y decisiones que la máquina más opaca. Para que las empresas tengan éxito con el aprendizaje automático, tienen que dar un paso atrás y analizar el problema, teniendo en cuenta el impacto de los sistemas de manera integral y reflexionando críticamente sobre lo que conlleva la responsabilidad significativa para diferentes casos de uso. En algunos casos, los individuos necesitarán explicaciones más directas, ya sea por comodidad psicológica (ser diagnosticados con cáncer) o para intervenir para cambiar un resultado (modificar acciones para obtener un préstamo de vivienda en el futuro después de que se haya denegado). Pero hay muchos procesos que se pueden gobernar estableciendo políticas para los resultados deseados, supervisando los resultados para rastrear las discrepancias y actualizando los modelos o los procedimientos de recopilación de datos para mejorar los resultados futuros. Tener claro lo que importa y hacer juicios de juicio sobre la cantidad de error que una empresa puede aceptar es la habilidad que los líderes empresariales deben desarrollar.
Kathryn Hume es vicepresidenta de producto y estrategia en integrate.ai, una startup con sede en Toronto.
Harvard Business Review
Tecnología
Muchos esfuerzos para aplicar el aprendizaje automático se estancan debido a las preocupaciones sobre la "caja negra", es decir, la falta de transparencia sobre por qué un sistema hace lo que hace. A veces esto se debe a que la gente quiere entender por qué se hizo alguna predicción antes de tomar medidas que alteran la vida, como cuando un sistema de visión por computadora indica un 95% de probabilidad de cáncer a partir de una radiografía del pulmón de un paciente. A veces se debe a que los equipos técnicos necesitan identificar y resolver errores sin interrumpir todo el sistema. Y ahora que está en vigencia el Reglamento General de Protección de Datos (GDPR), se requiere que las empresas que manejan datos de consumidores expliquen cómo los sistemas automatizados toman decisiones, especialmente aquellas que afectan significativamente las vidas individuales, como asignar crédito o contratar a un candidato para un trabajo. Si bien GDPR solo se aplica en Europa, las empresas de todo el mundo anticipan que se producirán cambios similares y, por lo tanto, están revisando los esfuerzos de gobernanza.
Si busca en Internet, encontrará que la mayoría de los escritos sobre explainability algorítmico se divide en dos campos. Los defensores de la adopción rápida de tecnología a menudo sostienen que los humanos no son mejores para explicar decisiones que las máquinas, por lo que deberíamos plantear la cuestión para acelerar la innovación. Estos argumentos retóricos no ayudan a los profesionales responsables del cumplimiento normativo. Por otro lado, los críticos exigen requisitos estrictos para la transparencia y difaman una cultura de "mover rápido y romper cosas". Estos argumentos pueden sofocar la adopción, ya que no todos los casos de uso de aprendizaje automático requieren el mismo nivel de supervisión y responsabilidad: algunas decisiones son más importantes para poder explicar que otras.
Para tener éxito con el aprendizaje automático aplicado, debe retroceder y analizar el problema. ¿Qué significa que un procedimiento matemático o estadístico sea "apropiado" (como requiere GDPR)? ¿Los diferentes casos de uso requieren diferentes tipos de explicaciones? ¿Quién debería participar en las decisiones sobre el impacto comercial, el cumplimiento normativo, el enfoque técnico e incluso los valores éticos cuando las empresas integran el aprendizaje automático en las operaciones comerciales?
Comencemos por desempacar por qué una idea aparentemente simple, como el derecho a una explicación, es difícil de comprender e implementar en la práctica.
Como con cualquier tecnología, cuando comienzas un proyecto de aprendizaje automático, debes decidir si construir o comprar. Trabajar con un proveedor complica la transparencia porque muchas compañías de software eligen no divulgar qué algoritmos usan o los datos que usan para capacitarlos. A menudo, la razón que se da es para proteger la propiedad intelectual o prevenir una violación de seguridad. También hay un problema de complejidad: si el proveedor usa múltiples conjuntos de datos públicos y privados para capacitar a su sistema, piense en lo difícil que sería contar con mecanismos de auditoría para hacer un seguimiento de lo que ocurrió al tomar una decisión.
Si no está utilizando un proveedor, pero elige construir algo en la empresa, debe decidir si solo necesita explicar qué procedimientos va a utilizar, por ejemplo, los tipos de datos y los tipos de modelos, o si quieres ser capaz de explicar el funcionamiento interno de un modelo matemático.
El lenguaje en GDPR implica que es el procedimiento que requiere explicación. El considerando 71 dice que "procesamiento justo y transparente" significa auditar cómo se recopilan los datos, mantener los datos precisos, asegurar los datos y tomar medidas para identificar y prevenir cualquier efecto discriminatorio. El foco está en la recopilación de datos y la integridad; los modelos estadísticos deben ser "apropiados". Ninguno de estos pasos es trivial, pero a menudo se pasan por alto en los debates sobre la explantabilidad porque se presta mucha atención a los algoritmos y los modelos. Por ejemplo, el sesgo puede infiltrarse en un algoritmo en muchos puntos del sistema. Es posible que su empresa haya atendido históricamente a alguna población étnica, por lo que es posible que haya recopilado pocos datos al respecto. Las comunidades étnicas y demográficas pueden estar estrechamente correlacionadas con los datos de ubicación, lo que hace que una variable aparentemente inocua, como la ubicación GPS, sea un proxy para la discriminación étnica. Una vez en producción, los modelos a menudo encuentran casos límite: situaciones, datos o individuos que no son suficientes como los datos en los que han sido entrenados. Es importante controlar el sesgo tanto antes como después de que un sistema entre en producción, y tomar medidas para abordar el tratamiento involuntario.
Un tipo de explicación es aclarar los resultados que un sistema está diseñado para optimizar. En el ejemplo de un sistema de solicitud de crédito en línea, responsabilizar a un sistema significa supervisarlo para garantizar que las denegaciones no se correlacionen con atributos protegidos, como los antecedentes étnicos. Las limitaciones de este enfoque centrado en los resultados es que hay menos información sobre lo que un individuo tendría que hacer para intervenir y cambiar una decisión en el futuro. Un enfoque centrado en la intervención requiere una idea del funcionamiento interno de un modelo. Por ejemplo: "No calificaste porque no pagaste los últimos tres cheques de alquiler. Si paga los siguientes cuatro en una fila, su puntaje será lo suficientemente alto como para superar nuestro puntaje de umbral del 75% ".
Cuando es importante entender la lógica de un modelo estadístico, enfrentamos diferentes desafíos.
Como indiqué en mi artículo sobre la identificación de oportunidades de aprendizaje automático, los diferentes algoritmos de aprendizaje automático son cada vez más fáciles de explicar. Una regresión lineal de la forma y = mx + b no es demasiado difícil de explicar: solo tenemos que rastrear m para saber cómo x (entrada) se relaciona con y (salida). Pero, ¿qué pasa si "m" es una abreviatura de millones de relaciones, definiendo funciones complejas en arquitecturas? Con el aprendizaje profundo, perdemos la capacidad de identificar cómo las entradas se relacionan con los resultados porque la cantidad de variables incluidas y las relaciones entre ellos se vuelven demasiado complejas para describir. Entonces, por ejemplo, una red neuronal profunda puede indicar un 95% de posibilidades de que un individuo deje de pagar un préstamo, pero no puede articular qué aspectos de los datos formaron ese puntaje. Es una solución de compromiso, ya que los algoritmos más complejos desbloquean capacidades que los modelos estadísticos más simples como la regresión lineal no pueden manejar, pero a costa de la capacidad de explicación. (También vale la pena recordar que cuando los científicos de datos construyen algoritmos más simples que pueden ser más fáciles de explicar, también traen consigo sesgos y suposiciones que influyen en lo que ven en los datos, estos sesgos subjetivos son difíciles de identificar y controlar utilizando la tecnología).
Un último desafío en la explicación es dejar en claro para qué se optimiza realmente el modelo. Un cliente de tarjeta de crédito ideal es aquel que usa con frecuencia la tarjeta para la que se inscribe (resultado a largo plazo), no solo la persona que acepta la oferta de la tarjeta de crédito (resultado a corto plazo). Las personas que hacen clic en anuncios de display no suelen ser clientes con un alto valor de por vida, y la mayoría de los esfuerzos de marketing digital solo pueden usar datos de clickstream como proxies para ventas directas. Es difícil medir y obtener retroalimentación sobre los resultados a largo plazo, pero estas incógnitas conocidas pueden ser las más valiosas para el rendimiento de un sistema.
Esto puede parecer desalentador, pero si las personas adecuadas formulan las preguntas correctas en el momento adecuado para informar una serie de llamadas de juicio y decisiones, las cosas se vuelven tratables.
Para empezar, las partes interesadas no técnicas involucradas en un proyecto de aprendizaje automático necesitan capacitación para construir intuiciones sobre cómo funcionan los sistemas estadísticos. No necesitan codificar ni ser científicos de datos, pero sí deben apreciar que los sistemas de aprendizaje automático producen correlaciones de salida y no causas. Deben apreciar que un grupo minoritario que no está bien representado en un conjunto de datos puede recibir un tratamiento injusto de un algoritmo, no por malicia de parte de los científicos de datos, sino porque los modelos tienden a aprender relaciones que ayudan a predecir grandes partes de la información. conjunto de datos, a expensas de la precisión con respecto a ejemplos menos representados.
Luego, durante las discusiones previas al proyecto, un grupo diverso de partes interesadas del negocio, ciencia de datos, TI, privacidad y cumplimiento debe tener un asiento en la mesa. (Las empresas también deberían considerar explícitamente el papel de alguien para cuestionar el algoritmo, como los "equipos rojos" que a veces se utilizan en la toma de decisiones de alto riesgo). Es importante aclarar los requisitos normativos o los riesgos éticos antes de comenzar cualquier trabajo para evitar hundirse costos en aplicaciones interesantes que no cumplirán con los requisitos de nuevas regulaciones como GDPR o riesgo de denigración de la confianza del consumidor.
Estos grupos de diseño multifuncional deberían considerar preguntas como:
¿Qué tipo de responsabilidad importa para el caso de uso? La explicación no siempre es importante. Por ejemplo, si un bufete de abogados utiliza el aprendizaje automático para encontrar documentos relevantes para un caso, lo importante es que no se pierda algo importante, sin explicar por qué un documento es relevante y otro no. Aquí, la métrica correcta para que los científicos de datos se centren se conoce como "recuperación", la fracción de instancias relevantes que se han recuperado sobre la cantidad total de instancias relevantes, a través de un conjunto de documentos. El equipo de ciencia de datos debe integrar esto en las pruebas de modelo y los procesos de aseguramiento de calidad.
¿Dónde se ubica un modelo particular de aprendizaje automático en todo el proceso comercial? Un analista de negocios debe planear el proceso comercial de extremo a extremo. A menudo, un proceso en realidad incluye muchos modelos de aprendizaje automático con diferentes requisitos de explantación. Por ejemplo, un banco que utiliza aprendizaje automático para adquirir nuevos clientes con tarjeta de crédito tendrá al menos dos modelos: uno para evaluar el riesgo y aprobar la tarjeta (que requiere una mayor capacidad de explicación) y otro para predecir la propensión a convertir y personalizar las ofertas (que requiere menor explicabilidad). Las funciones de cumplimiento deben informar a los analistas comerciales de los requisitos normativos en cada fase del proceso comercial y los científicos de datos deben tener en cuenta estas restricciones en lugar de seleccionar solo la técnica de aprendizaje automático que tenga el mejor rendimiento en una tarea.
¿Qué procesos usaremos para gobernar los resultados? Los sistemas de aprendizaje automático son herramientas de optimización, y una forma de gobernarlos es pasar de explicar qué características de los datos condujeron a qué resultados, a declarar una política de alto nivel sobre los resultados deseados y hacer que los sistemas rindan cuentas para lograr esa política. Aquí, los científicos de datos deberían tener la responsabilidad de evaluar sus modelos para detectar sesgos hacia tipos de datos confidenciales, como el género o el origen étnico, durante el aseguramiento de la calidad y, lo que es más importante, después de que el modelo se active. Los sistemas estadísticos funcionan bien en el medio de la curva de campana, donde tienen una gran cantidad de datos, pero pueden producir resultados inesperados en casos menos representados o en comportamientos nuevos. Se debe responsabilizar a alguien para que audite y monitoree el desempeño del modelo a lo largo del tiempo e identifique cualquier acción contra la política comercial. Los equipos técnicos, comerciales y de cumplimiento deben reunirse periódicamente para revisar el desempeño y ajustar el modelo para lograr resultados justos. La empresa debe documentar la frecuencia con la que se actualizan los modelos y contar con un proceso para comunicarlo y cómo afecta las predicciones y cualquier cambio en los consumidores afectados por el sistema.
Gran parte de la conversación sobre explicabilidad e interpretabilidad se enfoca estrechamente en el funcionamiento interno de los modelos de aprendizaje automático, lo que lleva al miedo a las cajas negras o argumentos retóricos de que los humanos no son mejores para explicar su comportamiento y decisiones que la máquina más opaca. Para que las empresas tengan éxito con el aprendizaje automático, tienen que dar un paso atrás y analizar el problema, teniendo en cuenta el impacto de los sistemas de manera integral y reflexionando críticamente sobre lo que conlleva la responsabilidad significativa para diferentes casos de uso. En algunos casos, los individuos necesitarán explicaciones más directas, ya sea por comodidad psicológica (ser diagnosticados con cáncer) o para intervenir para cambiar un resultado (modificar acciones para obtener un préstamo de vivienda en el futuro después de que se haya denegado). Pero hay muchos procesos que se pueden gobernar estableciendo políticas para los resultados deseados, supervisando los resultados para rastrear las discrepancias y actualizando los modelos o los procedimientos de recopilación de datos para mejorar los resultados futuros. Tener claro lo que importa y hacer juicios de juicio sobre la cantidad de error que una empresa puede aceptar es la habilidad que los líderes empresariales deben desarrollar.
Kathryn Hume es vicepresidenta de producto y estrategia en integrate.ai, una startup con sede en Toronto.
No hay comentarios:
Publicar un comentario