Información obtenida del análisis y la acción impulsada por algoritmos aprendizaje automático, más conocido popularmente como «inteligencia artificial«, puede dar a las organizaciones una ventaja competitiva.
Sin embargo, los errores pueden ser costosos en términos de reputación, ingresos o incluso vidas. A continuación, una serie de casos de alto perfil relacionados con errores de inteligencia artificial registrada en la última década para ilustrar lo que puede salir mal.
Los algoritmos de inteligencia artificial identificaron todo menos el Covid-19
Desde que comenzó la pandemia de Covid-19, muchas organizaciones han buscado aplicar algoritmos de aprendizaje automático (ML) para ayudar a los hospitales a diagnosticar o clasificar a los pacientes más rápido.
una publicación de Revisión de tecnología del MIT registrado una serie de fallas, la mayoría de las cuales provienen de errores en la forma en que las herramientas fueron entrenadas o probadas. El uso de datos mal etiquetados o los datos de fuentes desconocidas eran un culpable común.
El documento determinó que la técnica no es adecuada para uso clínico. El modelo estaba fallando porque estaba entrenado en un conjunto de datos que incluía escaneos de pacientes que estaban acostados mientras eran escaneados y pacientes que estaban de pie.
Los pacientes que estaban acostados tenían muchas más probabilidades de estar gravemente enfermos, por lo que el algoritmo aprendió a identificar el riesgo de Covid-19 en función de la posición de la persona en el escaneo.
Empleados de un cementerio durante la pandemia del coronavirus.
Un desastre de inteligencia artificial en el negocio inmobiliario
En noviembre de 2021, la inmobiliaria online Zillow dijo a los accionistas que cerraría sus operaciones de Zillow Offers y recortaría el 25% de la fuerza laboral de la compañía (alrededor de 2000 empleados) en los próximos trimestres.
Los problemas de la unidad de inversión en vivienda fueron el resultado de la Tasa de error en el algoritmo de aprendizaje automático que utilizó para predecir los precios de las viviendas.
Ofertas Zillow era un programa a través del cual la compañía hacía ofertas en efectivo sobre propiedades basadas en un «Zestimate» de valores de viviendas derivados de un algoritmo de aprendizaje automático.
La idea era renovar las propiedades y entregarlas rápidamente. Pero un portavoz de Zillow dijo que el algoritmo tenía una tasa de error promedio del 1,9% y que la tasa de error podría ser mucho mayor, hasta un 6,9%, para viviendas fuera de mercado.
Zillow ha comprado 27 000 viviendas a través de Zillow Offers desde su lanzamiento en abril de 2018, pero vendió solo 17 mil hasta finales de septiembre de 2021. Eventos como la pandemia de Covid-19 y la escasez de mano de obra para la renovación de viviendas contribuyeron a los problemas de precisión del algoritmo.
Un algoritmo de atención médica que no marcó a los pacientes negros
En 2019, un estudio publicado en la revista Ciencia reveló que era mucho menos probable que un algoritmo de predicción de atención médica, utilizado por hospitales y compañías de seguros en los EE. UU. para identificar a los pacientes que necesitaban programas de «administración de atención de alto riesgo», destacar a los pacientes negros.
La mala aplicación de la inteligencia artificial en la salud puede tener consecuencias mortales.
Los programas de gestión de la atención de alto riesgo Brindan personal de enfermería capacitado y supervisión de atención primaria a pacientes con enfermedades crónicas en un esfuerzo por prevenir complicaciones graves.
Pero era mucho más probable que el algoritmo recomendara pacientes blancos para estos programas que los pacientes negros. El estudio encontró que el algoritmo usaba el gasto en atención médica como un indicador para determinar la necesidad de atención médica de un individuo.
Pero según Scientific American, los costos de atención médica de los pacientes negros más enfermos estaban a la par con los costos de las personas blancas más sanas, lo que significaba que recibieron puntajes de riesgo más bajos incluso cuando su necesidad era mayor.
Los investigadores del estudio sugirieron que algunos factores pueden haber contribuido. Las personas de color tienen más probabilidades de tener ingresos más bajos, lo que, incluso cuando están asegurados, puede hacer que tengan menos probabilidades de acceder a la atención médica. Él sesgo implícito también puede dar lugar a que las personas de color reciban una atención de menor calidad.
Un chatbot de Microsoft que publicó tuits racistas
En marzo de 2016, Microsoft descubrió que el uso de las interacciones del usuario Gorjeo ya que los datos de entrenamiento para algoritmos de aprendizaje automático pueden tener resultados decepcionantes.
Microsoft lanzó Tay, un chatbot de IA, en la plataforma de redes sociales. La empresa…
Continuar leyendo este Titular: los peores fracasos de la inteligencia artificial
