El conocimiento adquirido a través del análisis de datos y los algoritmos de aprendizaje automático pueden ser extremadamente valiosos, pero también pueden dar lugar a errores costosos. Estos errores no solo pueden afectar la reputación y los ingresos de una organización, sino que incluso pueden poner en peligro vidas. En este artículo, exploraremos cinco casos de errores de alto perfil en análisis e inteligencia artificial que ilustran lo que puede salir mal.
Uno de los casos destacados es el de la cadena de periódicos estadounidense Gannett, que suspendió el uso de una herramienta de inteligencia artificial llamada LedeAI después de que varios despachos escritos por la IA se volvieran virales por ser repetitivos, estar mal redactados y faltar detalles clave. Esto demuestra cómo los algoritmos pueden cometer errores en la redacción de artículos, lo cual es especialmente preocupante en el periodismo deportivo, donde la precisión y la calidad son fundamentales.
Otro caso preocupante es el de la empresa Grupo iTutor, que utilizó un software de reclutamiento impulsado por inteligencia artificial que rechazaba automáticamente a las solicitantes mujeres de 55 años o más y a los hombres de 60 años o más. Esto viola las leyes de igualdad de oportunidades y demuestra cómo los algoritmos pueden perpetuar la discriminación por edad. Aunque la empresa llegó a un acuerdo en la demanda presentada en su contra, este caso resalta la importancia de tener en cuenta los valores de la organización al utilizar algoritmos de aprendizaje automático.
También vemos casos en los que la inteligencia artificial genera resultados incorrectos. Por ejemplo, el abogado Steven Schwartz utilizó un chatbot de IA generativa para encontrar casos anteriores que respaldaran una demanda contra una aerolínea, pero al menos seis de los casos presentados resultaron ser falsos. Esto demuestra que los algoritmos pueden generar información incorrecta y resalta la importancia de verificar la autenticidad de los datos proporcionados por la inteligencia artificial.
En el campo de la medicina, los algoritmos de aprendizaje automático se han utilizado para diagnosticar o clasificar a los pacientes de manera más rápida y precisa. Sin embargo, según el Instituto Turing en el Reino Unido, estas herramientas predictivas no han tenido mucho éxito en el diagnóstico del Covid-19. Muchas de estas fallas se deben a errores en la forma en que se entrenaron o probaron los algoritmos, como el uso de datos mal etiquetados o de fuentes desconocidas. Esto muestra que los algoritmos de inteligencia artificial no son infalibles y que se requiere una cuidadosa validación y verificación de los datos utilizados.
En el mundo de los bienes raíces, la empresa Zillow tuvo problemas con su algoritmo de aprendizaje automático utilizado para predecir los precios de las viviendas. El algoritmo tenía una tasa de error promedio del 1,9%, lo que resultó en la compra involuntaria de viviendas a precios más altos de lo esperado. Esto llevó a pérdidas significativas para la empresa y resalta la importancia de tener en cuenta las condiciones cambiantes del mercado al utilizar algoritmos de predicción.
Estos casos demuestran que si bien el conocimiento obtenido de datos y algoritmos de aprendizaje automático puede ser valioso, también conlleva riesgos significativos. Es crucial comprender las herramientas utilizadas, tener en cuenta los valores de la organización y verificar la autenticidad de los datos proporcionados por la inteligencia artificial. Solo entonces podremos aprovechar al máximo el potencial de la tecnología sin correr el riesgo de cometer errores costosos.
