La matemática Cathy O’Neil sostiene que las aplicaciones diseñadas para combatir el coronavirus carecen de sentido, ya que excluyen a la población más vulnerable. Según la autora de ‘Weapons of Math Destruction’, la pandemia abre una etapa dorada para los recopiladores de datos.
El hecho de que un algoritmo seleccione al candidato más idóneo para un empleo o decida si otorgar o no un préstamo a una persona no ofrece ninguna garantía. No es un método imparcial, no es técnicamente perfecto ni evita discriminaciones. Hoy esto nos parece obvio, pero hasta hace poco, confiar en un software para tomar decisiones delicadas parecía una buena idea. Los numerosos casos de sesgos algorítmicos que han salido a la luz nos ayudaron a descartar esa idea.
A esta toma de conciencia contribuyó sin duda la matemática Cathy O’Neil (Cambridge, Massachusetts, 1972) en 2016 con ‘Weapons of Math Destruction’ (Armas de destrucción matemática), publicado en España por Capitán Swing. Su obra fue el punto de partida de muchas otras que comenzaron a poner en duda la supuesta infalibilidad de los sistemas de inteligencia artificial en la gestión de asuntos sociales.
Los algoritmos, escribió O’Neil, “son opiniones encerradas en matemáticas”. La científica de datos repasa en su libro cómo el uso de algoritmos replica los sesgos de sus creadores en sectores tan cruciales para la vida como la concesión de seguros o becas universitarias, la justicia, la contratación de personal o incluso el funcionamiento democrático. Los algoritmos no son machistas, racistas ni clasistas, pero las decisiones de sus desarrolladores pueden hacer que el resultado lo sea. Conclusión: quienes más sufren las consecuencias son los más desfavorecidos.
Eso mismo es lo que O’Neil cree que podría ocurrir con el lanzamiento de aplicaciones móviles para controlar los contagios en la crisis del coronavirus. Su aparente éxito en algunos países asiáticos ha llevado a muchos otros, como España o Estados Unidos, a buscar una versión que cumpla con los estándares de privacidad occidentales. O’Neil nos cuenta por videollamada desde su confinamiento en Nueva York que se muestra escéptica sobre su eficacia.
Trayectoria
Reside en Nueva York, aunque el éxito de su libro y su blog (mathbabe.org) la han convertido en conferenciante internacional.
Graduada en Berkeley y doctorada en Harvard, O’Neil trabajó como investigadora en el MIT y el Barnard College antes de dar el salto a la industria financiera. Duró cuatro años: de ahí pasó a involucrarse en el movimiento Occupy Wall Street y a asesorar startups. Más recientemente ha fundado su propia consultora de auditoría algorítmica (Orcaa).
Google, Facebook y Amazon tienen sus propias iniciativas que recogen cantidades masivas de datos sobre cómo aprenden los niños.
“No tengo ninguna prueba de que hayan hecho nada ilegal, pero mi intuición es que ahí hay montones de armas de destrucción matemática [así denomina a los algoritmos opacos que causan daños a gran escala a parte de la población]. La creciente virtualización de la sociedad como consecuencia de la crisis del coronavirus podría inaugurar una era dorada para los recopiladores de datos en general, pero especialmente para quienes buscan datos de niños. Y lo que puedan hacer luego con ello es realmente aterrador”.
Sobre la firma
Más información
El juramento hipocrático de los científicos de datos El País Retina | Madrid
El juramento hipocrático de los científicos de datos
¿Quién vigila que los algoritmos no sean racistas o sexistas? Manuel G. Pascual
¿Quién vigila que los algoritmos no sean racistas o sexistas?
Archivado En
Algoritmos computacionales
Computación
Privacidad internet
Seguridad internet
Informática
Internet
Industria
Telecomunicaciones
Comunicaciones
Revista