Responsabilidad algorítmica

Los algoritmos se utilizan ampliamente en diversos sectores de la sociedad que incorporan técnicas computacionales en sus sistemas de control. Estas aplicaciones abarcan numerosas industrias, entre las que se incluyen, pero no se limitan a, la medicina, el transporte y los servicios de pago. ^[3] En estos contextos, los algoritmos realizan funciones tales como: ^[4]

• Aprobar o denegar solicitudes de tarjetas de crédito.
• Recuento de votos en las elecciones.
• Aprobar o denegar visas de inmigrante.
• Determinar qué contribuyentes serán auditados en relación con sus impuestos sobre la renta.
• Gestión de sistemas que controlan los coches autónomos en una autopista.
• Calificar a individuos como potenciales delincuentes para su uso en procedimientos legales.

Sin embargo, la implementación de estos algoritmos puede ser compleja y opaca. Generalmente, los algoritmos funcionan como «cajas negras», lo que significa que los procesos específicos que sigue una entrada durante la ejecución a menudo no son transparentes, y los usuarios normalmente solo ven el resultado. ^[5] Esta falta de transparencia genera preocupación sobre posibles sesgos en los algoritmos, ya que los parámetros que influyen en la toma de decisiones pueden no comprenderse bien. Los resultados generados pueden dar lugar a percepciones de sesgo, especialmente si personas en circunstancias similares obtienen resultados diferentes. Según Nicholas Diakopoulos:  

Pero estos algoritmos pueden cometer errores. Tienen sesgos. Y aun así permanecen en cajas negras opacas, cuyo funcionamiento interno, sus “pensamientos” internos, están ocultos detrás de capas de complejidad. Necesitamos adentrarnos en esa caja negra para entender cómo pueden estar ejerciendo poder sobre nosotros y comprender dónde podrían estar cometiendo errores injustos.

Los algoritmos son comunes en diversos campos e influyen significativamente en decisiones que afectan a la población en general. Sus estructuras y parámetros subyacentes suelen ser desconocidos para quienes se ven afectados por sus resultados. Un caso notable que ilustra este problema es una sentencia reciente del Tribunal Supremo de Wisconsin sobre los algoritmos de "evaluación de riesgos" utilizados en el sistema de justicia penal. ^[3] El tribunal determinó que las puntuaciones generadas por dichos algoritmos, que analizan múltiples parámetros de los individuos, no deben utilizarse como factor determinante para la detención de un acusado. Además, el tribunal ordenó que todos los informes presentados a los jueces incluyan información sobre la precisión del algoritmo utilizado para calcular estas puntuaciones.

Esta sentencia se considera un avance significativo en la forma en que la sociedad debe gestionar el software que toma decisiones trascendentales, subrayando la importancia de la fiabilidad, especialmente en entornos complejos como el sistema jurídico. El uso de algoritmos en estos contextos exige un alto grado de imparcialidad en el procesamiento de los datos de entrada. Sin embargo, los expertos señalan que aún queda mucho trabajo por hacer para garantizar la precisión de los resultados algorítmicos. Persisten las dudas sobre la transparencia del procesamiento de datos, lo que plantea interrogantes sobre la idoneidad de los algoritmos y las intenciones de sus diseñadores. ^[6]

Un ejemplo notable de posible sesgo algorítmico se destaca en un artículo de The Washington Post ^[7] sobre el servicio de transporte Uber . Un análisis de los datos recopilados reveló que los tiempos de espera estimados para los usuarios variaban según el barrio donde residían. Entre los factores clave que influían en estas discrepancias se encontraban la etnia predominante y el ingreso promedio de la zona.

En concreto, los barrios con mayoría de población blanca y mayor nivel socioeconómico tendían a tener tiempos de espera más cortos, mientras que aquellos con mayor diversidad étnica y menores ingresos medios experimentaban esperas más largas. Es importante aclarar que esta observación refleja una correlación identificada en los datos, no una relación causal definitiva. No se emiten juicios de valor sobre el funcionamiento de la aplicación de Uber en estos casos.

En otro análisis publicado en la columna «Direito Digit@l» del sitio web de Migalhas, los autores Coriolano Almeida Camargo y Marcelo Crespo examinan el uso de algoritmos en contextos de toma de decisiones tradicionalmente gestionados por humanos. Analizan las dificultades para evaluar la imparcialidad de las decisiones generadas por máquinas y los posibles fallos que pueden surgir en este proceso de validación.

El problema trasciende, y seguirá trascendiendo, la preocupación por cómo se recopilan los datos de los consumidores para centrarse en la cuestión de cómo estos datos son utilizados por los algoritmos. A pesar de la existencia de algunas normativas de protección al consumidor, no existe un mecanismo efectivo disponible para los consumidores que les indique, por ejemplo, si han sido discriminados automáticamente al negarles préstamos o empleos

El rápido avance de la tecnología ha traído consigo numerosas innovaciones para la sociedad, incluyendo el desarrollo de vehículos autónomos . Estos vehículos se basan en algoritmos integrados en sus sistemas para gestionar la navegación y responder a diversas condiciones de conducción. Los sistemas autónomos están diseñados para recopilar datos y evaluar su entorno en tiempo real, lo que les permite tomar decisiones que simulan las acciones de un conductor humano.

En su análisis, Camargo y Crespo abordan posibles problemas relacionados con los algoritmos empleados en los vehículos autónomos. Hacen especial hincapié en los desafíos que plantea la toma de decisiones en momentos críticos, destacando las complejidades y consideraciones éticas que implica la programación de dichos sistemas para garantizar la seguridad y la equidad.  

El panorama tecnológico está cambiando rápidamente con la llegada de computadoras y algoritmos muy poderosos que avanzan hacia el impresionante desarrollo de la inteligencia artificial. No tenemos dudas de que la inteligencia artificial revolucionará la prestación de servicios y también la industria. El problema es que las cuestiones éticas necesitan ser analizadas y discutidas con urgencia. ¿O simplemente vamos a permitir que las máquinas nos juzguen en los tribunales? ¿O que decidan quién debe vivir o morir en situaciones de accidente que podrían ser intervenidas por algún equipo tecnológico, como los autos autónomos?

En el sitio web TechCrunch, Hemant Taneja escribió: ^[8]

La preocupación por los algoritmos de 'caja negra' que gobiernan nuestras vidas se ha ido extendiendo. El Information Law Institute de la Universidad de Nueva York organizó una conferencia sobre responsabilidad algorítmica, señalando: 'Académicos, partes interesadas y legisladores cuestionan la adecuación de los mecanismos existentes que regulan la toma de decisiones algorítmica y enfrentan los nuevos desafíos que presenta el auge del poder algorítmico en términos de transparencia, equidad y trato igualitario.' El Proyecto Sociedad de la Información de la Yale Law School también está estudiando esto. 'El modelado algorítmico puede ser sesgado o limitado, y los usos de los algoritmos siguen siendo opacos en muchos sectores críticos', concluyó el grupo.

Los debates entre expertos han buscado soluciones viables para comprender el funcionamiento de los algoritmos, a menudo denominados "cajas negras". En general, se propone que las empresas responsables del desarrollo e implementación de estos algoritmos garanticen su fiabilidad divulgando los procesos internos de sus sistemas.

Hemant Taneja, en un artículo para TechCrunch, destaca que las grandes empresas tecnológicas, como Google, Amazon y Uber, deben incorporar activamente la responsabilidad algorítmica en sus operaciones. Sugiere que estas empresas deberían supervisar de forma transparente sus propios sistemas para evitar medidas regulatorias estrictas. ^[8]

Una posible solución es la introducción de regulaciones en el sector tecnológico para reforzar la supervisión de los procesos algorítmicos. Sin embargo, dichas regulaciones podrían afectar significativamente a los desarrolladores de software y a la industria en su conjunto. Quizás sea más beneficioso para las empresas divulgar voluntariamente los detalles de sus algoritmos y parámetros de toma de decisiones, lo que podría aumentar la confianza en sus soluciones.

Otra vía que se está considerando es la posibilidad de autorregulación por parte de las empresas que crean estos algoritmos, lo que les permitiría tomar medidas proactivas para garantizar la rendición de cuentas y la transparencia en sus operaciones. ^[8] En el sitio web TechCrunch, Hemant Taneja escribió: ^[8]  

"Hay otro beneficio —quizás uno enorme— de la regulación definida por software. También nos mostrará un camino hacia un gobierno más eficiente. La lógica legal y las normativas del mundo pueden codificarse en software, y los sensores inteligentes pueden ofrecer monitoreo en tiempo real de todo, desde la calidad del aire y del agua, hasta los flujos de tráfico y las filas en el DMV. Los reguladores definen las reglas, los tecnólogos crean el software para implementarlas y luego la IA y el aprendizaje automático ayudan a refinar iteraciones de políticas en el futuro. Esto debería conducir a gobiernos mucho más eficientes y efectivos a nivel local, nacional y global.