Derecho a la explicación
From Wikipedia, the free encyclopedia
El derecho a la explicación se refiere al derecho del usuario a conocer cómo funciona un sistema de inteligencia artificial y cómo llega a sus conclusiones. Este derecho implica que las decisiones tomadas por sistemas automatizados deben ser transparentes y comprensibles para los usuarios.[1]
Por ejemplo, si un solicitante de empleo es rechazado por un sistema automatizado de selección de currículums, tiene derecho a recibir una explicación clara y detallada sobre cómo se evaluó su currículum y por qué se tomó la decisión de rechazarlo. Esto permite que los usuarios comprendan cómo funcionan estos sistemas y cómo se llega a las decisiones, lo que a su vez fomenta la confianza en la tecnología y ayuda a prevenir la discriminación.
Sin embargo, el derecho a la explicación también plantea implicaciones jurídicas y éticas, ya que algunos sostienen que podría obstaculizar la innovación en I.A al dificultar a las empresas la protección de sus derechos de propiedad intelectual. Aunque otros argumentan que la responsabilidad y la transparencia en los sistemas automatizados son fundamentales para prevenir la discriminación y garantizar la equidad en la toma de decisiones.[2] Además, consideran que, a pesar de su importancia, hay mucha resistencia a que el derecho a la explicación sea jurídicamente vinculante.
El derecho a la explicación es un tema de debate en la comunidad de I.A, ya que se trata de un equilibrio entre la innovación y la protección de los derechos de los usuarios. Pero, en última instancia, se busca garantizar la transparencia y la responsabilidad en el uso de sistemas de I.A para construir una tecnología que funcione para todos.
Margot E. Kaminski ha escrito extensamente sobre la responsabilidad algorítmica y el derecho a la explicación. En su artículo "The Right to Explanation, Explained", Kaminski sostiene que el derecho a la explicación es importante porque permite a las personas comprender cómo se toman las decisiones algorítmicas y cuestionarlas si son injustas o discriminatorias.Señala que la toma de decisiones algorítmicas puede ser opaca, compleja y estar sujeta a errores, prejuicios y discriminación, lo que puede tener importantes consecuencias para las personas en ámbitos como el crédito, el empleo y la educación.[3]
Uno de los principales beneficios del derecho a la explicación es una mayor transparencia en los procesos automatizados de toma de decisiones. El derecho a la explicación puede ayudar a resolver este algunos de los problemas mencionados por Kaminski explicando a los ciudadanos cómo se ha tomado una decisión, lo que puede contribuir a aumentar la confianza en los sistemas automatizados de toma de decisiones.[4] La transparencia de los sistemas automatizados de toma de decisiones permite la supervisión e intervención humana cuando es necesario, garantizando que las decisiones se toman en consonancia con los valores y expectativas humanas.[5] La transparencia puede agilizar los trámites de conformidad legal y evitar a las organizaciones posibles acciones legales en el futuro,[6] ayudándolas a demostrar que cumplen la normativa y las directrices pertinentes.[7]
Otro beneficio es la rendición de cuentas. Al exigir explicaciones a los sistemas automatizados de toma de decisiones, las personas pueden responsabilizar al sistema y a sus creadores de los errores que puedan haberse producido en el proceso y hace menos probable que las empresas hagan un uso indebido de los algoritmos con fines injustos o discriminatorios.[8]
El derecho a la explicación también tiene beneficios para las compañías, puede ayudar en campos con un alto riesgo, como la medicina, las finanzas y el derecho, a reducir el impacto de las predicciones erróneas y/o sesgadas.[9][10] También ayudar a mejorar el rendimiento de los sistemas proporcionando retroalimentación a los desarrolladores de forma constante[11] y fomenta el desarrollo de nuevas técnicas y tecnologías, como la IA explicable.[5]
Mienstras tanto otros sostienen que el "derecho a la explicación" es, en el mejor de los casos, innecesario y, en el peor, perjudicial, y amenaza con ahogar la innovación. Las críticas específicas incluyen: favorecer las decisiones humanas sobre las decisiones de la máquina, ser redundante con las leyes existentes, y centrarse en el proceso sobre el resultado.[12]
Los autores del estudio "Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For" Lilian Edwards y Michael Veale sostienen que el derecho a la explicación no es la solución a los perjuicios causados a las partes interesadas por las decisiones algorítmicas. También afirman que el derecho de explicación en el RGPD está estrechamente definido, y no es compatible con la forma en que se están desarrollando las modernas tecnologías de aprendizaje automático. Con estas limitaciones, definir la transparencia en el contexto de la responsabilidad algorítmica sigue siendo un problema. Por ejemplo, proporcionar el código fuente de los algoritmos puede no ser suficiente y puede crear otros problemas en términos de divulgación de la privacidad y de manipulación de los sistemas técnicos.. Para mitigar este problema, Edwards y Veale sostienen que un sistema de auditoría podría ser más eficaz, permitir a los auditores estudiar las entradas y salidas de un proceso de decisión desde fuera, en otras palabras, "explicar las cajas negras sin abrirlas".[13]
A un nivel más fundamental, muchos algoritmos utilizados en el aprendizaje automático no son fácilmente explicables. Por ejemplo, el resultado de una red neuronal profunda depende de muchas capas de cálculos, conectadas de forma compleja, y puede que ninguna entrada o cálculo sea un factor dominante. El campo de la IA explicable trata de ofrecer mejores explicaciones a partir de los algoritmos existentes, y algoritmos que sean más fácilmente explicables, pero es un campo joven y activo.[14][15]
Del mismo modo, las decisiones humanas a menudo no pueden explicarse fácilmente: pueden basarse en la intuición o en una "corazonada" difícil de expresar con palabras. Se puede argumentar que a las máquinas no se les debe exigir un nivel de exigencia mayor que a los humanos.
Otros sostienen que las dificultades de la explicabilidad se deben a que se centra demasiado en las soluciones técnicas, en lugar de conectar la cuestión con los interrogantes más amplios que plantea un "derecho social a la explicación".[16]
Sugerencias
Edwards y Veale consideran que el derecho a la explicación proporciona algunos criterios para explicar decisiones concretas. Exponen dos tipos de explicaciones algorítmicas, las explicaciones centradas en el modelo y las explicaciones centradas en el sujeto, SCE por sus siglas en inglés, que se ajustan en líneas generales a las explicaciones sobre sistemas o decisiones.[13]
Las SCE se consideran la mejor manera de poner remedio a algunos problemas, aunque con algunas limitaciones severas si los datos son demasiado complejos. Su propuesta consiste en desglosar el modelo completo y centrarse en cuestiones concretas mediante explicaciones pedagógicas a una consulta concreta, "que podría ser real, ser ficticia o exploratoria". Estas explicaciones implican necesariamente un compromiso con la precisión para reducir la complejidad.
Con el creciente interés por la explicación de los sistemas técnicos de toma de decisiones en el campo del diseño de interacción persona-ordenador, investigadores y diseñadores se esfuerzan por abrir la caja negra en términos de modelos matemáticamente interpretables, tan alejados de la ciencia cognitiva y de las necesidades reales de las personas. Los enfoques alternativos consistirían en permitir a los usuarios explorar libremente el comportamiento del sistema mediante explicaciones interactivas.
Una de las propuestas de Edwards y Veale consiste es eliminar parcialmente la transparencia como paso clave necesario para la rendición de cuentas y la reparación de daños. Argumentan que las personas que tratan de resolver problemas de protección de datos desean una acción, no una explicación. El valor real de una explicación no será aliviar o reparar el daño emocional o económico sufrido, sino comprender por qué ocurrió algo y ayudar a garantizar que un error no vuelva a repetirse.[13]
A mayor escala, en el estudio Explainable machine learning in deployment, los autores recomiendan crear un marco explicable en el que se establezcan claramente los criterios de selección mediante la identificación de las partes interesadas, la colaboración con ellas y la comprensión de la finalidad de la explicación. Además, en el sistema deben tenerse en cuenta aspectos relacionados con la explicabilidad, como la causalidad, la privacidad y la mejora del rendimiento.[17]
