La IA también tiene sesgos, ¿cómo deberíamos confiar en ellos?
En 1970, Edward H. Shortliffe comenzó a escribir un programa Lisp en su laboratorio de la Universidad de Stanford. El sistema, llamado MYCIN, ayuda a los médicos a determinar si un paciente tiene una enfermedad genética de la sangre mediante una serie de preguntas de sí o no y recomienda la dosis de antibióticos según el peso del paciente. Como uno de los primeros sistemas expertos de la historia, la tasa de precisión de MYCIN fue solo del 65%, lo que estaba lejos de la tasa de precisión del 80% de los hematólogos. Además, debido a que el programa era demasiado grande, al final no se puso en uso.
En 2019, 150 sujetos acudieron al Centro VCLA de UCLA para ver al robot Baxter abrir un frasco de pastillas con cierre de seguridad. Baxter luego explicó a algunos de los sujetos cómo abrió los frascos de pastillas, pero el resto no recibió explicación. Finalmente, el experimentador preguntó a todos: ¿Hasta qué punto confían en este robot para abrir un frasco de pastillas?
En el último medio siglo, las capacidades informáticas y de almacenamiento de las máquinas han avanzado a pasos agigantados. Podemos ejecutar fácilmente sistemas relativamente simples como MYCIN en computadoras, e incluso entrenar redes neuronales profundas y máquinas de vectores de soporte (. Modelos más complejos, como Support Vector Machine, alcanzan un nivel de diagnóstico cercano al de los médicos profesionales o permiten que los robots realicen movimientos finos relativamente complejos.
Sin embargo, la mejora del rendimiento de los sistemas de IA también plantea nuevas preguntas: si estos sistemas entran en nuestras vidas, ¿confiaremos en las decisiones que toman?
¿Por qué explicar la IA?
La IA está en su apogeo, ¿por qué deberíamos detenernos a pensar en cómo explicarla?
En mayo de 2016, ProPublica publicó un informe de investigación llamado "Machine Bias", centrado en un sistema de inteligencia artificial llamado COMPAS. COMPAS se utiliza ampliamente en sentencias judiciales en los Estados Unidos. Intenta predecir la probabilidad de que un acusado sea vuelto a arrestar en función de sus antecedentes penales anteriores, produciendo una puntuación entre 1 y 10. Cuanto mayor sea la puntuación, más dura será la sentencia que recomienda para castigar más eficazmente a los posibles reincidentes. .
ProPublica analizó las puntuaciones COMPAS y los antecedentes penales de más de 18.000 personas y descubrió que la distribución de las puntuaciones era significativamente diferente entre negros y blancos bajo las mismas condiciones de antecedentes penales, antecedentes penales, edad y edad. Por género, los acusados negros recibieron más Las probabilidades de obtener puntuaciones altas en COMPAS son mayores para los acusados blancos45. Además, 48 acusados blancos que fueron arrestados nuevamente en dos años no habían declarado puntuaciones COMPAS, casi el doble que los acusados negros. Debido a que los datos provienen de un entorno caracterizado por la injusticia estructural (el sistema judicial existente tiende a tratar a personas de diferentes razas de manera diferente), las decisiones (apresuradas) de COMPAS también se ven afectadas por esto. Sin embargo, debido a que COMPAS es un sistema de caja negra, los jueces sólo pueden ver las puntuaciones y no saben nada sobre los mecanismos internos de toma de decisiones, lo que les impide evaluar eficazmente las recomendaciones del sistema. Otro informe de encuesta señaló que la precisión de COMPAS es equivalente a la de una persona sin casi ninguna experiencia en justicia penal.
Casualmente, en 2015, algunos usuarios descubrieron que el sistema de reconocimiento de imágenes de Google etiquetaba a sus amigos negros como “gorilas”, lo que provocó un gran revuelo en Twitter. Hasta 2018, Google todavía no solucionó completamente la vulnerabilidad. Simplemente eliminó la etiqueta de primate del sistema y dijo que "la tecnología de reconocimiento de imágenes aún no está madura". También en 2015, el Hospital Mount Sinai de Nueva York utilizó datos de 700.000 pacientes para entrenar una red neuronal profunda llamada "Deep Patient" para ayudar en el diagnóstico médico. La predicción de la esquizofrenia de "Deep Patient" fue inesperadamente precisa, pero ningún médico sabía por qué y, naturalmente, no pudo aplicarla a su propio diagnóstico clínico; cuando se utilizó para analizar rayos X fuera del hospital, la precisión del sistema era inexplicable. Ha habido un descenso importante. Los datos no mienten. ?Pero esto no significa que no necesitemos examinarlos cuidadosamente o confiar incondicionalmente en los sistemas de IA basados en datos.
El sistema MYCIN de Shotliff es esencialmente un árbol de decisión, un modelo "transparente". Podemos dibujar el proceso completo de toma de decisiones a partir de la entrada de datos para evaluar la decisión de MYCIN. Las redes neuronales profundas funcionan mucho mejor que los árboles de decisión, pero son una "caja negra" y es casi imposible saber exactamente qué está calculando. El rendimiento y la interpretabilidad parecen compensarse.
Para un ingeniero de algoritmos que solo busca precisión y rendimiento, la IA de caja negra puede no ser impopular: un sistema de caja negra que puede predecir con precisión 95 eventos es definitivamente mejor que otro con solo un 65% de precisión. Un sistema más transparente es mejor. Sin embargo, cuando los ingenieros necesitan ajustar las partes internas del sistema (como reparar el sistema de reconocimiento de imágenes de Google), la caja negra dificulta enormemente la tarea: ¿Qué paso salió mal? ¿Hay algún problema con los datos utilizados para el entrenamiento, o el rendimiento del modelo en sí es insuficiente o es necesario mejorar la función de pérdida? Es difícil para los ingenieros fuera de la caja negra identificar la enfermedad.
Es posible que la mayoría de nosotros tengamos muy pocas oportunidades de convertirnos en ingenieros, jueces y médicos, pero esto no impide que la IA de caja negra tenga un impacto en nuestras vidas. Contrariamente a nuestras ilusiones, los sistemas de inteligencia artificial que no son lo suficientemente transparentes no son más objetivos, justos y precisos que los humanos. Por el contrario, profundizan los prejuicios e injusticias existentes, lo que representa una amenaza para la democracia digital y los derechos humanos básicos. Intervención y control de estos sistemas. La auditoría también es más difícil. Cuando no podemos interpretar las decisiones tomadas por la IA, nuestras expectativas para su futuro son solo palabras en el papel y no se puede discutir la confianza.
La IA explicable (XAI) quiere resolver exactamente este tipo de problema. XAI cree que al explicar el proceso de toma de decisiones de un sistema de IA, los humanos pueden comprender mejor sus mecanismos, ventajas y desventajas, impactos potenciales y otras características, prediciendo así de manera más efectiva el comportamiento del sistema y logrando el efecto de establecer gradualmente una confianza. relación. Si la revolución de la IA es inevitable, al menos un sistema explicable puede integrar mejor nuevos contratos sociales algorítmicos como el Society-in-the-loop with humans* de Iyad Rahwan* **Sobrevivir a las relaciones sin volverse hostil.
Necesito una explicación
La IA explicable, en última instancia, sirve a las personas (al igual que los lenguajes de programación de alto nivel están diseñados para humanos; de lo contrario, las máquinas pueden usarse para comunicarse entre sí) Idiomas como codificación que los humanos no pueden leer ni escribir fácilmente). Por tanto, "explicativo" también es relativo a las personas. En cuanto a los sistemas de IA de caja negra, ¿qué tipo de explicación es una buena explicación? Los psicólogos y los filósofos llevan mucho tiempo trabajando por separado, pero cada uno tiene su propia opinión.
Las explicaciones a menudo requieren articular una relación causa-efecto específica o un patrón de causa y efecto, como por ejemplo: "No comeré almendras porque soy alérgico a las nueces". Esta explicación es muy apropiada (sin cambiar de tema), directa y clara (sin argumentos circulares) y tiene una lógica estricta. Algunos fenómenos son difíciles de explicar utilizando relaciones causales populares. Intente responder: "Lancé un dado una vez, ¿por qué el lado superior es 3?". ?Claro, se podrían citar las leyes de la física para explicar el proceso exacto de tirar los dados, pero estaría totalmente confundido. Para evitar esa situación embarazosa, puede mencionar conceptos relacionados (no causales) como "aleatoriedad", o utilizar analogías para que su explicación sea más aceptable para el público (como la primera frase del párrafo anterior). En términos generales, la causalidad juega un papel importante en la explicación, pero no es el único medio.
Dado que la explicación en sí misma puede presentarse de varias formas, para descartar la mejor IA explicable, ¿por qué no simplemente preguntamos: ¿Entiendes lo que está haciendo este sistema? De hecho, la investigación psicológica relacionada ha utilizado métodos similares para inferir si las personas pueden comprender un concepto a través de explicaciones descriptivas. Descubrieron que objetivamente, cuando los sujetos comprenden mejor un determinado concepto, pueden sentir su progreso cognitivo a través de la intuición subjetiva, como una iluminación repentina.
Sin embargo, la "Ilusión de profundidad explicativa" propuesta por Leonid Rozenblit y Frank Keil de la Universidad de Yale parece una bofetada en la cara. Rosenblit y Kael pidieron a los sujetos que primero calificaran su comprensión de una herramienta (como una cremallera), luego explicaran en detalle cómo funcionaba la herramienta y luego calificaran su comprensión de ella nuevamente. Descubrieron que después de intentar explicar, la evaluación de los sujetos sobre su propia comprensión disminuyó significativamente en comparación con el principio, como si de repente se dieran cuenta de que en realidad sabían poco. Esta es la "ilusión de profundidad explicativa". Esta ilusión afecta a todos (incluidos los niños pequeños) y sólo opera con conocimiento explicativo. No es raro que ocurra exactamente lo contrario: las personas afirmarán que no comprenden un sistema dinámico pero aún así pueden utilizarlo con habilidad.
Por otro lado, las explicaciones normativas están floreciendo en la filosofía (especialmente en la filosofía de la ciencia). Las explicaciones normativas ignoran intencionalmente factores personales, como las capacidades cognitivas, y se centran en cambio en la comprensión del "debería". Por lo tanto, la comprensión normativa puede verse como un punto de referencia para analizar qué información debe incluirse en la explicación y qué nivel de comprensión tendrá la audiencia. Además, una buena explicación (normativa) debe partir del propósito de comprender y dar diferentes explicaciones basadas en la relación entre la audiencia y la IA de caja negra. Claramente, un ingeniero que repara las vulnerabilidades de un sistema requiere una comprensión diferente a la de un juez que revisa su integridad. Podemos suponer razonablemente que los primeros tienen suficiente experiencia en conocimientos técnicos y tal vez visualizar el modelo computacional proporcione una explicación suficientemente buena. Esto último requiere una explicación literal más abstracta, como por ejemplo: En igualdad de condiciones, el sistema COMPAS predice que los acusados negros y los acusados blancos tienen diferentes probabilidades de ser arrestados nuevamente. ?Ambas son buenas explicaciones (estándar), pero pueden volverse inútiles una vez intercambiadas.
La explicación de la especificación parece más sencilla, pero no hay conocimiento de su implementación o evaluación exacta en aplicaciones prácticas. Las explicaciones descriptivas también parecen menos que perfectas. Hasta el día de hoy, no hemos integrado explicaciones descriptivas y explicaciones normativas, y la investigación sobre explicaciones e IA explicable sigue avanzando de la mano.
Con una IA explicable, ¿todo irá bien?
Desde 2017, la Agencia de Proyectos de Investigación Avanzada de Defensa de EE. UU. (DARPA) ha invertido en una serie de proyectos XAI, incluidos proyectos de investigación en el Centro VCLA de UCLA. En 2018, ACM organizó la primera conferencia FAT*, centrada en la equidad, la responsabilidad y la transparencia en los sistemas de IA. Ese mismo año, AAAI y ACM*** celebraron conjuntamente la primera Conferencia AIES (Inteligencia Artificial, Ética y Sociedad). Empresas tecnológicas como Google y Microsoft también han participado sucesivamente en la investigación y desarrollo de XAI. La atención de todos los ámbitos de la vida hacia XAI ha llevado a muchos intentos de "desacreditar" la IA de caja negra, desde la Teoría de la Mente de la Máquina propuesta por DeepMind, hasta la conversión de redes neuronales de caja negra en circuitos booleanos "transparentes", y luego a LIME ( Explicación independiente del modelo interpretable local) y otros métodos extraen características importantes a través de modelos aproximados de caja negra. Aunque actualmente XAI se explica a ingenieros y otro personal de I+D, en el futuro veremos más XAI para el público en general, como Baxter, que explica cómo abrir un frasco de medicamento.
XAI no es el final; es como mucho un punto de partida, y todavía tenemos muchos problemas por resolver. En primer lugar, la interpretación de la IA de caja negra puede ser manipulada silenciosamente, siendo completamente inexacta y difícil de detectar. Himabindu Lakkaraju y sus estudiantes de la Universidad de Harvard descubrieron que con algunos ajustes simples al modelo, podían abusar de la información racial en el conjunto de datos COMPAS para determinar la sentencia. Cuando LIME vino a inspeccionar, inmediatamente puso cara de inocente y no lo hizo. revelar sus secretos en absoluto.
Esto significa que incluso con XAI como herramienta, nuestra confianza en la IA no debería depender ciegamente de la confiabilidad del sistema y la (aparentemente) transparencia de la información será particularmente importante.
En segundo lugar, la formulación de regulaciones para la IA va por detrás de la I+D y su aplicación. La aparición de XAI complicará aún más este problema, dado que la IA de caja negra es difícil de alcanzar y sólo unas pocas personas tienen la capacidad de interpretarla/modificarla, las instituciones de I+D no tienen que preocuparse demasiado por la filtración de los resultados de sus investigaciones científicas (a menos que). el modelo del algoritmo es robado). Si las explicaciones a los usuarios y al público se convierten en un requisito o incluso una necesidad, los sistemas de IA existentes, ya sean transparentes o no, pueden enfrentar una serie de riesgos, incluida la propiedad intelectual (reconstrucción del sistema mediante ingeniería inversa) y la seguridad del sistema (ataques adversarios maliciosos). . Bajo la tensión entre confianza y confidencialidad, aún no se ha determinado el contenido específico de la explicación que debería proporcionar XAI.
Además, los prejuicios y la injusticia no desaparecerán mediante la explicación misma; al contrario, la explicación expondrá más cuestiones éticas que han estado acechando a nuestro alrededor. La investigación de ProPublica sobre COMPAS plantea dudas sobre hasta qué punto el prejuicio racial sistémico ha permeado las sentencias estadounidenses durante la última década. Con el avance de XAI, los verdaderos colores de la IA de caja negra se revelan gradualmente ante nuestros ojos. No es difícil imaginar que hay "cómplices" como COMPAS entre ellos. Si podemos resolver problemas estructurales y mejorar la rendición de cuentas a través de un debate abierto será el desafío más común para la IA y la sociedad humana.