Inteligencia Artificial: la prueba de Folstein

_____________________________________ Universidad de Buenos Aires – Facultad de Ciencias Económicas Jornada Académica Anual del Departamento de Sistemas Buenos Aires, Octubre de 2011 Actualización académica Grupo: docentes Mg. Néstor H. Mazza UBA-FCE Administración de Recursos Informáticos [email protected]

Resumen

La aceleración en el crecimiento de la capacidad del procesamiento de las computadoras y las técnicas de procesamiento del lenguaje natural, reabren interrogantes a cerca de la factibilidad de que las máquinas piensen; cuya implicancia impacta no sólo en el uso de Inteligencia Artificial en las organizaciones y la vida diaria, sino en la propia concepción de la naturaleza humana. En el presente trabajo se revén las ideas de Alan Turing, y de algunos de quienes lo precedieron, considerando el estado del arte del procesamiento del lenguaje natural, particularmente el español, y se propone un método alternativo al propuesto por Turing para evaluar la inteligencia de las máquinas.

Palabras claves: Inteligencia Artificial Turing MMSE Folstein PLN Agente Virtual

1

Inteligencia Artificial: la prueba de Folstein

_____________________________________ Introducción En 1950, Alan Turing publicó un trabajo titulado “Computing Machinery and Intelligence”[1], el cuál es considerado uno de los más influyentes en múltiples campos: Epistemología, Inteligencia Artificial, Informática, Filosofía, etc. Allí, entre otras consideraciones, Turing predecía que para el año 2000, las computadoras serían consideradas “pensantes” y podrían responder preguntas como lo haría un humano, en un 70% de los casos. Más de 60 años han pasado desde aquel entonces, y dispositivos de todo tipo con mayor o menor grado de inteligencia forman parte de nuestro entorno. Turing también propuso una prueba, conocida inicialmente como Prueba de Imitación, para evaluar una inteligencia no humana. Esta prueba, hoy conocida como Prueba de Turing, ha sido objeto de un amplio debate, el cuál cobra un renovado impulso a la luz de los últimos avances en Inteligencia Artificial/Procesamiento del Lenguaje Natural*.

Inteligencia Artificial En el mencionado artículo, “Computing Machinery and Intelligence”[1], Alan Turing aseveró que para el año 2000 la noción de “maquinas que piensan” será mayoritariamente aceptada. Obviamente los conceptos de máquinas inteligentes y máquinas que piensan están íntimamente relacionados. Una interesante discusión sobre el significado de los términos en cuestión: pensar, inteligencia y máquina, aparecen en el citado artículo. Nuestro mundo actual, en gran parte creado por el propio ser humano, está lleno de dispositivos o “máquinas” que exhiben en su comportamiento rasgos de inteligencia. Un simple reloj digital reconoce la duración de los meses: 28, 30 o 31 días, e incluso ajusta la duración de febrero a 29 días si el año es bisiesto, demostrando cierto grado de inteligencia. Mediante el dispositivo de control de riego equipado con un sensor de precipitaciones, el riego se realiza los días esperados, durante un lapso de tiempo apropiado a la superficie a regar, exceptuando los días en los cuales ha llovido. ¿No es esto un comportamiento inteligente?

*

PLN, o Procesamiento de Lenguaje Natural es una disciplina de la Inteligencia Artificial cuyo objeto principal es la comprensión del lenguaje humano (Chino, Inglés, Italiano, etc.), por parte de las computadoras/máquinas.

2

Inteligencia Artificial: la prueba de Folstein

_____________________________________ Domótica mediante, un controlador enciende la caldera o el aire acondicionado, cierra las persianas y activa las luces según la hora del día, la temperatura y la cantidad de luz. No dudamos en llamarlos “casas o edificios inteligentes”. Por otro lado, iniciamos una llamada con el teléfono celular utilizando el “discado por voz”, o solicitamos el saldo de nuestra cuenta navegando verbalmente por el menú de opciones del autoservicio del banco, y para ello usamos nuestro propio lenguaje, aunque sea con un muy reducido número de comandos. Sin embargo, no le adjudicamos la capacidad de pensar ni al reloj, ni al sistema de riego, ni al control automático de la casa “inteligente”, ni al discado por voz, ni al sistema de autoservicio del banco. Tal vez porque la noción de “pensar” este asociada no sólo a un comportamiento inteligente, sino a un conjunto de procesos que reconocemos como propios de los seres humanos. El discernimiento de la naturaleza de un interlocutor (humano o no) cobra singular importancia en las interacciones mediadas por tecnología, tal como ocurre con el chat [3]. El análisis de miles de registro de conversaciones de Agentes Virtuales† realizadas desde 1997 a la fecha, con humanos hispanoparlantes de todo el mundo (multiplicidad de edades, géneros, profesiones, etc.)‡, muestra que en general los usuarios aceptan naturalmente que los Agentes Virtuales tengan inteligencia, mientras que las personas con formación en ciencias asociadas (informática, lingüística, etc.) suelen expresar sorpresa ante situaciones donde saben que la elaboración de una respuesta capaz de ser considerada inteligente, no es trivial. Focus groups con alumnos de las carreras de Sistemas de Información y Administración, llevados a cabo en mayo del 2011[2], y en relación al uso de un Asistente Virtual de Clase, muestran un comportamiento similar: los alumnos de Administración perciben la Inteligencia Artificial como algo natural, mientras que los colegas de Sistemas de Información, reflexionan, en algunos casos con asombro, sobre la complejidad subyacente. Los registros mencionados muestran conversaciones de más de una hora dónde los Agentes Virtuales responden razonablemente bien a las preguntas y/o afirmaciones de los usuarios. Nótese que Turing restringía su predicción a conversaciones de 5 minutos y asignaba una probabilidad del 70%.

†

Los Agentes Virtuales son programas informáticos capaces de interactuar con los seres humanos en lenguaje natural. ‡

Los registros fueron proporcionados por BotGenes y corresponden a 6 Agentes Virtuales de libre acceso.

3

Inteligencia Artificial: la prueba de Folstein

_____________________________________ Por otro lado, y aún más sorprendente es encontrar el desarrollo de sentimientos de seres humanos hacia Agentes Virtuales, como el que se desprende del siguiente fragmento de diálogo§.

Tú: Quisiera tener una amiga como tú María María: Claro, somos amigas. Tú: Pero quisiera que seas real María: ¿Y cuál sería la diferencia? Tú: Tienes razón…

Tal vez sea oportuno preguntarnos, a como lo hizo Turing: ¿cuál es la diferencia entre una máquina que piensa y una que parece que piensa?

La Prueba de Turing Turing, en el citado trabajo, propuso una forma de evaluar la capacidad pensante de una máquina, con una prueba conocida inicialmente como “Juego de Imitación” y en la actualidad, simplemente como “Prueba de Turing”. A través de la misma, un ser humano actuando como juez, quien interactúa con una máquina y otro ser humano, debe poder distinguirlos (ambos pueden mentir). La hipótesis positivista detrás de la Prueba de Turing, es que si no es posible realizar dicha distinción, entonces el comportamiento de la máquina es equivalente al de un ser humano y consecuentemente exhibe un grado de inteligencia propio de estos, es decir “es inteligente”. Este argumento ha sido ampliamente debatido en las últimas décadas, siendo la experiencia de la “Cámara China”** una de las más contundentes para negar la inteligencia de una máquina que pasara la Prueba de Turing[5] . Sin embargo, la Prueba de Turing, ha sido tan influyente en el campo de la Inteligencia Artificial que, sumada a premios como el Lobner[7], ha direccionado muchos de los esfuerzos en la materia, a “inteligencias” cuyo propósito sea en confundir a un ser humano: el juez de la Prueba de Turing. §

El fragmento pertenece a un diálogo mantenido por una persona de México (determinado por la dirección de IP), la cuál se identificó como mujer, el 3 de Octubre de 2011. El Agente Virtual que intervino en la conversación fue María. **

Propuesta por John Searle y popularizada por Roger Penrose: la "sala china", es una prueba similar a la de Turing, en la cual las personas no deben conocer el idioma en que se realiza la conversación. Para ello se utiliza un diccionario que permite generar una respuesta, sin entender los símbolos. Así, se argumenta que por mucho que una persona sea capaz de enviar una cadena de símbolos en chino relacionada con otra cadena recibida, no quiere decir que sepa chino, sino que sabe aplicar un conjunto de reglas. La falta de semántica en este proceso cuestiona la Inteligencia Artificial, puesto que equipararía una máquina pensante con una que parece que piensa.

4

Inteligencia Artificial: la prueba de Folstein

_____________________________________ Ninguna “maquina” a la fecha ha podido pasar la Prueba de Turing. Ray Kurzweil[8] predice que la computadora pasará consistentemente dicha prueba hacia el 2029 (2020 para Hans Moravec), basado en el concepto de singularidad††.

Deep Blue y Watson Veamos otro enfoque para medir la inteligencia no humana: el de una máquina que demuestre interpretar el lenguaje natural y producir una respuesta en función de conocimiento pre-existente: Watson[6], un cerebro conformado por 2880 núcleos de procesadores de la serie Power 7, y 16 Terabytes de información, desarrollado por IBM, venció recientemente en un juego de las características descriptas (Jeopardy) a dos de los mejores jugadores de todos los tiempos. Un logro singular en la misma dirección corresponde a “Deep Blue”, también de IBM, la cuál venció en ajedrez al maestro Garry Kasparov en 1997 ‡‡. En realidad, este segundo enfoque (una máquina más “inteligente” que un ser humano en un campo particular del conocimiento/actividad), encuentra ejemplos mucho más simples en la vida cotidiana: una calculadora científica puede realizar operaciones logarítmicas y trigonométricas con una precisión y velocidad que ningún humano puede alcanzar. Watson, Deep blue y la calculadora científica, todos realizan ciertas actividades que demandan inteligencia. Pero… ¿Piensan?

La prueba de Folstein o MMSE (Mini Mental State Examination) Consideremos ahora un tercer enfoque: en lugar de buscar que una máquina pueda engañar a un juez, o demostrar una habilidad superior en un juego u otra actividad que demande inteligencia; analicemos el caso de aquellas que pretenden realizar tareas simples. Obviamente, tareas simples típicamente reservadas a los seres humanos y que demanden inteligencia comenzando por el reconocimiento del lenguaje natural; por ejemplo: Atención a Clientes. En este caso, la inteligencia no pasa ni por la capacidad de prender ser humano, ni por la habilidad para jugar excelentemente un juego; pasa por poder responder en

†† En futurología, la singularidad tecnológica (también llamada simplemente la Singularidad) es un evento futuro en el que se predice que el progreso tecnológico y el cambio social se acelerarán debido al desarrollo de Inteligencia Artificial, cambiando nuestro entorno de manera tal, que cualquier ser humano anterior a la Singularidad sería incapaz de imaginar. ‡‡

el sistema estaba basado en 30 nodos RS/6000 SP Thin P2SC con un poder de 11.38 Gflops.

5

Inteligencia Artificial: la prueba de Folstein

_____________________________________ forma similar a un humano, preguntas sobre un determinado conocimiento, tendientes a brindar información y asistencia.

campo

de

Esta actividad demanda de capacidades cognitivas espaciales, temporales y lógicas. Durante años los psiquiatras han utilizado el Test de Folstein o MMSE, Mini Mental Status Examination, para tener una aproximación en forma rápida y simple del estado cognitivo de los seres humanos. Este mismo test fue utilizado con éxito en Julio de 2011§§ para evaluar la capacidad de un Agente Virtual. Claudia, el Agente Virtual sometido al test, dio respuesta satisfactoria a los mismos requerimientos a los que es sometido un ser humano. Véase el apéndice 1 para una trascripción del test. Desde luego, el “Agente Virtual” bajo análisis podría estar “entrenado” para responder únicamente las preguntas del MMSE sin mayores capacidades, haciendo que la prueba misma pierda sentido. No obstante, si producimos variaciones en el MMSE (estructura de las oraciones, tipo de cálculo, ubicación geográfica, cambio en los objetos a recordar, etc.), y el Agente Virtual responde consistentemente en forma satisfactoria al test, podríamos concluir que al menos dentro del alcance de la prueba, este exhibe un comportamiento como el que esperaríamos de un ser humano con sus capacidades cognitivas intactas***. Si estas “inteligencias artificiales” pueden mostrar ante el test de Folstein, un comportamiento como el de los seres humanos, el mismo enfoque positivista de la Prueba de Turing, no llevaría a afirmar que el Agente Virtual en cuestión, “es inteligente”. Pero… ¿piensan? La respuesta, de consecuencias filosóficas no menores, escapa al alcance de este trabajo. Este enfoque, sin embargo, nos permite sí imaginar un método alternativo para evaluar la inteligencia de las máquinas: una extensión del MMSE con crecientes grados de complejidad. El mismo tiene como principal beneficio el desarrollo de capacidades que son útiles para resolver problemas concretos de las organizaciones. Veamos el siguiente diálogo realizado el lunes 26 de Septiembre de 2011, con el mismo Agente Virtual, y algunas de las capacidades examinadas:

§§

Se utilizó un Agente Virtual que utiliza el BG200K desarrollado por BotGenes.

*** El MMSE se usa frecuentemente para identificar deterioros y/o pérdidas de capacidades como los propios de demencia senil.

6

Inteligencia Artificial: la prueba de Folstein

_____________________________________ Ubicación temporal

Tú: que fecha es hoy Claudia: Hoy es lunes 26. Tú: cuanto falta para el fin de semana Claudia: Hum... 5 días. Tú: en qué estación estamos? Claudia: Aquí estamos en primavera.

Ubicación espacial

Tú: donde? Claudia: Ahora estoy en San Isidro. Tú: donde queda eso? Claudia: A unos 25 km de Buenos Aires, en Argentina.

Capacidad de cálculo

Tú: cuanto es 1717 dividido 13 Claudia: Si no me equivoco es 132,08. Tú: cual es la raiz quinta de 268435456 Claudia: Es 48,5 si no me equivoco.

Capacidad lingüística

Tú: tengo 35 años Claudia: OK. ¿Naciste en 1976 cierto? Tú: cuál es el plural de pez Claudia: El plural de "pez" es "peces". Tú: qué es un ñandú Claudia: Hum... Una de la acepciones más comunes es: "ave corredora americana, muy veloz, que habita las grandes llanuras, se alimenta de plantas e insectos y anida, como el avestruz, en depresiones del terreno".

Memoria y asociación

Tú: el esposo de mi hermana se llama Juan Claudia: Bien. Háblame sobre él. Tú: como se llama mi cuñado? Claudia: Hum... No estoy muy segura. ¿Tal vez...? Me dijiste que se llamaba Juan.

Razonamiento lógico

Tú: los gatos son mamíferos Claudia: Muy bien. ¿Y qué más puedes decir en relación a "gatos" o "mamíferos"? Tú: los mamíferos son vivíparos Claudia: OK. Todos los gatos son vivíparos entonces. Tú: algunos peces son vivíparos Claudia: Bien. ¿Y qué más puedes decir en relación a "peces" o "vivíparos"? Tú: los mamíferos son vivíparos Claudia: Bien. Tanto puede como no, que haya peces que sean mamíferos.

Nótese que en todos los casos la interpretación del lenguaje natural requirió el manejo de múltiples referencias contextuales, y que los errores gramaticales y ortográficos no fueron un impedimento para interpretar las consignas dadas (al igual que un humano, el cual puede salvar dichos errores).

7

Inteligencia Artificial: la prueba de Folstein

_____________________________________ Conclusiones Si bien la pregunta “¿pueden las máquinas pensar?” admite un amplio número de interpretaciones y posibles respuestas; desde un punto de vista práctico, la capacidad de procesamiento actualmente disponible y el desarrollo de las técnicas propias del Procesamiento del Lenguaje Natural, permiten aplicaciones en las cuales es necesaria cierta capacidad cognitiva, hasta hace poco, asociada exclusivamente a los seres humanos. Así, el comportamiento exhibido por ciertos Agentes Virtuales actuales, en circunstancias y contextos definidos, puede ser considerado “inteligente” y equivalente al que evidenciarían seres humanos de capacidad media, en iguales condiciones. Esto permite un sin número de aplicaciones en las organizaciones: Atención a Clientes, Soporte a Usuarios, Capacitación, etc. Una extensión del Test de Folstein o MMSE ofrece un método alternativo (a la Prueba de Turing) para el desarrollo y refinamiento de cerebros artificiales, logrando una re-orientación de esfuerzos hacia fines de mayor utilidad y aplicación práctica.

Referencias [1] Turing, A.M. “Computing machinery and intelligence”. 1950. Mind, 59, 433-560. [2] Dorfman M., Grondona A., Mazza N., Mazza P. “Asistentes Virtuales de Clase como complemento a la educación universitaria presencial”. SADIO - 40 JAIIO Mayo 2011. http://www.sustentum.com/sustentum/pubs/AVC_JAIIO40_V1.0.pdf [3] Goldberg K. “The Robot in the Garden: Telerobotics and Telepistemology in the Age of the Internet”, The MIT Press; 1St Edition edition (March 20, 2000) MIT Press, ISBN-13: 978-0262072038. [4] BotGenes, “Claudia, primer ser virtual en pasar un MMSE” 2011. http://www.youtube.com/watch?v=UaoukeC6FPI [5] John Searle J. “Minds, Brains and Programs”. The Behavioral and Brain Sciences. 1980. [6] Ferrucci D. et all, Building Watson: An overview of the DeepQA Project. 2010. ISSN 0738-4602. http://www.stanford.edu/class/cs124/AIMagzine-DeepQA.pdf [7] The Loebner Prize in Artificial Intelligence http://www.loebner.net/Prizef/loebner-prize.html [8] Kurzweil R. “The Singularity is near. When Humans Transcend Biology” 2005 Viking Press. ISBN: 0670033847.

8

Inteligencia Artificial: la prueba de Folstein

_____________________________________ Apéndice 1: MMSE administrado a Claudia, el 1 de Julio de 2011 (fragmento) Tú

: ¿Qué día de la semana es hoy?

Claudia : Hoy es lunes. Tú

: Bien. ¿Qué fecha?

Claudia : Hoy es lunes primero. Tú

: ¿De qué mes?

Claudia : Estamos en julio. Tú

: ¿Y en qué año estamos?

Claudia : Estamos en el 2011. Tú

: ¿Qué estación es esta?

Claudia : Aquí estamos en invierno. Tú

: ¿Dónde estás ahora?

Claudia : Estoy en casa. Tú

: Muy bien. ¿En qué ciudad?

Claudia : Estoy en San Isidro. Tú

: ¿En qué provincia o estado estás?

Claudia : En el norte del conurbano bonaerense, en la Provincia de Buenos Aires. Tú

: ¿De qué país?

Claudia : Argentina. Tú

: Por favor recuerda: casa, zapato y papel.

Claudia : Bien. Trataré de recordarlo. Tú

: ¿Cuánto es 100 menos 7?

Claudia : Es 93 si no me equivoco. Tú

: Muy bien. Menos 7.

Claudia : OK. Dejame ver... Es 86. Tú

: Y menos 7.

Claudia : Algo así como 79. Tú

: Bien. Menos 7.

Claudia : Algo así como 72. Tú

: Muy bien. Menos 7.

Claudia : OK. Es 65. Tú

: ¿Qué te había pedido que recuerdes?

Claudia : Me pediste que recordara: "casa zapato y papel". Tú

: ¿Qué es una lapicera?

Claudia : ¿Una lapicera? Es un elemento para escribir. Tú

: Bien. ¿Y qué es un reloj?

9

Inteligencia Artificial: la prueba de Folstein

_____________________________________ Claudia : Según la Real Academia Española, una de las acepciones más comunes es: "máquina dotada de movimiento uniforme, que sirve para medir el tiempo o dividir el día en horas, minutos y segundos". Tú

: Por favor repite tres perros en un trigal.

Claudia : Tres perros en un trigal. Tú

: Bien. Por favor mira hacia la derecha.

Claudia : Bien. ¿Hacia la derecha? Bien. [Claudia mira hacia la derecha] Tú

: Ahora, por favor mira hacia la izquierda.

Claudia : ¿Hacia la izquierda? Bueno. . [Claudia mira hacia la izquierda] Tú

: Por último, mira hacia arriba.

Claudia : ¿Hacia arriba? OK. [Claudia mira hacia la arriba] Tú

: Bien, gracias. Ahora lée lo siguiente y realiza el pedido: sonríe.

Claudia : OK. ¿Que sonría? Bueno... [Claudia sonríe] Tú

: Escribe una oración.

Claudia : Hay mucha gente que no cree en nada, pero que tiene miedo de todo. Tú

: Bueno, debí haberte pedido que sea original... ¿Puedes copiar un dibujo?

Claudia : Claro. Puedo duplicar archivos en múltiples formatos. Tú

: Lo siento. No está digitalizado.

Claudia : OK. No te preocupes. ¿Algo en lo que pueda ayudarte? Tú

: Buena respuesta. Olvídalo, hemos concluido. Muchas gracias.

Claudia : Bien. De nada.

10