UNIVERSIDAD NACIONAL MAYOR DE SAN MARCOS Fundada en 1551

FACULTAD DE CIENCIAS MATEMÁTICAS E.A.P. DE INVESTIGACIÓN OPERATIVA

“LAS REDES NEURONALES ARTIFICIALES Y SU IMPORTANCIA COMO HERRAMIENTA EN LA TOMA DE DECISIONES” TRABAJO DE INVESTIGACIÓN Para optar el Título Profesional de: LICENCIADA EN INVESTIGACIÓN OPERATIVA AUTORA MARÍA DEL ROSARIO VILLANUEVA ESPINOZA

LIMA – PERÚ 2002

A mis hijos, David y Claudia

Agradecimientos

El desarrollo de esta monografía ha sido posible gracias al estímulo constante brindado por el Lic. Jaime Alcalde Ch., quien sugirió el tema básico sobre el que se ha elaborado el presente trabajo. Tratándose de un tema sobre el que hay muy pocas experiencia locales, considero especialmente importante expresar mi agradecimiento al Ing. Antonio Morán, Jefe de la Carrera de Ingeniería Electrónica de la Universidad Peruana de Ciencias Aplicadas, que con su basta experiencia en el desarrollo de redes neuronales artificiales me orientó en repetidas ocasiones para la construcción de la red que soporta el caso práctico incluido en este trabajo. Asimismo, mi agradecimiento a la Dra. Ana Maria Villanueva Espinoza, perinatóloga del Instituto Peruano de Seguridad Social, que me brindó los datos necesarios para el desarrollo de la aplicación, y a quien corresponde la definición de su objetivo e interpretación de los resultados con ella obtenidos. Por último, aunque no por eso menos importante, agradezco la paciencia y comprensión de mis hijos, a quienes resté atención durante las muchas horas de investigación que demandó la presente monografía y la construcción de la correspondiente red neuronal artificial.

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

SUMMARY

This project describes the fundamentals of typical Artificial Neural Networks along with a historical evolution, which includes some of their most important models to date. In addition, a biological introduction is presented that focuses on the elements these networks try to emulate, an explanation of each component, and the learning algorithms implemented. There after, a depiction of application areas, especially in decision making support is pointed out due to their capability to identify and classify patterns. Finally, the development of a medical application: By using a commercial software, a Backpropagation Artificial Neural Network can assist in the detection of the main risk factors for babies whose mothers have a history of abortion.

KEYWORDS:

- Artificial Neural Networks -

Backpropagation

-

Soft Computing

-

Learning Patterns

-

Artificial Intelligence

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

RESUMEN

Se describen los fundamentos de las Redes Neuronales Artificiales, y su evolución histórica, presentando algunos de los modelos más importantes. Se presenta una introducción biológica, enfocada principalmente en la descripción de los elementos del sistema neurológico que las redes neuronales artificiales emulan, para luego describir cada uno de sus componentes y los diversos algoritmos de aprendizaje que implementan. Se describen algunas de las áreas de aplicación, específicamente en los sistemas de soporte a las decisiones, aprovechando las capacidades de clasificación e identificación de patrones. Por último se desarrolla un caso práctico en el área médica: una red neuronal para apoyo en la identificación de factores de mayor riesgo para los hijos de madres con antecedentes de aborto, empleando un software comercial emulador de redes neuronales Backpropagation.

PALABRAS CLAVE:

- Redes Neuronales Artificiales -

Backpropagation

-

Soft Computing

-

Patrones de Aprendizaje

-

Inteligencia Artificial

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

TABLA DE CONTENIDO CAPÍTULO I I.1 I.2 I.3 I.4 I.5

INTRODUCCIÓN SURGIMIENTO Y EVOLUCIÓN REDES NEURONALES PANORAMA HISTÓRICO BREVE INTRODUCCIÓN BIOLÓGICA

CAPÍTULO II II.1 ESTRUCTURA DE UN SISTEMA NEURONAL ARTIFICIAL

II.2

CARACTERÍSTICAS

CAPÍTULO III III.1 ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL III.1.1 La Neurona Artificial III.1.2 Estado de Activación III.1.3 Función de Salida o de Transferencia III.1.4 Conexiones entre Neuronas III.1.5 Función o Regla de Activación III.1.6 Regla de Aprendizaje III.1.7 Formas de Conexión entre Neuronas CAPÍTULO IV IV 1 TOPOLOGÍA DE LAS REDES NEURONALES IV.1.1 Redes Neuronales Monocapa IV.1.2 Redes Neuronales Multicapa CAPÍTULO V V.1 ALGORITMOS NEURONALES V.1.1 El aprendizaje supervisado V.1.2 El aprendizaje no supervisado o autoorganizado CAPÍTULO VI VI.1 LA RED BACKPROPAGATION VI.1.1 La Regla Delta Generalizada CAPÍTULO VII VII.1 APLICACIONES DE LAS REDES NEURONALES ARTIFICIALES VII.2 OPERATIVA VII.3 Listado de Aplicaciones CAPÍTULO VIII VIII.1 CASO PRÁCTICO Red Natural para apoyo a identificación de factores de mayor riesgo en hijos de madres con antecedentes de aborto

CONCLUSIONES RECOMENDACIONES BIBLIOGRAFÍA ANEXO A VALORES DE LA RED NEURONAL IMPORTANCIA DE CADA ENTRADA ANEXO B GRÁFICO ANEXO C FICHA DE DATOS

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

CAPÍTULO I

I.1

INTRODUCCIÓN

Existe actualmente una tendencia a establecer un nuevo campo de las ciencias de la computación que integre los diferentes métodos de resolución de problemas que no pueden ser descritos fácilmente mediante el enfoque algorítmico tradicional. Todos estos métodos se originan, de una u otra forma, en la emulación más o menos inteligente del comportamiento de los sistemas biológicos. A pesar de que todavía existen discrepancias al respecto, ya se han acuñado algunos términos para denotar este nuevo campo: Computación Cognitiva (Cognitive Computing), Computación del mundo real (Real-world Computing), Computación Blanda (Soft Computing) , este último enfatizando su diferencia con la computación tradicional o Hard Computing. Estos métodos están orientados a resolver problemas donde es necesario manejar información masiva, imprecisa, incierta o distorsionada propia del mundo real (toma de decisiones, reconocimiento de formas, habla, etc.). Algunos de éstos son la Lógica Borrosa o difusa (Fuzzy Logic), las Redes Neuronales Artificiales, los Algoritmos genéticos, la Teoría del Caos y la Teoría del Aprendizaje.

Siendo todos éstos

enfoques diferentes, existe una tendencia a buscar combinaciones entre ellos, de manera que a cada aspecto de los problemas reales que deban ser resueltos se le aplica la técnica que resulta más apropiada. El trabajo de la presente monografía está enfocado específicamente en la metodología de las Redes Neuronales Artificiales. Se presenta una panorámica de esta técnica, su evolución histórica y una descripción de las características más significativas. Asimismo, se describen los principales modelos de redes neuronales, en especial el conocido como Backpropagation, el de más amplia difusión, empleado además para el desarrollo del caso práctico que forma parte del presente trabajo. Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Asimismo, se brinda un alcance de las áreas de aplicación, específicamente en los sistemas de soporte a las decisiones, aprovechando las capacidades de clasificación e identificación de patrones, de mayores aplicaciones prácticas en los procesos de negocio que las más ampliamente conocidas de reconocimiento de voz e imágenes. En el capítulo I se da una panorámica histórica de la evolución de las redes neuronales y su relación con la inteligencia artificial. Asimismo se presenta una breve introducción biológica donde se muestra, de manera simplificada, la forma de operar de las neuronas y sistemas neurológicos biológicos, con el objetivo de identificar en ellos los elementos que son emulados mediante esta técnica. En el capítulo II se describe la estructura de los sistemas neuronales artificiales, poniendo énfasis en su analogía con los sistemas neuronales biológicos, así como las características similares al cerebro con las que cuenta debido a su constitución y fundamentos (como el procesamiento paralelo y el aprendizaje adaptativo). El capítulo III detalla cada uno de los elementos de una red neuronal artificial: la neurona artificial, las diferentes funciones de salida o transferencia, el estado de activación, regla de activación, conexiones y reglas de aprendizaje. El capítulo IV describe las distintas topologías o arquitecturas de redes neuronales. Se incluyen dos cuadros que muestra estos aspectos de las redes monocapa y multicapa más conocidas. El capítulo V describe los diferentes algoritmos neuronales de aprendizaje supervisado y no supervisado. A continuación (capítulo VI) se detalla la red Backpropagation, que toma su nombre del algoritmo de aprendizaje que implementa, y es la más ampliamente utilizada en la actualidad. Por último, los capítulos VII y VIII se dedican a las aplicaciones prácticas de esta técnica. En el capítulo VII se muestra una lista de ejemplos de aplicaciones por disciplinas: empresa, medio ambiente, biología, medicina, manufactura, etc., mientras que el capítulo VIII se dedica al caso práctico desarrollado para la identificación de los factores de mayor impacto en las condiciones al nacer de los hijos de las madres con antecedente de abortos. Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

I.2

SURGIMIENTO Y EVOLUCIÓN

Las redes neuronales son una rama de la Inteligencia Artificial. En las redes neuronales el conocimiento se incorpora mediante el aprendizaje a partir de ejemplos. Las redes neuronales artificiales son ampliamente utilizadas en la actualidad por ejemplo para el escaneo de imágenes, reconocimiento de patrones, problemas de optimización, clasificación de datos financieros, apoyo al diagnóstico médico, etc. Un computador convencional es una máquina que ejecuta una serie de instrucciones de forma secuencial, siendo capaz de realizar complicadas operaciones lógicas y aritméticas de una forma muy rápida, mucho más que el cerebro humano. Pese a ello, existen tareas sencillas como el reconocimiento de patrones, que ni los grandes supercomputadores son capaces de resolver de un modo eficiente, mientras que el cerebro lo viene haciendo desde hace millones de años con suma facilidad y eficiencia. Por esta razón, algunos científicos han vuelto la vista hacia el cerebro tratando de estudiarlo desde el punto de vista de la computación. La estructura del cerebro es radicalmente diferente a la del computador convencional. No está compuesto por un único microprocesador altamente complejo y eficiente, sino por miles de millones de ellos, las neuronas, que realizan de modo impreciso y relativamente lento un tipo de cálculo muy simple.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Cerebro

Computador

Velocidad de Proceso

= 10-2 seg. (100 Hz)

=10-9 seg. (1000 MHz)

Estilo de Procesamiento

paralelo

Secuencial

Número de Procesadores

10 11 - 1014

Pocos

Conexiones

10,000 por procesador Pocas

Almacenamiento del conocimiento

Distribuido

Direcciones fijas

Tolerancia a fallos

amplia

Nula

Tipo de control del proceso

Auto organizado

centralizado

Tabla: Cerebro frente a computador convencional Von Neumann (Martín del Brío, Sanz Molina. 2002)

En este proceso del pensamiento científico surgieron los sistemas neuronales artificiales, con la idea de tomar las características esenciales de la estructura neuronal del cerebro para crear sistemas que lo emularan en parte, mediante sistemas electrónicos. Estos sistemas están compuestos por multitud de pequeños procesadores simples, a los que se denomina neuronas artificiales. Con las redes neuronales se intenta expresar la solución de problemas complejos, no como una secuencia de pasos, sino como la evolución de unos sistemas de computación inspirados en el funcionamiento del cerebro humano, y dotados por tanto de cierta “inteligencia”, los cuales no son sino la combinación de una gran cantidad de elementos simples de proceso (neuronas) interconectados que, operando de forma masivamente

paralela,

consiguen

resolver

problemas

relacionados

con

el

reconocimiento de formas o patrones, predicción, codificación, clasificación, control y optimización. Aunque

existen

computadores

neuronales,

con

cientos

de

pequeños

microprocesadores que trabajan en paralelo, lo cierto es que mediante software se puede emular el comportamiento de estas redes neuronales en un computador convencional y existen multitud de programas de redes neuronales que funcionan incluso en un computador personal. Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Las redes neuronales operan sobre la base de reconocimiento de patrones, y pueden adquirir, almacenar y utilizar conocimiento experimental, obtenido a partir de ejemplos. Esta forma de adquirir el conocimiento es una de sus características más destacables: no se programa de forma directa, como en los sistemas expertos, sino que se adquiere a partir de ejemplos, por ajuste de parámetros de las neuronas mediante un algoritmo de aprendizaje. En cuanto al modo interno de trabajo las redes neuronales son modelos matemáticos multivariantes que utilizan procedimientos iterativos, en general para minimizar funciones de error.

DIFERENCIA CON LOS SISTEMAS EXPERTOS Las redes neuronales se asemejan a los sistemas expertos en cuanto al objetivo de representar el conocimiento pero son radicalmente opuestos en cómo aspiran a conseguirlo. Los sistemas expertos se acercan más al razonamiento deductivo obtener reglas- y las redes neuronales al inductivo -aprendizaje mediante ejemplos-. La gestión empresarial utiliza frecuentemente ambos esquemas de razonamiento, por lo que ambas técnicas tienen cabida. Además, ambos modelos son perfectamente compatibles, de forma que se pueden integrar en un único sistema.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

I.3

REDES NEURONALES E INTELIGENCIA ARTIFICIAL

INTELIGENCIA ARTIFICIAL

REDES DE AUTOPROCESO

PROCESAMIENTO NUMÉRICO

SISTEMAS ASOCIATIVOS

PROCESAMIENTO SIMBÓLICO

SISTEMAS DISTRIBUIDOS

REDES NEURONALES

REDES SUBSIMBÓLICAS

REDES DE AUTOPROCESO: Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Formadas por nodos en los que hay elementos procesadores de información de cuyas interacciones locales depende el comportamiento del sistema. a) PROCESAMIENTO NUMÉRICO: Reciben la señal de entrada desde el exterior y operan sobre ella. Son sistemas constituidos por nodos de hardware interconectados formando una red. También se conocen como sistemas conectivistas o conexionistas. SISTEMAS DISTRIBUIDOS: La conexión entre los nodos se realiza de forma global, bajo unas reglas de composición. SISTEMAS ASOCIATIVOS: La conexión se realiza agrupando el sistema en subredes. También se conocen como redes de redes. REDES SUBSIMBÓLICAS: Las agrupaciones locales de los nodos representan conceptos. REDES NEURONALES Cada nodo de la red funciona corporativamente. Cada nodo es una neurona.

b) PROCESAMIENTO SIMBÓLICO: Estas redes están constituidas por conceptos (nodos) y por reglas sintácticas (lazos de interconexión). Ambas forman las llamadas bases de conocimiento. La simulación de estas redes es casi exclusivamente software.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

TABLA: FORMAS BÁSICAS DE COMPUTACIÓN Computación Convencional

Computación Simbólica

Computación Neuronal

Basado en:

Arquitectura Von Neumann

Lógica cognitiva

Neurobiología

Apropiada para:

Algoritmos conocidos

Heurística

Adaptación

Pero no para:

Condiciones difusas

Causalidad desconocida

Cálculos precisos

Memoria:

Precisa, estática

Bases de conocimiento

Distribuida

Construida mediante:

Diseño, programación y prueba

Representación del conocimiento + motor de inferencia

Configuración y aprendizaje

Soporte:

Computadores secuenciales

Máquinas LISP

Procesadores paralelos

Tabla: Formas básicas de Computación (Martín del Brío, Sanz Molina. 2002)

I.4

PANORAMA HISTÓRICO

Las primeras explicaciones teóricas sobre el cerebro y el pensamiento fueron dadas por algunos antiguos filósofos griegos, como Platón (427-347 a.C) y Aristóteles (384422 a.C). Las mismas ideas sobre el proceso mental las mantuvo Descartes (15961650) y los filósofos empiristas del siglo X. La clase de las llamadas máquinas cibernéticas, a la cual la computación neuronal pertenece, tiene más historia de la que generalmente se cree: Heron el Alejandrino construyó un autómata hidráulico sobre el año 100 a.C Alan Turing en 1936 fue el primero en estudiar el cerebro como una forma de ver la computación; sin embargo los primeros teóricos que concibieron los fundamentos de la computación neuronal fueron Warren McCulloch, un neurofisiólogo, y Walter Pitts, un

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

matemático, quienes en 1943 lanzaron una teoría sobre la forma de trabajar de las neuronas. Ellos modelaron una red neuronal simple mediante circuitos eléctricos. En 1957, Frank Rosenblatt comenzó el desarrollo del Perceptrón. Esta es la más antigua red neuronal, y se usa hoy en día de varias formas para aplicaciones como de reconocimiento de patrones. Este modelo era capaz de generalizar, es decir, después de haber aprendido una serie de patrones era capaz de reconocer otros similares, aunque no se hubieran presentado anteriormente. En 1959, Bernard Widrow y Marcial Of., de Stanford, desarrollaron el modelo ADALINE (Adaptative LINear Elements). Esta fue la primera red neuronal aplicada a un problema real (filtros adaptativos para eliminar ecos en las líneas telefónicas), y se ha usado comercialmente durante décadas desde entonces. En 1967, Stephen Grossberg (Universidad de Boston) desarrolló la red Avalancha, que consistía en elementos discretos con actividad que varía con el tiempo, que satisface ecuaciones diferenciales continuas para resolver actividades tales como reconocimiento continuo del habla y aprendizaje del movimiento de los brazos de un robot. James Anderson desarrolló en 1977 un modelo lineal, llamado Asociador Lineal, que consistía en unos elementos integradores lineales (neuronal) que sumaban sus entradas. Este modelo se basa en el principio de que las conexiones entre neuronas son reforzadas cada vez que están activadas. Anderson diseñó una potente extensión del Asociador Lineal, llamada Brain-State-in-a-box. En Japón, Kunihiko Fukushima publicó en 1980 el desarrollo del Neocognitrón, un modelo de red neuronal para el reconocimiento de patrones visuales. En 1982, John Hopfield presentó un trabajo en el que describe con claridad y rigor matemático una red que lleva su nombre, que es una variación del Asociador Lineal.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

I.5

BREVE INTRODUCCIÓN BIOLÓGICA a: Soma b: Axón c: Dendritas

Figura: Estructura de una neurona típica El sistema nervioso está compuesto por una red de células (neuronas), ampliamente interconectadas entre sí. En las neuronas, la información fluye desde las dendritas hacia el axón, atravesando el soma. Se estima que el sistema nervioso contiene alrededor de cien mil millones de neuronas.

Desde un punto de vista funcional, las neuronas constituyen procesadores de información sencillos. Posee un canal de entrada de información (las dendritas), un órgano de cómputo (el soma), y un canal de salida (el axón). En las interneuronas el axón envía la información a otras neuronas, mientras que en las neuronas motoras lo hace directamente al músculo.

Existe otro tipo de neuronas, las receptoras o

sensoras, que reciben la información directamente del exterior. Se calcula que una neurona de la corteza cerebral recibe información, por término medio, de unas 10,000 neuronas (convergencia) y envía impulsos a varios cientos de ellas (divergencia).

En el cerebro se aprecia la existencia de una organización horizontal en capas (se suelen señalar unas seis capas), coexistiendo además una organización vertical en forma de columnas de neuronas. Hay además grupos neuronales, compuestos de millones de neuronas pertenecientes a una determinada región del cerebro, que constituyen unidades funcionales especializadas en ciertas tareas (un área visual, un área auditiva, etc.). Todos los subsistemas juntos forman el encéfalo.

Se tiene

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

evidencia que el procesamiento en el sistema nervioso involucra la actuación de muchos de tales subsistemas, que intercambian continuamente información.

La unión entre dos neuronas se denomina sinapsis. Se habla de neuronas presinápticas (que envían señales) y postsinápticas (que las reciben). Las sinapsis son direccionales, es decir, la información fluye siempre en un solo sentido.

Cada neurona recibe impulsos procedentes de otras neuronas (inputs) a través de las dentritas, que están conectadas a las salidas de otras neuronas por las sinapsis. Las sinapsis, alteran la efectividad con la que la señal es transmitida a través de un parámetro, el peso. El aprendizaje resulta de la modificación de estos pesos, que unido al procesamiento de información de la neurona determinan el mecanismo básico de la memoria. Algunas sinapsis permiten pasar a la señal con facilidad, mientras que otras no. El soma de la neurona recibe todos estos inputs, y emite una señal de salida (output) si la entrada total supera el valor del umbral. Esta salida se transmite a través del axón desde donde se propaga mediante diferencias de potencial a las dentritas de otras neuronas

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

CAPÍTULO II

II.1

ESTRUCTURA DE UN SISTEMA NEURONAL ARTIFICIAL

Los sistemas neuronales artificiales imitan la estructura del hardware del sistema nervioso, con la intención de construir sistemas de procesamiento de información paralelos, distribuidos y adaptativos, que puedan presentar un cierto comportamiento “inteligente”.

E N T R A D A S

Σ

S A L I D A S

Parte algorítmica

Neurona

Capa

Red

Sistema Neuronal

Estructura jerárquica de un sistema basado en Redes Neuronales Artificiales

Cada neurona realiza una función matemática. Las neuronas se agrupan en capas, constituyendo una red neuronal. Una determinada red neuronal está confeccionada y entrenada para llevar a cabo una labor específica. Finalmente, una o varias redes, más las interfaces con el entorno, conforman el sistema global. En las redes neuronales biológicas, las neuronas corresponden a los elementos de proceso. Las interconexiones se realizan por medio de las ramas de salida (axones) que producen un número variable de conexiones (sinapsis) con otras neuronas o con

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

otras partes como músculos y glándulas.

Las redes neuronales son sistemas de

elementos simples de proceso muy interconectados. La compleja operación es el resultado de abundantes lazos de realimentación junto con no linealidades de los elementos de proceso y cambios adaptativos de sus parámetros, que pueden llegar a definir fenómenos dinámicos muy complicados. Los modelos neuronales se diferencian en la función que incorpora la neurona, su organización y forma de las conexiones. Sarle (1994) compara los modelos neuronales con los modelos estadísticos más convencionales, encontrando que la mayoría de los modelos neuronales tienen un equivalente tradicional.

Formalmente, un sistema neuronal o conexionista está compuesto de los siguientes elementos: •

Un conjunto de procesadores elementales o neuronas artificiales.

•

Un patrón de conectividad o arquitectura.

•

Una dinámica de activaciones.

•

Una regla o dinámica de aprendizaje.

•

El entorno donde opera.

II. 2

CARACTERÍSTICAS

Debido a su constitución y fundamentos, las redes neuronales artificiales presentan un gran número de características similares a las del cerebro. Por ejemplo, son capaces de aprender de la experiencia, de generalizar de casos anteriores a nuevos casos, de abstraer características esenciales a partir de entradas que presentan información irrelevante, etc.

• Procesamiento paralelo: Esta característica resulta esencial, como se puede deducir de un sencillo ejemplo. Un

computador

convencional

tipo

PC,

que

trabaja

secuencialmente

las

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

instrucciones, emplearía varios minutos en realizar sobre una imagen compuesta por 256 x 256 píxeles, una sencilla tarea de tratamiento en bajo nivel (acentual contrastes, extraer contornos, etc.), mucho más simple que la que lleva a cabo el sistema visual biológico para reconocer una imagen.

Un sistema basado en 16

DSP (por ejemplo, del modelo TMS32020, clásico DSP de Texas Instruments) operando en paralelo emplearía un tiempo del orden de 20 milisegundos en la misma tarea, puesto que cada uno puede operar en paralelo sobre diferentes áreas de la imagen. Por otra parte, el cerebro tarda aproximadamente lo mismo para preprocesar una imagen compuesta por millones de píxeles (los que representan los conos y bastones de la retina), extraer sus rasgos característicos, analizarla e interpretarla. La clave reside en los miles de millones de neuronas que intervienen en el proceso de visión, operando en paralelo sobre la totalidad de la imagen.

• Memoria Distribuida: Mientras en un computador la información ocupa posiciones de memoria bien definidas, en los sistemas neuronales se encuentra distribuida por las sinapsis de la red, de modo que si una sinapsis se daña solamente perdemos una pequeña parte de la información.

• Aprendizaje adaptativo: La capacidad de aprender a realizar tareas basada en un entrenamiento o en una experiencia ini cial elimina la necesidad de elaborar modelos a priori o de especificar funciones de distribución de probabilidad. Las redes neuronales son sistemas dinámicos auto adaptativos. Son adaptables debido a la capacidad de auto ajustarse que tienen las neuronas. Son dinámicos, pues son capaces de estarse adaptando constantemente a las nuevas condiciones. En el proceso de aprendizaje, los enlaces ponderados de las neuronas se ajustan de manera que se obtengan unos resultados específicos. Una red neuronal no

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

necesita un algoritmo para resolver su problema, ya que puede generar su propia distribución de los pesos de los enlaces mediante el aprendizaje. La función del diseñador se limita a la obtención de la arquitectura apropiada. No es problema del diseñador el cómo la red aprenderá a discriminar, sin embargo sí debe desarrollar un buen algoritmo de aprendizaje que proporcione a la red la capacidad de discriminar mediante un entrenamiento con patrones.

• Auto organización: Las redes neuronales utilizan su capacidad de aprendizaje adaptativo para organizar la información que reciben durante el aprendizaje y/o la operación. Mientras el aprendizaje es la modificación de cada elemento procesal, la auto organización consiste en la modificación de la red neuronal completa para llevar a cabo un objetivo específico. Esta auto organización da lugar a la generalización: facultad de responder apropiadamente cuando se les presentan datos o situaciones a los que no habían sido expuestas anteriormente. El sistema puede generalizar la entrada para obtener una respuesta. Esta característica es de especial importancia cuando se tiene que solucionar problemas para los cuales la información de entrada es poco clara; permite además que el sistema dé una solución incluso cuando la información de entrada está especificada en forma incompleta.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

CAPÍTULO III

III. 1 ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL Las redes neuronales son modelos que intentan reproducir el comportamiento del cerebro. Como modelos, son una simplificación de lo que emulan, incorporando los elementos relevantes del sistema . Una elección adecuada de sus características, más una estructura conveniente, es el procedimiento convencional utilizado para construir redes capaces de realizar una determinada tarea. Un modelo de red neuronal consta de dispositivos elementales de proceso: las neuronas. A partir de ellas se pueden generar representaciones específicas, de modo que un estado conjunto de ellas puede representar una letra, un número o cualquier objeto. Generalmente se pueden encontrar tres tipos de neuronas: 1. Aquellas que reciben estímulos externos, relacionadas con el aparato sensorial, que toman la información de entrada. 2. Esta información se trasmite a ciertos elementos internos que se ocupan de su procesamiento. Es en las sinapsis y neuronas de este segundo nivel donde se genera cualquier tipo de representación interna de la información. Puesto que no tienen relación directa con la información de entrada ni con la de salida, estos elementos se denominan unidades ocultas. 3. Una vez que ha finalizado el procesamiento, la información llega a las unidades de salida, cuya misión es dar la respuesta del sistema. La neurona artificial pretende emular las características de las neuronas biológicas. Cada neurona i-ésima está caracterizada en cualquier instante por un valor numérico denominado valor o estado de activación ai(t). Asociado a cada unidad, existe una Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

función de salida fi, que transforma el estado actual de activación en una señal de salida, yi. Dicha señal es enviada a través de los canales de comunicación unidireccionales a otras unidades de la red. En estos canales la señal se modifica de acuerdo con la sinapsis (el peso sináptico, wji) asociada a cada uno de ellos según una determinada regla. Las señales moduladas que han llegado a la unidad j-ésima se combinan entre ellas, generando así la entrada total, Net j,

Netj =

∑ yw i

ji

i

Una función de activación, F, determina el nuevo estado de activación aj (t+1) de la neurona, teniendo en cuenta la entrada total calculada y el anterior estado de activación aj (t). La dinámica que rige la actualización de los estado de las neuronas (evolución de la red neuronal) puede ser de dos tipos: asincrónico y sincrónico. En el primer caso, las neuronas evalúan su estado continuamente, según les va llegando información, y lo hacen de forma independiente. En el caso sincrónico, aunque la información llega de forma continua, los cambios se realizan simultáneamente. Los sistemas neuronales biológicos muy probablemente actúan de una forma mixta.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Neurona Uh yh Neurona Uj wjh

Neurona Ui yi

wji

. . . .

Netj

F(aj(t), Netj) = aj (t+1)

fj(aj(t+1)) = yj

yj

wjg

Neurona Ug yg

III. 1. 1 La Neurona Artificial Si tenemos N unidades (neuronas), podemos ordenarlas arbitrariamente y designar la j-ésima unidad como Uj. Su trabajo consiste únicamente en recibir las entradas de las neuronas vecinas y calcular un valor de salida, que es enviado a todas las neuronas restantes.

Es útil identificar tres tipos de unidades: entradas, salidas y ocultas. •

Las unidades de entrada reciben señales desde el entorno. Estas entradas (que son entradas a la red) pueden provenir de sensores o de otros sectores del sistema.

•

Las unidades de salida envían la señal fuera del sistema. Estas pueden controlar directamente potencias u otros sistemas.

•

Las unidades ocultas son aquellas cuyas entradas y salidas se encuentran dentro del sistema, es decir, no tienen contacto con el exterior.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Se conoce como capa o nivel a un conjunto de neuronas cuyas entradas provienen de la misma fuente, y cuyas salidas van al mismo destino (que pueden ser en ambos casos otra capa de neuronas).

III. 1. 2 Estado de Activación Además del conjunto de neuronas, la representación necesita considerar los estados del sistema en un tiempo t. Esto se especifica por un vector de N números reales A(t), que representa el estado de activación del conjunto de neuronas.

Cada elemento del vector representa la activación de la unidad en el tiempo t. Si la activación de la unidad Ui en el tiempo t se designa por ai(t), tenemos:

A(t) = (a 1(t), a2(t), ...., ai(t), …, aN(t))

El procesamiento que realiza la red se ve como una evolución de un patrón de activación en el conjunto de neuronas que lo componen, a través del tiempo.

Todas las neuronas que conforman la red se hallan en cierto estado. Podemos decir que hay dos posibles estados: reposo y excitado, llamados genéricamente estados de activación; a cada uno de los cuales se le asigna un valor. Estos valores pueden ser a su vez continuos o discretos.

Es necesario además saber qué criterios o reglas siguen las neuronas para alcanzar estos estado de activación. Esto depende de dos factores:

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

•

Dado que el comportamiento de las redes no es producto de la actuación de cada neurona individualmente, sino del conjunto como un todo, es necesario conocer el mecanismo de interacción entre ellas. El estado de activación estará influenciado por estas interacciones, dado que el efecto que producirá una neurona sobre otra será proporcional a la fuerza, peso o magnitud de la conexión entre ambas.

•

La señal que envía cada neurona a sus vecinas depende de su propio estado de activación.

III. 1. 3 Función de Salida o de Transferencia Entre las neuronas que componen la red existe un conjunto de conexiones que las unen. Cada neurona trasmite señales a aquellas que están conectadas con su salida. Asociada a cada unidad Ui hay una función de salida fi(ai(t)), que transforma el estado actual de activación ai(t) en una señal de salida yi(t); es decir: yi(t) = fi(ai(t))

En consecuencia, el vector que contiene las salidas de todas las neuronas en un instante t es:

Y(t) = (f 1(a1(t)), f 2(a2(t)), ..., fi(ai(t)), ..., fN(aN(t)))

En algunos modelos, esta salida es igual al nivel de activación de la unidad, en cuyo caso la función fi es la función identidad, fi(ai (t)) = ai (t). A menudo, fi es de tipo sigmoidal, y suele ser la misma para todas las neuronas.

Existen cuatro funciones de transferencia típicas que determinan los distintos tipos de neuronas: •

Función Identidad

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

•

Función Escalón,

•

Función lineal y mixta

•

Sigmoidal,

•

Función gaussiana

La función escalón o umbral únicamente se utiliza cuando las salidas de la red son binarias. La salida de una neurona se activa sólo cuando el estado de activación es mayor o igual que cierto valor umbral (la función puede ser desplazada sobre los ejes). La función lineal o identidad equivale a no aplicar función de salida, y se usa muy poco.

Las funciones mixta y sigmoidal son las más apropiadas cuando queremos

como salida una información analógica.

Neurona de Función Escalón

y

y

1

1 0

x

x -1

1 si x ≥ 0 f ( x) =  0 si x < 0

1 si x ≥ 0 f ( x) =  − 1 si x < 0

En ambos casos se ha tomado que el umbral es cero; en caso de no serlo, el escalón quedaría desplazado

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Neurona de Función Lineal y Mixta

y

y 1 -c

1 0

c

x

-c

0

c

x

-1 0 si x < −c  f ( x) = 1 si x > c  x /( 2c ) + 1 / 2 en otro caso 

 − 1 si x < −c  f ( x) = 1 si x > c  a.x en otro caso 

c = límite superior de la suma de todas las entradas de activación -c = límite inferior

Neurona de Función Continua (sigmoidal)

y 1

y 1/2 0

x

x

0 -1/2

f ( x) =

1 1 + e −ax

La importancia de la función sigmoidal (o cualquier otra función similar) es que su derivada es siempre positiva y cercana a cero para los valores grandes positivos o negativos. Además, toma su valor máximo cuando x es 0. Esto es particularmente útil para definir métodos de aprendizaje en los cuales se usan derivadas.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Neurona de Función de transferencia gaussiana

y

x

y = A.e − Bx Los centros y anchura de estas funciones pueden ser adaptados, lo cual las hace más adaptativas que las funciones sigmoidales. Mapeos que suelen requerir dos niveles ocultos (neuronas que se ubican entre las de entrada y las de salida) con neuronas de transferencia sigmoidales, algunas veces se pueden realizar con un solo nivel empleando neuronas de transferencia gaussiana.

III. 1. 4 Conexiones entre Neuronas Las conexiones entre las neuronas de una red tienen asociado un peso, que es el que hace que la red adquiera conocimiento.

Tomemos el valor yi como el valor de salida de una neurona i en un instante dado. Una neurona recibe un conjunto de señales que le dan información del estado de activación de todas las neuronas con las que se encuentra conectada. Cada conexión (sinapsis) entre la neurona i y la neurona j está ponderada por un peso wji. Normalmente, como simplificación, se considera que el efecto de cada señal es aditivo, de forma que la entrada neta que recibe una neurona (potencial post sináptico) net j es la suma del producto de cada señal individual por el valor de la sinapsis que conecta ambas neuronas: Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

N

netj = ∑ wji • yi i Esta regla muestra el procedimiento a seguir para combinar los valores de entrada a una neurona con los pesos de las conexiones que llegan a esa neurona, y es conocida como regla de propagación.

Suele utilizarse una matriz W con todos los pesos wji que reflejan la influencia que la neurona j tiene sobre la neurona i. W es una matriz de elementos positivos, negativos o nulos.

Si wji es positivo, significa que la interacción entre ambas neuronas es

excitadora, es decir, siempre que la neurona i esté activada, la neurona j recibirá una señal proveniente de i que tenderá a activarla. Si wji es negativo, la sinapsis será inhibidora; es decir, si i está activada, enviará un mensaje a la neurona j que tenderá a desactivarla.

Por último, si wji es cero, significa que no hay conexión entre ambas

neuronas.

III. 1. 5 Función o Regla de Activación Así como es necesario una regla que combine las entradas a una neurona con los pesos de sus conexiones, también se requiere una regla que combine las entradas con el estado actual de la neurona, para producir un nuevo estado de activación. Esta función, F, produce un nuevo estado a partir del estado (ai) que existía y la combinación de las entradas con los pesos de las conexiones (neti).

Dado el estado de activación ai(t) de la neurona Ui, y la entrada total que llega a ella, Neti, el estado de activación siguiente, ai(t+1) se obtiene aplicando la función de activación F: ai(t+1) = F(a i(t), Neti)

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

En la mayor parte de los casos, F es la función identidad, por lo que el estado de activación de una neurona en t+1 coincide con el Net de la misma en el tiempo t. En este caso, la salida de la neurona i (yi) será: N

yi( t + 1) = f ( Neti ) = f ( ∑ wij yj( t )) j =1

y1 . . . yj . . . yN

wi1

f

wij

yj

wiN

Normalmente la función de activación no está centrada en el origen del eje que representa el valor de la entrada neta, sino que existe cierto desplazamiento debido a las características internas de la propia neurona, y que no es igual en todas ellas. Este valor se denota como θi, y representa el umbral de activación de la neurona i. N

yi (t + 1) = f ( Neti − θi) = f (∑ wij yj (t ) − θi) j =1

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

En el caso de neuronas de respuesta todo-nada, este parámetro representa el umbral de disparo de la neurona, es decir, el nivel mínimo que debe alcanzar el potencial post sináptico para que la neurona se dispare o active.

III. 1. 6 Regla de Aprendizaje El aprendizaje se entiende como la modificación del comportamiento inducido por la interacción con el entorno, y como resultado de experiencias conducente al establecimiento de nuevos modelos de respuesta a estímulos externos.

Biológicamente, se suele aceptar que la información memorizada en el cerebro está más relacionada con los valores sinápticos de las conexiones entre las neuronas, que con ellas mismas; es decir, el conocimiento se encuentra en las sinapsis.

En el caso de las redes neuronales artificiales, el conocimiento se encuentra representado en los pesos de las conexiones entre neuronas.

Todo proceso de

aprendizaje implica cambios en estas conexiones, es decir, se aprende modificando los valores de los pesos de la red.

Durante el proceso de aprendizaje, los pesos de las conexiones de la red sufren modificaciones, por lo tanto se puede afirmar que la red “ha aprendido” cuando los valores de los pesos permanecen estables (dwij/dt = 0). Un aspecto importante respecto al aprendizaje de las redes neuronales es el conocer cómo es que se modifican estos valores; es decir, cuáles son los criterios que se siguen para cambiar los valores asignados a las conexiones cuando se pretende que la red aprenda una nueva información.

Estos criterios determinan lo que se conoce como la regla de aprendizaje de la red. De modo general, se distinguen: Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

•

Redes Neuronales con aprendizaje supervisado.

•

Redes neuronales con aprendizaje no supervisado o autoorganizado.

La diferencia fundamental entre ambos tipos radica en la existencia o no de un agente externo (supervisor) que controle el proceso de aprendizaje de la red.

III. 1. 7 Formas de Conexión entre Neuronas

La conectividad entre los nodos de una red neuronal está relacionada con la forma en que las salidas de las neuronas están canalizadas para convertirse en entradas de otras neuronas. La señal de salida de un nodo puede ser una entrada de otro elemento de proceso, o incluso ser una entrada de sí mismo en una conexión auto recurrente.

Cuando ninguna salida de las neuronas de una capa es entrada de neuronas del mismo nivel o de niveles precedentes, se dice que la red tiene propagación hacia delante. En caso contrario se dice que la red es de propagación hacia atrás. Las redes de propagación hacia atrás que tienen lazos cerrados se dice que son sistemas recurrentes.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

I1

O1

I2

O2

. . .

. . .

. . .

. . .

. . .

. . .

Im

SALIDAS

ENTRADAS

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Om Nivel de Entrada

Niveles Ocultos

Nivel de Salida

Estructura de una red multinivel con todas las conexiones hacia adelante

Nodo con propagación hacia atrás sobre sí mismo

O2

. . .

. . .

SALIDAS

O1

Om Red con propagación hacia atrás a nodos de niveles anteriores Ejemplos de conexiones con propagación hacia atrás Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

CAPÍTULO IV

IV. 1 TOPOLOGÍA DE LAS REDES NEURONALES Se denomina topología o arquitectura de la red a la organización y disposición de las neuronas en la red formando capas más o menos alejadas de la entrada y salida de la red. Así, los parámetros fundamentales de la red son: el número de capas (monocapa o multicapa), el número de neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas (unidireccionales o recurrentes).

IV. 1. 1

Redes Neuronales Monocapa

Se utilizan típicamente en tareas relacionadas con la autoasociación; por ejemplo para regenerar informaciones de entrada que se presentan a la red incompletas o distorsionadas.

TIPOS DE CONEXIONES

MODELO DE RED Brain-State-In-A-Box

Conexiones Autorrecurrentes Conexiones Laterales Explícitas

Additive Grossberg (AG) Shunting Grossberg (SG) Optimal Linear Associative Memory Hopfield

No Autorrecurrentes

Boltzmann Machine Cauchy Machine

Crossbar

Learning Matrix (LM)

“Redes Neuronales Artificiales”. Hilera, Martínez.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

IV. 1. 2

Redes Neuronales Multicapa

Cuando todas las neuronas de una capa reciben señales de entrada de otra capa anterior, más cercana a la entrada a la red, y envían señales de salida a una capa posterior, estamos ante una red de conexiones hacia delante o feedforward. En las conexiones hacia atrás o feedback las salidas de las neuronas de capas posteriores se conectan a las entradas de capas anteriores.

Estas características permiten distinguir dos tipos de redes entre las multicapa: las redes con conexión hacia delante o redes feedforward, y redes que disponen de conexiones tanto hacia delante como hacia atrás, o redes feedforward/feedback.

Las redes feedforward son especialmente útiles en aplicaciones de reconocimiento o clasificación de patrones.

Por otro lado, la mayoría de las redes multicapa son bicapa. Este tipo de estructura es particularmente adecuada para realizar una asociación de una información o patrón de entrada con otra información o patrón de salida en la segunda capa.

Una red

multicapa muy particular es la NEOCOGNITRON, en la que las neuronas se disponen en planos superpuestos (capas bidimendionales), permitiendo eliminar las variaciones geométricas (tamaños, giros, desplazamientos) o distorsiones que presenten las informaciones o patrones de entrada a la red.

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

N° de Capas

Tipo de Conexiones

Modelo de Red ADALINE / MADALINE PERCEPTRON LINEAR /ASSOC REWAR.PENALTY LINEAR ASSOCIATIVE MEMORY

Conexiones hacia delante

OPTIMAL LINEAR ASSOC. MEM.

FEEDFORWARD

DRIVE-REINFORCEMENT (DR)

Conexiones laterales implícitas y autorrecurrentes

2 capas

LEARNING VECTOR QUANTIZER TOPOLOGY PRESERVING MAP (TPM) BIDIRECTIONAL ASSOC. MEM. (BAM) ADAPTIVE BAM.

Conexiones hacia adelante / atrás

Sin conexiones laterales

FUZZY ASSOCIATIVE MEMORY (FAM)

(FEDDFORWARD / FEEDBACK)

Con conexiones laterales y autorrecurrentes

Conexiones hacia delante 3

N

(FEDDFORWARD)

TEMPORAL ASSOC. MEMORY (TAM)

Sin conexiones laterales

Con conexiones laterales

COMPETITIVE ADAPTIVE BAM ADAPTIVE RESONANCE THEORY (ART) ADAPTIVE HEURISTIC CRITIC (AHC) BOLTZMANN / CAUCHY MACHINE COUNTERPROPAGATION BOLTZMANN / CAUCHY MACHINE

Conexiones adelante / atrás y laterales

BOLTZMANN / CAUCHY MACHINE

Conexiones hacia adelante

BACKPROPAGATION (BPN)

FEEDFORWARD / FEEDBACK

(Jerarquía de niveles de capas bidimensionales)

COGNITRON / NEOCOGNITRON

Redes neuronales Multicapa más conocidas. (“Redes Neuronales Artificiales”. Hilera, Martínez.)

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

CAPÍTULO V

V. 1 ALGORITMOS NEURONALES Los modelos neuronales utilizan varios algoritmos de estimación, aprendizaje o entrenamiento para encontrar los valores de los parámetros del modelo, que en la jerga de las redes neuronales se denominan pesos sinápticos. El entrenamiento se realiza mediante patrones-ejemplo, siendo dos los tipos de aprendizaje: supervisado y no supervisado.

V. 1. 1 El aprendizaje supervisado Si la red utiliza un tipo de aprendizaje supervisado debemos proporcionarle parejas de patrones entrada-salida y la red neuronal aprende a asociarlos. En terminología estadística equivale a los modelos en los que hay vectores de variables independientes y dependientes: técnicas de regresión, análisis discriminante, modelos de series temporales, etc. En este tipo de aprendizaje se suelen considerar tres formas: Aprendizaje por corrección de error, Aprendizaje por refuerzo y aprendizaje estocástico. a.1) Aprendizaje por corrección de error. Consiste en ajustar los pesos de las conexiones de la red en función de la diferencia entre los valores deseados y los obtenidos en la salida; es decir, en función del error cometido. Una regla o algoritmo simple de aprendizaje por error podría ser como la siguiente: ∆ wji = α yi (dj – yj) Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

y1 1

. . .

Wj1 yi

i

Wji yj

Wjn

. . .

Unidad Uj

n

Donde: ∆ wji : Variación en el peso de la conexión entre las neuronas i y j (∆ wji = wji

actual

– wji anterior )

yi :

Valor de salida de la neurona i.

dj :

Valor de salida deseado para la neurona j.

yj :

Valor de salida obtenido de la neurona j.

α:

Factor de aprendizaje (0 < α