Redes neuronales para analistas | SAS EDUCACIÓN

Santiago, Chile  (13 Jun. 2011)  – Las redes neuronales constituyen una familia importante de técnicas en la "caja de herramientas" del analista. Tienen características un tanto únicas dentro del conjunto de métodos de modelización que las hacen un instrumento valioso, pero, lamentablemente, también están rodeadas de no pocas confusiones que hacen que su utilización sea muchas veces equivocada o, al menos, inadecuada.

Las redes neuronales (artificiales) tuvieron su origen en los primeros intentos de modelización del sistema nervioso, en particular, los modelos formales de una neurona de McCulloch y Pitts, en la década de 1940. A pesar de que la gran mayoría de los cursos y textos sobre el tema parecen no poder resistirse a rastrear el origen histórico de las redes neuronales y a indagar en las similitudes y diferencias entre las redes neuronales naturales y las artificiales, la cuestión es totalmente irrelevante para el analista.

Desde un punto de vista computacional, las redes neuronales representan arquitecturas peculiares de procesamiento. Por ejemplo, el modelo más típico de red neuronal, el perceptrón multicapa, corresponde a un arquetipo del procesamiento distribuido y paralelo. Esto no es del todo irrelevante para el analista o el implementador. Las características de procesamiento paralelo pueden ayudar al implementador a acelerar la ejecución de una red mediante multithreading o algún otro estilo de computación paralela. La propiedad de representación distribuida podría serle útil al analista para producir modelos más flexibles en determinados tipos de problemas. Pero, para la mayoría de las aplicaciones prácticas, estas propiedades no son fundamentales.

Desde la perspectiva del cálculo numérico o incluso desde un punto de vista algorítmico, las redes neuronales utilizan de modo central un conjunto de técnicas de optimización no lineal para estimar los valores de sus parámetros. Esta es el área de los hessianos, jacobianos, gradientes conjugados y otros tantos conceptos y herramientas del área de optimización, que, si bien son fundamentales en el "aprendizaje" de una red neuronal (es decir, la estimación de los valores de los parámetros), están muy lejos del área de "experticidad" de un analista de datos. Si este llegase a sospechar que tiene problemas en su intento de modelización debido a la técnica de optimización empleada, debiera recurrir al auxilio de un especialista en optimización no lineal.

Si miramos a las redes neuronales desde el punto de vista de las técnicas de modelización de funciones de entrada-salida, podemos respaldarnos en algunos teoremas que muestran que las redes neuronales con una capa oculta son (bajo algunas condiciones) aproximadores universales de cualquier tipo de función no lineal continua entre variables y con dos capas ocultas de funciones discontinuas. Pero, si bien esto es cierto en la teoría, en la práctica la tarea de encontrar un aproximador "suficientemente bueno" es bastante compleja y no siempre exitosa. De modo que, más allá de un concepto global y difuso de que las redes neuronales son una técnica de modelización "universal", la cuestión es relativamente irrelevante en la práctica.

¿Qué es entonces lo relevante en las redes neuronales para el trabajo del analista? Lo importante surge de una perspectiva estadística: las redes neuronales constituyen un conjunto de métodos que pertenecen a la familia de técnicas de regresión. Dentro de esta familia podemos encontrar una variedad de técnicas de regresión no lineal, regresión polinomial, regresión no paramétrica y otras. Las redes neuronales (artificiales), por lo menos en sus modelos más usados, pertenecen a la clase de técnicas de regresión no lineal. Esta vinculación recién se apreció totalmente a partir de la década de 1990 y determina el conjunto de problemas relevantes para el analista.

 Los problemas importantes para el analista de datos son, entonces:

• Cuándo usar redes neuronales
• Cómo usarlas
• Qué resultados pueden obtenerse

Cuándo usar redes neuronales

Las redes neuronales son una técnica especialmente apropiada para modelizar relaciones no lineales entre un conjunto moderado o grande de variables. Muchos problemas físicos, biológicos, sociales y económicos son de este tipo. Algunos son problemas en los que se utilizan mediciones en dominios analógicos (visuales, auditivos, etc.) que deben "transducirse" en dimensiones digitales, deben integrarse e interpretarse como información relevante para decidir cuestiones de movimiento, reconocimiento de formas, planificación de trayectorias, etc. Esta es el área de la robótica. Pero, para cualquier problema que involucre relaciones complejas y difíciles de definir entre diversas variables, las redes neuronales son buenas candidatas.

Sin embargo, si bien las redes neuronales poseen gran flexibilidad y potencia para modelizar problemas complejos, es necesario calificar un poco esta cuestión para evitar confusiones. Si las relaciones no lineales pueden caracterizarse mediante algún tipo de ecuación (esto ocurre usualmente en dominios científicos como la física o la química, pero no es habitual en la mayoría de las aplicaciones de data mining, por ejemplo), las redes neuronales pueden constituir un aparato excesivo: técnicas de regresión no lineal más restringidas podrían ser más cómodas de usar.

De todas maneras, una red neuronal no sería perjudicial. Tendría la misma precisión predictiva que otros métodos más simples.

La utilidad principal de las redes neuronales surge cuando no podemos especificar una ecuación que represente el fenómeno de interés. En la mayoría de los problemas de aplicación de data mining solo contamos con algunas variables predictoras que suponemos relevantes y sospechamos que la relación entre estas variables y la o las variables cuyos valores deseamos predecir involucran relaciones no lineales. Pero de ningún modo conocemos o podemos conocer una relación matemática precisa entre las variables de entrada y aquella o aquellas que queremos predecir. ¿Qué ecuación puede representar formalmente la propensión a la compra de un servicio o producto a partir de una campaña de marketing, o cuál es la ecuación matemática que nos permitiría predecir el churn de un servicio de celulares? En estos casos, las redes neuronales permiten un modo muy sencillo de especificar las ecuaciones que necesitamos y los parámetros que debemos estimar.

 Pero, esta cuestión se presta a confusiones. No es que las redes neuronales nos eviten tener que especificar precisamente una o más ecuaciones y un conjunto de parámetros. En realidad, las redes nos proveen de un modo muy sencillo de hacerlo aunque no conozcamos la fórmula concreta que podría efectivamente modelizar el fenómeno de interés. Esto se hace especificando una "arquitectura" o "topología". Una vez que decidimos usar un "modelo" dado (por ejemplo, perceptrón multicapa, funciones de base radial, etc.), que decidimos usar x unidades en la capa de entrada (una para cada variable predictora), z en una capa oculta y una o más unidades en la capa de salida, una vez que especificamos un patrón de conexión entre las unidades (típicamente una conexión completa de una capa a la siguiente) y seleccionamos funciones de activación de las unidades, tenemos perfectamente definido un sistema de ecuaciones. Un sistema “genérico” donde lo crucial será determinar los valores de los parámetros (sesgos y pesos), es decir, el "entrenamiento".

 
Figura 2- Especificando la cantidad de unidades en cada capa, las funciones de activación y el tipo de conectividad de la red generamos "automáticamente" la ecuación de arriba, una combinación lineal de transformaciones no lineales de combinaciones lineales de transformaciones no lineales de combinaciones lineales de las variables de entrada.

En síntesis, no necesitamos conocer la forma funcional de la relación entre nuestras variables de entrada y salida, y esto es una ventaja importante en casi cualquier dominio de aplicación de las redes neuronales. Pero, hay una característica de nuestro problema que es importante evaluar y que muchas veces cae en el olvido (no solo en lo que respecta a la aplicación de las redes neuronales, aunque en este caso las consecuencias son más importantes).  Se trata de la tasa señal/ruido de los datos disponibles. Con tasas señal/ruido bajas (mucho ruido en relación con la señal) la flexibilidad y potencia predictiva de las redes neuronales no ofrecen ninguna ventaja: solo facilitan que la red modelice el ruido en los datos. En este caso, técnicas menos “flexibles” como una regresión lineal o un árbol de decisiones podrían ser más adecuadas: generarían predicciones con precisión equivalente pero con menos riesgo de sobreajuste.

 Cuando nuestro problema involucra la predicción de más de una variable target y estas variables están de algún modo correlacionadas o asociadas, de modo que no podemos (o no es conveniente) hacer predicciones independientes para cada variable, las redes neuronales son una técnica particularmente interesante. Solo basta especificar cuántas unidades tenemos en la capa de salida, a qué variables target corresponden y utilizar una función de activación apropiada (por ejemplo, softmax, la función inversa de la función logística multinomial) para lograr predicciones asociadas de las diversas variables target.

 Otra área de aplicación interesante para las redes neuronales es la de los problemas heterogéneos. En este tipo de problemas, el fenómeno que se desea modelizar posee características distintas para diferentes grupos de datos, por ejemplo, el fenómeno se presenta de distinta manera en hombres o mujeres, o en distintos segmentos de nuestra cartera de clientes, etc. Cuando esto ocurre, un modelo global suele tener una capacidad predictiva pobre. Resulta conveniente generar un conjunto de modelos, uno para cada grupo o segmento y combinarlos de alguna manera. Las "mezclas de redes neuronales expertas", combinaciones de redes neuronales especializadas en cada grupo o segmento son una alternativa muy potente y flexible.

 
Figura 4- Mezcla jerárquica de redes expertas para problemas heterogéneos complejos. Los componentes principales son las redes selectoras, de "gating" y las subredes expertas, que a su vez pueden tener la misma estructura que la red global (una combinación de redes expertas).

Las redes expertas son solo un ejemplo de un conjunto de redes "híbridas", aptas para diversos tipos de problemas que suelen ser dificultosos para el analista que solo utilizan las técnicas más comunes.

Cómo usar las redes neuronales

A veces, el  hecho de que sea relativamente sencillo especificar una red neuronal (básicamente definir  su arquitectura) lleva a creer (muy erróneamente) que es igual de fácil utilizar de manera apropiada una red. Esta creencia equivocada se basa en dos factores en interacción: una formación estadística pobre de muchos analistas en el mundo económico y, curiosamente o no tanto, la existencia de "defaults" en la mayoría de las implementaciones de las técnicas estadísticas que hacen posible obtener un "resultado" tan solo "apretando un botón".

Quienes no tienen una formación estadística apropiada, tienden a pensar que es posible prescindir de (o directamente las ignoran) cuestiones estadísticas importantes que son, en definitiva, las que garantizan la validez y utilidad de una técnica de modelización (de cualquier técnica). A veces, la formación estadística se reemplaza con una formación en matemática aplicada (aunque no exactamente estadística) y esto puede llevar a confundir las prioridades: en lugar de usar la red para optimizar algún criterio de performance predictivo se busca optimizar una función objetivo sin tomar en cuenta que este es un aspecto importante, pero no el único en un problema predictivo práctico y que, si se privilegia sobre los demás, esto lleva muy directamente al sobreajuste del modelo.

Hay varias cuestiones importantes que el analista debe tomar en cuenta para usar adecuadamente una red neuronal:

a) Preprocesamiento.
 Si bien las redes neuronales son bastante robustas con muestras "ralas" de datos y son mucho menos sensibles a problemas que aquejan a muchas de las técnicas de regresión lineal, como la presencia de valores extremos o atípicos, la colinealidad y la presencia de un número grande de variables marginalmente relevantes o directamente irrelevantes, mejorar la calidad de los datos, tener un número razonable de casos, resolver problemas de valores atípicos y hacer una selección previa de variables relevantes son todas tareas de preprocesamiento que pueden mejorar considerablemente la performance de una red neuronal. No resolverlos podría llevar a obtener redes neuronales con una performance predictiva pobre, principalmente debido a la interacción entre la carga de procesamiento que implica no resolver estos problemas y los criterios de detención utilizados (ver más abajo). Otras cuestiones como la existencia de valores faltantes y variables con escalas de magnitudes muy distintas deben resolverse para las redes neuronales tanto como para el resto de las técnicas de modelización.

b)  Arquitectura de la red.
Algunos tipos de redes neuronales, como los perceptrones multicapa, son aproximadores universales. Pero esta posibilidad de aproximar arbitrariamente cerca cualquier función de entrada-salida está en relación con características de su arquitectura. Es fundamental definir la cantidad de capas y unidades por capa apropiadas. La mayoría de los software tienen "defaults", pero estos no son los mejores valores en la gran mayoría de las aplicaciones. Existen diversas estrategias, fórmulas y reglas generales para determinar cantidades apropiadas de capas y unidades. En muchos casos, conviene experimentar con distintas soluciones.
 También es importante el patrón de conexión entre las unidades. Las conexiones pueden ser totales entre una capa y la siguiente, o pueden recortarse de diversos modos. Se pueden usar conexiones que "salteen capas" (skip layer) o no. Cada una de estas alternativas tiene obviamente consecuencias sobre el resultado de la modelización y pueden ser apropiadas para distintos tipos de problemas. Por ejemplo, la existencia de conexiones de "salto de capa" son importantes para la modelización de series temporales no estacionarias.
 El tipo o tipos de funciones de activación utilizadas tiene cierta influencia sobre el resultado final, pero el impacto de la función específica es menor si se trata de familias de funciones usualmente apropiadas como la sigmoidea o la exponencial.

 
Figura 5- Funciones de activación de la familia sigmoidea.

c) Entrenamiento.
Este es el componente crítico de las redes neuronales y también el más complejo de tener bajo control. El centro de este componente es el algoritmo de optimización no lineal utilizado, pero existen otras varias cuestiones muy importantes a tener en cuenta para lograr una estimación apropiada de los parámetros. Las cuestiones principales son:

• Algoritmo de optimización no lineal. Inicialmente se utilizaba para el entrenamiento de una red neuronal el algoritmo de backpropagation. Esto representó un considerable adelanto en la posibilidad de utilizar redes neuronales con capas ocultas y fue uno de los motivos del impulso inicial de las redes multicapa. Sin embargo, este algoritmo resultaba lento y muchas veces inestable. Muy pronto comenzó a advertirse que se podía utilizar para realizar el entrenamiento toda una variedad de algoritmos de optimización no lineal. Si bien algunos software implementan las redes neuronales con exclusivamente el algoritmo de backpropagation, otros, como SAS, adoptan un enfoque mucho más sólido y apropiado: implementan una variedad de algoritmos y utilizan (por default) uno u otro en función de algunas características del problema a modelizar (como la cantidad de parámetros a estimar). Los distintos algoritmos varían en propiedades importantes como qué características locales usan de la superficie de error, qué cantidad de memoria utilizan, cuál es su velocidad de aproximación a una solución (cantidad de iteraciones), posibilidad de salir de un mínimo local, evitación del problema del "zig-zag", etc.
  
• Función objetivo. Esta es la función que el algoritmo de aprendizaje busca minimizar o maximizar. Funciones genéricas como el error de clasificación o el error cuadrático medio suelen ser útiles, pero, como en cualquier otra técnica de modelización predictiva, funciones más específicas basadas en funciones de costo o ganancia relacionadas con la aplicación son mucho más apropiadas para los problemas prácticos y permiten generar modelos mucho más precisos. Vinculada a la función objetivo está la función de error asociada a las unidades de la capa de salida. Las técnicas más usuales de redes neuronales son técnicas paramétricas, es decir, su correcto funcionamiento predictivo está en relación con una selección apropiada de características que se relacionan con las propiedades distribucionales de los datos. En particular, la función de error debe corresponder a la distribución de la variable target que se desea predecir.
  
• Entrenamiento preliminar. Las técnicas de optimización no lineal son todas técnicas iterativas heurísticas que usan características locales de una superficie de error para ayudarse a encontrar una solución (un mínimo o máximo satisfactorio en dicha superficie). Una de las debilidades de estas técnicas es la posibilidad de encontrar un llamado "mínimo o máximo local" que impida hallar una solución satisfactoria. Las técnicas de optimización usan un punto de partida (para realizar las iteraciones) seleccionado aleatoriamente (aunque no arbitrariamente). El "punto de partida" es un conjunto inicial de valores para los parámetros que se desean estimar. Un punto de partida desfavorable o desafortunado puede hacer que la tarea de encontrar valores satisfactorios de los parámetros sea muy prolongada o directamente imposible, en particular cuando el estado inicial facilita encontrar un mínimo o máximo local. Diversas técnicas de entrenamiento preliminar tratan de evitar (aunque sin garantizar que sean exitosas) este problema.

 
Figura 6- Resultado de un entrenamiento inapropiado de una red simple debido a una mala selección de valores iniciales. La performance predictiva de la red ineficaz está representada por la curva roja. Una buena selección de valores iniciales habría permitido localizar en la superficie de error el mínimo global y por ende obtener estimaciones apropiadas de los parámetros (curva verde).

• Criterios de paro. Las iteraciones subyacentes al entrenamiento deben detenerse en algún momento. Por lo general se utilizan varios criterios distintos para definir las condiciones de paro. El proceso iterativo se detiene cuando alguna de estas condiciones se cumple. Existen diversos criterios posibles: cantidad de iteraciones, tiempo de ejecución, criterios de convergencia (que la función de error no se modifique en una magnitud mayor que un valor predeterminado entre iteraciones sucesivas, por ejemplo). Pero ninguno de estos criterios garantiza que el entrenamiento se detendrá en el momento apropiado (cuando se encontró una solución satisfactoria). El entrenamiento puede detenerse antes de tiempo o mucho después del momento adecuado, y es responsabilidad del analista saber diagnosticar estas situaciones y tomar las medidas correctivas indicadas.
  
• Control de sobreajuste. Cuanto mayor es la flexibilidad de un modelo y más numerosa la cantidad de parámetros utilizados, mayor es la posibilidad de sobreajuste, es decir, que el modelo abstraiga no solo aquellas características y relaciones en el conjunto de datos que se desea modelizar sino también buena parte de las peculiaridades de la muestra de datos usada. Esto último no beneficia la precisión predictiva de un modelo sino que la perjudica. La técnica de evitación del sobreajuste en las redes neuronales tiene similitudes con las técnicas empleadas en otros métodos de modelización predictiva, pero también diferencias. Entre las similitudes se encuentra la utilización de un conjunto de validación para lograr una evaluación "objetiva" de la performance de un modelo y la utilización del mínimo en la curva de error correspondiente al conjunto de validación como factor de control. La principal diferencia consiste en cómo se controla la complejidad del modelo para evitar el sobreajuste.
   En el caso de árboles de decisiones esto suele hacerse mediante "pruning", es decir, recortando los subárboles que no hacen una contribución significativa a la capacidad predictiva del modelo. En el caso de la regresión lineal o logística, el control de sobreajuste se basa en eliminar términos que no tienen una contribución apropiada. Pero, en una red neuronal, no es habitual (aunque posible) la técnica de "amputar" o "recortar" la red. Existen trabajos de investigación que muestran que en realidad el factor fundamental detrás del sobreajuste en una red neuronal es la magnitud de los valores de los parámetros (no tanto su cantidad, aunque un gran número de parámetros tiene mucho que ver), por lo cual es conveniente detener "tempranamente" la red, antes de que estos valores hayan tenido la oportunidad de aumentar más allá de lo conveniente debido a un número excesivo de iteraciones. Las técnicas para hacer esto, llamadas habitualmente "detención temprana", interactúan con los criterios de paro y con las técnicas de optimización seleccionadas.

 
Figura 7- Las curvas de aprendizaje muestran la posibilidad de un considerable efecto de sobreajuste (o sobreaprendizaje) si no se detiene el entrenamiento de la red en el momento oportuno. Este es cuando la curva roja (la performance del modelo medida sobre el conjunto de validacion) alcanza el mínimo (marcado por la línea azul vertical).

Qué resultados obtener de un modelo de redes neuronales

Cuando se realiza un modelo predictivo, por lo general, el interés principal se encuentra en obtener predicciones lo más precisas posibles. En este sentido las redes neuronales son un instrumento predictivo muy potente. Diversos teoremas en la bibliografía muestran que las redes neuronales (en realidad, algunas arquitecturas) son "aproximadores universales", es decir, que pueden aproximar cualquier función con un grado arbitrariamente alto de precisión. Por supuesto, en la práctica, para que las redes neuronales alcancen su promesa deben ser utilizadas con el conocimiento y destreza apropiadas, tomando muy en cuenta las cuestiones mencionadas más arriba.

También son predictores sumamente veloces, razón por la cual las redes neuronales son el método de preferencia en muchas aplicaciones de robótica y otras áreas, donde hay una imperiosa necesidad de producir predicciones en tiempo real. Respecto de esta característica, a veces existe cierta confusión. Las redes neuronales pueden ser más lentas que otras técnicas para entrenar, pero una vez que se obtuvieron valores apropiados para los parámetros, son muy veloces para la tarea de predicción.

Pero, muchas veces, es preciso no solo predecir sino también comprender lo que se está prediciendo: conocer cuáles son las variables más relevantes, qué relaciones hay entre ellas, qué grado de impacto tienen sobre la variable a predecir, etc. En este contexto, se suele hablar de que las redes neuronales son una "caja negra", es decir, no se sabe o es muy difícil poder explicar las cuestiones anteriores. Pero esto es una verdad muy a medias. Un árbol de decisión es fácilmente interpretable para quienes manejan  los conceptos apropiados sobre cómo interpretar las diversas pautas relevantes: estructura del árbol, caminos, tamaños de las hojas, concentración del evento de interés en las hojas, etc. Un modelo de regresión logística es fácilmente interpretable para quienes conocen cómo interpretar los "odds ratio", pueden identificar la clase de referencia usada para las variables nominales, saben cómo verificar el intervalo de confianza de la estimación puntual de un parámetro y qué implicancias tiene esto sobre el odds ratio estimado, etc.

En el caso de las redes neuronales existe un conjunto de métodos que pueden permitir una buena interpretación y explicación de las predicciones de una red neuronal. Entre ellos:

• Diagrama de Hinton: graficación de la magnitud de los parámetros en la red. Es, tal vez, del conjunto de técnicas, la más difícil de interpretar porque en realidad ofrece datos parciales sobre la influencia de los distintos parámetros y variables.

• Importancia de las variables de entrada: Para redes no demasiado complejas puede utilizarse la fórmula siguiente que combina los pesos de la capa de entrada a oculta y de capa oculta a la capa de salida de cada variable predictora.
   
  Los valores obtenidos permiten evaluar de una manera más completa que con el diagrama de Hinton la relevancia de cada variable de entrada.
  
• Análisis de sensibilidad: es la aplicación de una técnica muy conocida en ámbitos ingenieriles. Permite evaluar el impacto de cada variable (típicamente en distintos niveles de la misma) sobre la predicción de la red neuronal.
  
• Modelo subrogante: Es posible construir un modelo (usando alguna otra técnica) de las predicciones de una red neuronal. En la medida que este segundo modelo (una técnica conveniente es la de árboles de decisiones) coincida satisfactoriamente con las predicciones de la red neuronal, puede usarse para interpretar y explicar las características principales de la predicción de la red neuronal.

En síntesis, una correcta y provechosa utilización de las redes neuronales como técnica de modelización predictiva requiere de un conocimiento específico de las características de esta técnica y cómo utilizarlas en diferentes tipos de problemas. Actualmente un analista de datos no puede darse el lujo de prescindir de una herramienta tan potente como esta.

Si quiere aprender más sobre las redes neuronales y cómo utilizarlas, existe una nutrida bibliografía sobre el tema. Puede encontrar algunos recursos interesantes en esta página. También considere tomar el curso Modelización con redes neuronales que se dictará próximamente.

Acerca de SAS

Más Notas

Copyright © SAS Institute Inc. All Rights Reserved.