Criterios de información

Concepto

En economía cuantitativa, cuando se analiza la relación entre varias variables o se intentan predecir los valores de alguna magnitud, es poco frecuente que se conozca el modelo verdadero que ha generado la información muestral disponible. Lo más usual es que se especifique un modelo aproximado y se estimen sus parámetros o que se consideren un conjunto de posibles modelos “alternativos”. En el primer caso, de entre los posibles valores de los parámetros, se deben elegir los que “mejor” se ajustan a los datos según algún criterio, normalmente el de mínimos cuadrados o el de máxima verosimilitud. Sin embargo, este planteamiento no es suficiente en el segundo caso, ya que también se debe fijar un criterio para decidir qué modelo se considera más apropiado.

Los criterios de información constituyen una de las herramientas básicas para la selección de modelos en estadística y econometría. Su objetivo es calcular una medida que indique cómo de próximos están los modelos alternativos al verdadero modelo generador de los datos, lo que permite seleccionar como “óptimo” aquél cuyo valor del criterio de información sea más pequeño.

En concreto, se pretende elegir un modelo que se diferencie poco del verdadero, para lo que se debe usar algún criterio de “semejanza” entre modelos (normalmente basado en el concepto de entropía y relacionado con medidas de divergencia, como la de Kullback-Leibler). En muchos casos, este planteamiento equivale a buscar un equilibrio entre el ajuste de los datos y el número de parámetros del modelo (su complejidad); es decir, buscar el modelo más simple posible que se ajuste bien a los datos. Por ello, los criterios de información más usuales se componen de dos términos: uno relacionado con la bondad de ajuste, normalmente relacionado con los estimadores máximo-verosímiles, y otro que penaliza el número de parámetros.

En la práctica, la mayoría del software estadístico-econométrico existente en el mercado proporciona directamente los valores de los criterios de información más usuales: el de Akaike (o AIC, Akaike Information Criterion) y el de Schwarz o bayesiano (o BIC, Bayesian Information Criterion). La regla de interpretación es que, de entre los modelos alternativos, se debe elegir como más próximo al verdadero generador de datos aquél cuyo criterio de información sea mínimo.

Criterios de información más usuales

El uso de criterios de información como método de selección de modelos se popularizó a partir de los trabajos de Hirotsugu Akaike publicados en 1973 y 1974. En ellos, Akaike propone la utilización de la función de información (no normalizada) de Kullback-Leibler como medida de “aproximación” entre cada modelo alternativo, evaluado en los estimadores máximo-verosímiles para garantizar la bondad de ajuste, y el verdadero:

donde E₀ es la esperanza bajo los parámetros del verdadero modelo, L (θ/Y_n) es la función de verosimilitud de cada modelo alternativo dados los datos, y la esperanza está evaluada en la estimación máximo verosímil.

Como esta expresión no se puede calcular, ya que se desconocen los verdaderos valores de los parámetros, la propuesta de Akaike consiste en estimarla mediante la expresión que sí es evaluable. Sin embargo, esta estimación presenta un sesgo negativo que depende del número de parámetros del modelo y del tamaño muestral. Por ello, es preciso ajustar los valores añadiendo una cantidad, por lo que la expresión general de este tipo de criterios de información es de la forma:

donde f es una función que depende del número de parámetros del modelo alternativo analizado k y del tamaño de la muestra n.

A lo largo del tiempo, se han ido proponiendo diversos valores de f(k;n) para obtener estimaciones insesgadas, dando lugar a diversos criterios de información. A continuación, se recogen los más utilizados en la práctica.

Criterio de información de Akaike (Akaike Information Criterion, AIC)

Es, quizás, el criterio de información más extendido y utilizado en la práctica estadística y econométrica. Propuesto por Akaike, aproxima el sesgo mediante por f (k;n) = 2k, con lo que la expresión operativa es:

Cuando el tamaño muestral es relativamente grande y el número de parámetros es comparativamente pequeño, este criterio constituye un estimador aproximadamente insesgado de la “distancia” entre el modelo estimado y el verdadero, siendo deseable que tome un valor pequeño. Como se aprecia, el primer sumando del segundo término está relacionado con el ajuste del modelo a los datos, mientras que el segundo sumando constituye una “penalización” por el número de parámetros (complejidad del modelo). Así, este criterio tiende a favorecer a los modelos más simples, con menos parámetros, y solo apuntará hacia modelos más parametrizados si la ganancia en bondad de ajuste así lo justifica.

A su vez, dependiendo de los modelos alternativos que se consideren, el AIC puede adoptar diversas formas operativas, según el valor de la función de verosimilitud. Los casos más usuales son:

a) Modelo de regresión lineal simple

En el modelo de regresión lineal simple con k variables explicativas, el criterio de Akaike toma la expresión:

Donde SSE_k es la suma de errores cuadráticos del modelo.

b) Modelo de regresión lineal múltiple

Cuando se tienen q variables endógenas, la expresión del criterio de información de Akaike debe recoger la estimación máximo-verosímil de la matriz de varianzas-covarianzas y el nuevo número de parámetros, tomando la forma:

Donde SPE_k es la matriz de residuos cuadráticos del modelo.

c) Modelo de ARMA(p,q)

Cuando la información cuantitativa tiene forma de serie temporal, es frecuente su modelización mediante modelos autorregresivos y medias móviles, ARMA(p,q). En este caso, la expresión del criterio de información de Akaike es:

AIC = n ln σ² + 2 (p + q + 1)

d) Modelo VAR(p)

Para series temporales múltiples de dimensión m, se suele utilizar la modelización VAR(p). En este caso, el criterio de Akaike es:

Criterio de información de Schwarz o bayesiano (Bayesian Information Criterion, BIC)

En 1978, Schwarz, desde un planteamiento bayesiano, también abordó la construcción de criterios de información, pero basando su deducción en la integral de la función de verosimilitud del modelo. En cuanto al término asociado al ajuste del modelo, el resultado coincide con el AIC, diferenciándose solo en el término de penalización de la dimensión del modelo, cuya expresión es f (k;n) = k ln N, con lo que la expresión operativa es:

Como se aprecia, el término relacionado con el tamaño del modelo pasa a depender del tamaño muestral, lo que penaliza más a los modelos complejos y corrige parcialmente la tendencia al sobredimensionamiento del criterio de Akaike. La interpretación de este criterio es similar a la del anterior, siendo preferible escoger aquellos modelos con menor valor del BIC.

Las expresiones de este criterio para los distintos tipos de modelos alternativos son similares a los obtenidos en el caso del AIC, solo que sustituyendo el valor 2 por ln n en los sumandos relacionados con el número de parámetros del modelo estimado.

Otros criterios de información: Hannan-Quinn (HQIC) y Akaike corregido (AICc)

Aunque los criterios de información más utilizados son, con diferencia, el de Akaike y el bayesiano de Schwarz, se han desarrollado otros con el objetivo de paliar los problemas de sesgo o sobredimensionamiento de estos. Sería tediosa una enumeración de todos ellos y escapa del objetivo de este texto la comparación de sus propiedades. Por ello, este epígrafe se limitará a exponer las fórmulas operativas de dos criterios que, sin llegar a la popularidad de los anteriores, sí son frecuentes en varios campos de la economía cuantitativa.

Por un lado, en 1979, E. J. Hannan y B. G. Quinn proponen un criterio donde el tamaño muestral influye de forma más suave que en el BIC, aunque sin llegar a ser constante, como el en caso del AIC. Su expresión es:

Por último, en 1989, C. M. Hurvich y C. Tsay proponen una corrección del criterio de Akaike para el caso de modelos de regresión cuando el tamaño muestral no es elevado o el número de parámetros es relativamente grande, lo que palía el problema del sesgo y tiende a proporcionar modelos más adecuados. Para ello, modifican el término de penalización, utilizando: