ANÁLISIS EXPLORATORIO DE DATOS:
Medidas de Resumen

EJEMPLO

A lo largo de la clase, utilizaremos el dataset penguins, que contiene datos recolectados sobre una serie de 344 pingüinos de tres especies diferentes que anidan en una colonia del Archipiélago Palmer, en la Antártida.

EJEMPLO

El dataset puede cargarse directamente de la librería seaborn.

import seaborn as sns
df = sns.load_dataset('penguins')

df.head()

FLIPPER LENGTH y BODY MASS

Si estuviéramos particularmente interesados en el largo de la aleta (flipper_length_mm) y en el peso (body_mass_g) de los pingüinos del Archipiélago Palmer, podríamos explorar ambas variables individualmente, haciendo un análisis descriptivo de la información con la que se cuenta para cada una (clase anterior).

¿Cómo podemos resumir la información sobre cada una de estas variables, individualmente?

También podemos representar ambas variables mediante boxplots:

FLIPPER LENGTH vs. BODY MASS

Pero quizás también puede interesarnos estudiar si existe algún tipo de asociación entre ambas.

El primer paso en el análisis conjunto de dos variables, antes de calcular cualquier métrica de correlación, es GRAFICAR los datos registrados de ambas medidas para todos los pingüinos del dataset.

¿Qué tipo de gráfico podemos construir para representar esa información?

GRÁFICO DE DISPERSIÓN (Scatterplot)

Un scatterplot muestra la relación entre dos variables cuantitativas. Los valores de una variable se grafican en el eje de abscisas y los de la otra, en el de las ordenadas. Cada par de observaciones viene representado en el gráfico por un punto.

sns.scatterplot(x = 'body_mass_g', y = 'flipper_length_mm', data = df);

GRÁFICO DE DISPERSIÓN (Scatterplot)

LA COVARIANCIA: intuición

Las medias de ambas variables nos definen 4 cuadrantes. ¿Qué ocurre con la mayoría de los productos \((x_{i} - \bar{x})(y_{i} - \bar{y})\)?

LA COVARIANCIA (S_xy)

La covariancia es una medida estadística que brinda información acerca del grado en que dos variables varían linealmente en forma conjunta.

Suponiendo que se cuenta con un conjunto de n pares de observaciones de dos variables, \(X\) e \(Y\), se calcula de la siguiente forma:

\[S_{xy} = \frac{1}{n-1}\sum_{i=1}^{n}(x_{i} - \bar{x})(y_{i} - \bar{y})\]

LA COVARIANCIA (S_xy)

La covariancia provee información acerca de la dirección de la asociación lineal entre las dos variables.

• Si la relación entre ambas variables es directa o positiva, S_xy > 0.

• Si la relación entre ambas variables es inversa o negativa, S_xy < 0.

Se puede demostrar que para dos variables estadísticamente independientes S_xy = 0 (\(\sigma_{xy}\) a nivel poblacional). Sin embargo, lo opuesto no es necesariamente cierto: 2 variables pueden tener una S_xy = 0 y aún así no ser estadísticamente independientes (asociaciones no lineales).

LA COVARIANCIA (S_xy)

En nuestro ejemplo, podemos calcular la covariancia entre el largo de la aleta y la masa corporal utilizando el método cov() de la librería Pandas:

import pandas as pd

df[['body_mass_g','flipper_length_mm']].cov()

LIMITACIONES DE LA COVARIANCIA

• La covariancia no tiene un rango de variación acotado, por lo que su magnitud no indica nada con respecto a la fuerza de la asociación.

• La covariancia es sensible a las unidades de medida de las variables, por lo que puede hacerse arbitrariamente grande o pequeña si alguna de ellas es modificada.

COFICIENTE DE CORRELACIÓN DE PEARSON (r)

El coeficiente de correlación lineal de Pearson mide el grado de asociación lineal que existe entre dos variables cuantitativas continuas. Se calcula de la siguiente manera:

\[r = \frac{S_{xy}}{S_{x}S_{y}}\]

PROPIEDADES DE r

• Su signo indica si la relación es positiva o negativa.

• Está acotado (\(-1 \leq r \leq 1\))

• Su magnitud es indicativa de la fuerza de la asociación lineal entre las variables: cuanto más cercano a 0, más débil es la asociación; cuanto más cercano a 1 se encuentre en valor absoluto, más fuertemente relacionadas están las variables.

• Si \(X\) e \(Y\) son dos variables independientes, entonces r = 0 (\(\rho\), a nivel poblacional). Sin embargo, la recíproca no es cierta. r = 0 no implica necesariamente falta de asociación, sino que podría indicar falta de linealidad en la relación entre las variables.

PROPIEDADES DE r

Una regla práctica que puede emplearse como una guía para la interpretación de la intensidad de la relación es la siguiente (es un criterio arbitrario):

• |r| < 0.5: la relación lineal entre las variables es débil.

• 0.5 ≤ |r| < 0.8: la relación lineal entre las variables es moderada.

• |r| ≥ 0.8: la relación lineal entre las variables es intensa.

EJEMPLOS

CÁLCULO DE r

Para calcular el r de Pearson en el ejemplo, podemos recurrir al método corr() de Pandas, que por default usa el método de Pearson (hay otros).

El resultado es una matriz de correlación que incluye las variables de interés.

CÁLCULO DE r

df[['body_mass_g','flipper_length_mm']].corr(method = 'pearson')

PROBLEMAS DE INTERPRETACIÓN/USO DE r

Asumir que un alto valor de r implica causalidad. El hecho de que dos variables estén fuertemente correlacionadas no implica que una cause a la otra: correlación no implica causalidad.

PROBLEMAS DE INTERPRETACIÓN/USO DE r

Calcular e informar el valor de r cuando la relación entre ambas variables no es lineal. La correlación de Pearson mide fuerza de asociación lineal y no nos dice nada acerca de la intensidad de otro tipo de asociación (cuadrática, hiperbólica, cosenoidal, etc.). Por lo tanto, en estos casos calcular e informar r es inapropiado.

Por este motivo, es más que importante graficar previamente los datos para evaluar si tiene o no sentido calcular el coeficiente de correlación de Pearson.

CORRELACIÓN DE SPEARMAN

Vimos que el coeficiente de Pearson presenta algunas limitaciones: es sensible a la presencia de outliers y solo mide asociaciones lineales. El coeficiente de correlación de Spearman surge como una alternativa útil en ciertos contextos.

Se calcula rankeando los datos de las dos variables y luego computando el coeficiente de correlación de Pearson sobre los rangos asignados:

\[r_{s} = \frac{S_{RxRy}}{S_{Rx}S_{Ry}}\]

CORRELACIÓN DE SPEARMAN

El uso de rangos lo hace especialmente útil en tres situaciones:

• cuando se trabaja con datos ordinales,

• cuando la relación entre las variables es monótona pero no lineal (toda relación lineal es monótona, pero no toda relación monótona es lineal),

• cuando hay outliers que podrían distorsionar el coeficiente de correlación de Pearson.

🔎 Una relación es monótona si, en términos generales, al aumentar una variable la otra tiende siempre a aumentar o siempre a disminuir.

UN EJEMPLO

Supongamos que contamos con información sobre los tiempos de reacción y edad de un conjunto de 9 gamers:

UN EJEMPLO

CÁLCULO DE r_s

CÁLCULO DE r_s

El r_s es el coeficiente de correlación lineal de Pearson calculado con los datos representados en el gráfico.

CÁLCULO DE r_s

Afortunadamente, si queremos utilizar Pandas, la librería se encarga de realizar internamente el proceso de asignación de rangos. Lo que tenemos que hacer es setear el parámetro method=‘spearman’.

data_gamers.corr(method = 'spearman')

MATRIZ DE COVARIANCIA/CORRELACIÓN

En el caso de que contemos con información sobre múltiples variables cuantitativas en el dataset, podemos construir una matriz en la que se muestren las métricas de correlación (covariancia, coeficientes de correlación de Pearson, Spearman, etc.) para todos los pares.

MATRIZ DE COVARIANCIA/CORRELACIÓN

De todas las variables con las que contamos en el dataset penguins, sólo son variables cuantitativas las siguientes:

• bill_length_mm

• bill_depth_mm

• flipper_length_mm

• body_mass_g

Seleccionaremos únicamente estas variables para construir nuestra matriz.

MATRIZ DE COVARIANCIA/CORRELACIÓN

Para construir la matriz de covariancia, utilizamos el método cov() de Pandas:

df[['bill_length_mm', 'bill_depth_mm', 'flipper_length_mm', 'body_mass_g']].cov()

MATRIZ DE COVARIANCIA/CORRELACIÓN

Para construir la matriz de correlación de Pearson, utilizamos el método corr() de Pandas:

df[['bill_length_mm', 'bill_depth_mm', 'flipper_length_mm', 'body_mass_g']].corr()

CORRELOGRAMA

Un correlograma es una representación gráfica que muestra las correlaciones entre todas las combinaciones posibles de variables en un conjunto de datos (es la versión gráfica de una matriz de correlación).

Podemos construirlo generando la matriz de correlación de nuestros datos y luego ploteándola con la función heatmap() de la librería seaborn. Hay algunas cuestiones impor tantes referidas a la escala de colores que las abordaremos en la próxima unidad.

CORRELOGRAMA

# Generamos la matriz de correlación
matriz = df[['bill_length_mm', 'bill_depth_mm', 'flipper_length_mm', 'body_mass_g']].corr()

# Construimos el heatmap
sns.heatmap(matriz, annot = True)

CORRELOGRAMA

¿NOS ESTÁ ENGAÑANDO r? 😲🚩

Pero…¿este valor es realmente un reflejo de lo que vemos en el gráfico de dispersión?