MANIPULACIÓN
DE DATOS

DATOS ESTRUCTURADOS - características

Atributos definibles

Los datos estructurados tienen los mismos atributos para los diferentes registros.

DATOS ESTRUCTURADOS - características

Atributos relacionales

Las tablas de datos estructurados tienen información común que permite vincular entre sí diferentes conjuntos de datos.

DATOS ESTRUCTURADOS - características

Almacenamiento

Se pueden almacenar datos estructurados de manera conveniente en una base de datos relacional y administrarlos y consultarlos en forma sencilla con lenguajes como SQL (Structured Query Language).

DIFERENCIAS

Facilidad de análisis Es mucho más difícil organizar, limpiar y analizar datos que no tengan un modelo de datos predefinido y muy pocas herramientas disponibles en el mercado pueden hacer esto.

Capacidad de búsqueda Es fácil hacer búsquedas en los datos estructurados ya que siguen diversas reglas predefinidas.

Flexibilidad Los datos no estructurados tienen menos restricciones en su estructura, por lo que es más fácil agregar nueva información en comparación con un conjunto de datos estructurados.

XML (Extensible Markup Language)

Está basado en texto, lo que lo hace fácil de leer para humanos y computadoras.

El siguiente código representa el registro de una persona. ¿Qué información contiene?

<Person Age="23">
    <FirstName>Quinn</FirstName>
    <LastName>Anderson</LastName>
    <Hobbies>
        <Hobby Type="Sports">Golf</Hobby>
        <Hobby Type="Leisure">Reading</Hobby>
        <Hobby Type="Leisure">Guitar</Hobby>
   </Hobbies>
</Person>

XML (Extensible Markup Language)

XML utiliza tags para darles forma a los datos, los cuales pueden ser:

• Elementos, como <First Name>.

• Atributos, como Age='23' .

A su vez, los elementos pueden tener elementos secundarios o hijos que permiten expresar relaciones, como Hobby dentro del elemento Hobbies.

JSON

Es un formato de archivo liviano que se utiliza para almacenar e intercambiar datos y se basa en el lenguaje de programación JavaScript.

Utiliza una estructura clave-valor para representar datos y soporta el manejo de listas y jerarquías.

JSON usa llaves {} para indicar la estructura de los datos.

JSON

Ejemplo conocido…

{
    "firstName": "Quinn",
    "lastName": "Anderson",
    "age": "23",
    "hobbies": [
        { "type": "Sports", "value": "Golf" },
        { "type": "Leisure", "value": "Reading" },
        { "type": "Leisure", "value": "Guitar" }
    ]
}

YAML

YAML Ain’t Markup Language (YAML) es un lenguaje de serialización con una gran legibilidad.

La estructura de los datos se da por la separación de las líneas y la indentación (se elimina la dependencia de caracteres especiales).

firstName: Quinn
lastName: Anderson
age: 23
hobbies:
    - type: Sports
      value: Golf
    - type: Leisure
      value: Reading
    - type: Leisure
      value: Guitar

XML vs. JSON vs. YAML

XML. Formato basado en etiquetas. Muy verboso y complejo para la legibilidad humana. Usado históricamente en la integración de sistemas.

JSON. Formato ligero basado en pares clave-valor y listas. Estándar actual para intercambio de datos en la web y APIs.

YAML. Formato basado en indentación y pares clave-valor muy legible para humanos. Ampliamente usado en archivos de configuración.

LA ERA DE LOS DATOS NO ESTRUCTURADOS

Se estima que más del 80% de los datos generados a nivel mundial son no estructurados, y gran parte de ellos son datos textuales, como e-mails, posteos en redes sociales, artículos de noticias, etc.

ARCHIVOS ORIENTADOS A FILAS/COLUMNAS

ORIENTADOS A FILAS

Los datos se organizan en registros y todos los datos asociados a un registro se guardan juntos en la memoria. Por lo tanto, realizar consultas sobre el valor de un atributo para diferentes registros resulta ineficiente ya que se debe cargar todo el registro con datos innecesarios.

ARCHIVOS ORIENTADOS A FILAS/COLUMNAS

ORIENTADOS A COLUMNAS

Los datos se organizan por columna/campo/variable y todos los datos de la columna se guardan juntos en la memoria. Por lo tanto, cuando queremos consultar los valores de una columna, sólo necesitamos cargar esa columna sin necesidad de leer todo el archivo.

Además, al ser todos los datos de una misma columna del mismo tipo, la compresión del archivo es mejor.

ARCHIVOS ORIENTADOS A FILAS/COLUMNAS

Supongamos que tenemos la siguiente tabla:

¿Qué forma tendrá el archivo si dicha información se guarda orientada a filas?

¿Y si se guarda orientada a columnas?

ARCHIVOS ORIENTADOS A FILAS/COLUMNAS

Si la info se guarda orientada a filas:

ARCHIVOS ORIENTADOS A FILAS/COLUMNAS

Si la info se guarda orientada a columnas:

CSV (Comma-Separated Values)

Los diferentes registros (las filas) se separan entre sí mediante saltos de líneas, mientras que los atributos/variables (las columnas) se separan usando la coma (también se pueden usar otros caracteres como el punto y coma o el tab). Hoy en día es uno de los formatos más utilizados en el análisis de datos.

Name, Age, Gender
John, 25, Male
Jane, 30, Female
Bob, 40, Male

CSV (Comma-Separated Values)

Para tener en cuenta:

• Los archivos .csv son archivos poseen un formato de almacenamiento orientado a filas.

• Los archivos .csv no guardan información acerca del tipo de dato de su contenido puesto que todo se guarda en texto simple.

TXT

Es uno de los formatos más simples y ampliamente utilizados para el almacenamiento de datos.

Cuando se almacenan datos tabulares, los archivos TXT suelen ser muy similares a los CSV.

Aplicaciones: se utiliza comúnmente para almacenar grandes conjuntos de datos de texto, como documentos, transcripciones, registros de chat, mensajes de correo electrónico, etc. También se utiliza en el procesamiento de lenguaje natural (NLP) para almacenar y analizar conjuntos de texto, como textos médicos, noticias, redes sociales, entre otros.

APACHE PARQUET

Es un formato para el almacenamiento de datos tabulares orientado a columnas y está optimizado para grandes cargas de datos. Es de uso común en sistemas de procesamiento de Big Data basados en Hadoop, como Hive, Impala y Spark. Fue desarrollado por Cloudera y Twitter en 2013 como un proyecto de código abierto.

APACHE PARQUET

Parquet se basa en una representación de datos en columnas comprimidas, lo que lo hace muy eficiente para consultas analíticas que involucran grandes cantidades de datos. Es un formato popular para el procesamiento de Big Data.

HTML

El formato HTML (Lenguaje de Marcado de Hipertexto o HyperText Markup Language) es un lenguaje utilizado principalmente para crear páginas web y documentos de hipertexto.

En el campo de la ciencia de datos, se puede utilizar como un formato de almacenamiento de datos estructurados y no estructurados.

HTML

Este es un ejemplo de una tabla escrita en HTML:

<html>
    <head></head>
    <body>
        <table id="customers">
  <tbody>
        <tr>
        <th>Company</th>
        <th>Contact</th>
        <th>Country</th>
      </tr>
      <tr>
        <td>Alfreds Futterkiste</td>
        <td>Maria Anders</td>
        <td>Germany</td>
      </tr>
      <tr>
        <td>Centro comercial Moctezuma</td>
        <td>Francisco Chang</td>
        <td>Mexico</td>
      </tr>
     </tbody>
</table>
    </body>
</html>

HTML

HTML (al igual que XML) utiliza tags para estructurar el contenido:

A esto se lo llama sintaxis de marcado, porque las etiquetas “marcan” o delimitan parte del contenido.

PANDAS

ESTRUCTURAS DE DATOS BÁSICAS EN PANDAS

Pandas proporciona dos estructuras principales para trabajar con datos:

• Series: una serie de Pandas es una matriz unidimensional capaz de contener cualquier tipo de dato: números enteros, cadenas de texto, números decimales, objetos de Python, etc. Cada elemento de la serie posee un identificador único llamado índice (index).

• DataFrame: un DataFrame es una estructura bidimensional tabular formada por filas y columnas. Cada fila está identificada por un índice, y las distintas columnas pueden almacenar datos de diferente tipo.

LECTURA DE ARCHIVOS DE DATOS TABULARES

LIBRERÍA PANDAS Con pandas podemos leer archivos .csv, .txt, .xlsx o .xls, .parquet y .json

• CSV. Si bien el archivo .csv sigue siendo orientado a filas, la librería se encarga de ponerlo dentro de un objeto DataFrame. pd.read_csv() también permite leer archivos .txt.

import pandas as pd

data = pd.read_csv('datasets/listings_ba.csv')

LECTURA DE ARCHIVOS DE DATOS TABULARES

LIBRERÍA PANDAS

• EXCEL. La función read_excel() nos permite leer archivos .xlsx o .xls. Si el archivo en cuestión tiene más de una hoja, se debe especificar el nombre de la hoja con la que se quiere trabajar en el argumento sheet_name.

import pandas as pd

data = pd.read_excel('datasets/censo2022.xlsx', sheet_name = 'datos')

LECTURA DE ARCHIVOS DE DATOS TABULARES

LIBRERÍA PANDAS

• JSON. pandas cuenta con la función read_json() que posibilita la lectura/importación de archivos JSON al entorno de trabajo. Esta función convierte automáticamente los datos en un objeto pd.DataFrame.

import pandas as pd

data = pd.read_json('datasets/datos.json')

LECTURA DE ARCHIVOS DE DATOS TABULARES

LIBRERÍA JSON

• La librería nativa json en Python proporciona herramientas para trabajar con datos JSON. Para leer un archivo .json, primero se debe abrir el archivo en modo de lectura y luego utilizar la función load() de la librería json para cargar los datos en un objeto Python.

import json
import pandas as pd

# Abrir archivo JSON en modo lectura
with open('datasets/datos.json', 'r') as f:
  
    # Cargar los datos JSON del archivo en un objeto Python
    datos = json.load(f)

LECTURA DE ARCHIVOS DE DATOS TABULARES

LIBRERÍA PANDAS

• APACHE PARQUET. pandas cuenta con la función read_parquet() para la lectura de archivos con este formato. El parámetro engine nos permite seleccionar la librería específica de parquet para leer el archivo: io.parquet.engine (auto), pyarrow, fastparquet.

import pandas as pd

pd.read_parquet('datasets/datos.parquet', engine = 'auto', 
columns = None, storage_options = None, use_nullable_dtypes = False)

ESCRITURA DE DATOS TABULARES EN ARCHIVOS

¿Cómo guardamos nuestros datos en distintos formatos de archivos usando pandas?

TIPOS DE DATOS USUALES

• int: para representar valores enteros. En general, el tipo de dato entero puede ser byte, short, int o long, y cada uno se corresponde con el volumen de memoria que puede ocupar el dato: 8, 16, 32 o 64 bits respectivamente. A partir de Python 3, todos los enteros son de formato long, es decir que ocupan 64 bits de memoria.

• float: para representar valores reales de coma flotante. Existe el float single precision (32 bits) y el double precision (64 bits).

• str: sirve para representar texto.

• bool: para representar valores booleanos de True/False

• NaN/None

object vs. str

En pandas, las columnas que contienen valores de texto se representan como el tipo de datos object en lugar del tipo de datos str de Python. Esto se debe a que str es un tipo de datos específico en Python que sólo puede contener caracteres alfanuméricos y algunos caracteres especiales, mientras que object puede contener cualquier tipo de objeto de Python, incluyendo cadenas de texto.

Además, las columnas de texto en un DataFrame de pandas pueden contener valores faltantes (por ejemplo, NaN), y object es un tipo de datos compatible con este tipo de datos.

MÉTODOS ÚTILES

.rename(). Útil para renombrar columnas o índices.

df.rename(columns = {'nombre_viejo':'nombre_nuevo'})

.str.replace(). Útil para reemplazar caracteres o cadenas dentro de una columna de texto.

df['col'].str.replace('str_a_reemplazar', 'str_nuevo')

.str.strip(). Elimina espacios en blanco al inicio y al final de las cadenas.

df['col'].str.strip()

.str.lower()/.str.upper(). Convierte cadenas de texto a minúsculas o mayúsculas, respectivamente.

.astype(tipo). Convierte el tipo de dato de una columna.

MÉTODOS ÚTILES

.isnull() / isna() / .notnull(). Son útiles para detectar valores faltantes. Aplicados sobre una columna de un DataFrame, devuelven una Serie booleana.

.unique(). Devuelve un array con los valores únicos presentes en una columna.

.value_counts(). Devuelve una Serie con las frecuencias de los valores únicos en una columna.

df['col'].value_counts()

MANEJO DE FECHAS EN pandas

Si nuestros datos están en un archivo .csv (que no guarda info sobre el tipo de dato contenido en cada columna), y el mismo posee un campo que contiene fechas, podemos usar el método pd.to_datetime() para indicarlo.

Como resultado, transformarmos esa información en datos de tipo datetime64.

SOBRE datetime64

datetime64 es un tipo de datos numérico que se representa internamente como un número entero de 64 bits.

Cada unidad de fecha y hora (año, mes, día, hora, minuto, segundo, nanosegundo) se convierte en un número entero que representa la cantidad de esa unidad desde una fecha de referencia, que es el 1 de enero de 1970. Esta fecha de referencia se utiliza como base para el cálculo de todas las demás fechas y horas.

La precisión de datetime64 se puede controlar mediante los modificadores de unidades de tiempo. Por ejemplo, datetime64[s] representa una fecha y hora con precisión de segundos, datetime64[ms] con precisión de milisegundos y datetime64[us] con precisión de microsegundos.