El Pre- Procesamiento de los datos es el segundo paso durante el proceso de Data Mining, ya que en esta parte se transforman los datos a formatos más simples de trabajar. 📝
Los datos que el mundo nos proporciona, frecuentemente no están limpios, faltan valores, contienen inconsistencias y suelen mostrar ruido, ya que contienen errores y valores atípicos.📊📈
Sin un pre – procesamiento de datos, estos errores permanecerán y en consecuencia el resultado final tendrá menos fiabilidad.
Para evitar que eso nos suceda tenemos que:
📌
1️⃣ Extraer las Características
Consiste en crear un conjunto de características que sean relevantes para que el analista pueda trabajar con ellas.
⚠️⚠️ ¡¡¡IMPORTANTE!!! La naturaleza de la extracción de características depende del dominio del cual el dato está graficado.
Por ejemplo:
✨Datos de sensores: datos de bajo nivel son extraídos en gran volúmen. Transformaciones como las de Wavelet o Fourier son requeridas y aplicadas a series de tiempo.
✨Datos de imágenes: datos representados de pixeles a histograma de colores para obtener las características en diferentes segmentos de la imagen.
✨LogsWeb: datos representados por cadenas de strings, la conversión a una tabla multidimensional con atributos numéricos y categóricos favorecía el análisis.
✨Tráfico de red: datos representados por paquetes, la extracción de características se usa para la extracción de bytes transferidos el protoco de red usado y más.
Portabilidad:
Es necesario para homogenizar los datos
✨Discretización de los datos: Conversión de la información de numérico a categóricos.
✨Binzarización de los datos: Conversión de la información de categóricos a binarios.
2️⃣ Limpieza de los datos
Este paso es importante ya que se busca eliminar los errores que se cometieron en el proceso de recolección de los Datos.🧽
Por ejemplo:
✨Los Sensores: un error debido a sus límites asociados a su hardware
✨ Las encuestas: Las personas no compartieron su información personal o se capturo mal la información en las encuestas teniendo así un error manual.
ASPECTOS IMPORTANTES DE LA LIMPIEZA DE DATOS SON:
🔅Rellenar valores faltantes
Para esto es importante identificar la causa de la falta de datos, para evitar que vuelva a ocurrir. La manera de hacerlo es en los valores faltantes se rellenan con la palabra “NA” lo que nos indica que el valor es desconocido.
🔅 Identificar y eliminar datos que se pueden considerar un ruido
Esto es identificar los valores atípicos, los cuales son puntos que están alejados de la media de la muestra.
🔅 Controlar las Entradas incorrectas
Esto se produce al tener múltiples fuentes de datos, por lo cual se recomienda tener una base de datos que aporte las variables con las que se desea trabajar.
🔅 Escalado y normalización
Se suele tener datos en diferentes escalas de medición por lo que es necesario tenerlas en la misma escala.
| Maquina | Tiempo de producción | Misma Escala |
| A | 14.5 horas | 870 min |
| B | 920 min | 920 min |
🔅 Reducción de los datos
Aun que es importante tener muchos datos para analizar y tener una mayor fiabilidad en el resultado, realizar una reducción de los datos nos reduce el costo y el tiempo empleado.
La reducción consiste en la disminución de registros y atributos.
⭕ Los tipos de reducción de datos son:
✔️Muestreo de Datos
✔️Selección de características
✔️Reducción de datos con rotación de ejes
✔️Reducción de datos con transformación
