Tema 03 — Data warehouse y data lake

Clase magistral: 03.01. metadatos

Palabras transcritas: 1512

🎧 Narración del Tema 03 (ElevenLabs Matilda)

Voz generada por IA (ElevenLabs Matilda) basada en la guía de estudio narrada. Tu celular puede reproducir este audio mientras lees, o mientras haces otras cosas.

TL;DR: ETL convierte datos brutos en información confiable para data warehouses o data lakes, habilitando análisis consistentes y decisiones mejor fundamentadas.

Puntos clave:

El proceso ETL es la base técnica para pasar de datos operativos dispersos a información lista para análisis. Suele consumir entre el 60 % y el 80 % del tiempo de un proyecto de business intelligence.
La extracción selecciona datos relevantes desde sistemas transaccionales, fuentes externas o archivos, ya sea en una carga inicial estática o mediante actualizaciones incrementales.
La limpieza mejora la calidad del dato al corregir duplicados, inconsistencias, valores faltantes y errores de formato. Por ejemplo, un mismo país puede aparecer como “USA” y “Estados Unidos de Norteamérica”.
La transformación convierte datos limpios en estructuras útiles para análisis: cambia formatos, traduce códigos, calcula valores derivados y resume información.
La carga y actualización validan que los datos lleguen al data warehouse con formatos y definiciones correctas. Un error en esta fase puede derivar en decisiones equivocadas.
Un data warehouse almacena información integrada, histórica, orientada a áreas de negocio y no volátil para facilitar la toma de decisiones.
Los esquemas estrella y copo de nieve organizan los datos del DW según prioridades distintas: rendimiento y simplicidad en el primero, menor redundancia en el segundo.
La clase magistral añade la importancia de los metadatos, el linaje y el glosario de negocio para saber qué significan los datos, de dónde vienen y quién es responsable de ellos.

Términos técnicos clave: ETL, extracción, limpieza, transformación, carga, actualización, data warehouse, business intelligence, esquema estrella, tabla de hechos, dimensiones, esquema copo de nieve

Fórmulas, procesos o ejemplos relevantes:

Proceso ETL:
1. Extracción de datos desde fuentes relevantes.
2. Limpieza para eliminar duplicados, corregir errores y completar valores.
3. Transformación mediante cambios de formato, codificación, agregación o cálculo.
4. Carga o actualización en el data warehouse.
Métodos de extracción:
1. Extracción estática: se usa para poblar el DW por primera vez y compara imágenes de datos.
2. Extracción incremental: incorpora solo los cambios desde la última extracción.
Métodos de carga o actualización:
1. Reescritura completa del almacén de datos.
2. Actualización solo con cambios aplicados a los datos fuente.
Ejemplo de valor derivado: índice de masa corporal = peso/altura.
Ejemplo de transformación de códigos: “H” y “M” pueden convertirse en “1” y “2”; “V” y “M” pueden convertirse en “1” y “0”.
Ejemplo de esquema estrella: en un DW de ventas, la tabla de hechos contiene ventas y se relaciona con dimensiones como producto, almacén, cliente y fecha.

Resumen narrativo

El tema explica cómo los datos pasan de estar dispersos y en bruto en sistemas operativos a convertirse en información preparada para la toma de decisiones. La idea central es que los datos que una empresa guarda en sus sistemas transaccionales no suelen estar listos para analizarse: pueden estar duplicados, incompletos, escritos con formatos distintos o repartidos entre múltiples fuentes. Por eso, antes de cargarlos en un data warehouse o en un data lake, deben atravesar un proceso técnico de preparación.

Ese proceso se conoce como ETL: extracción, transformación y carga, aunque el material también desarrolla explícitamente la limpieza como una etapa clave. Primero se extraen los datos relevantes desde las fuentes adecuadas. Después se limpian para mejorar su calidad, eliminando duplicados o corrigiendo inconsistencias. Luego se transforman para que adopten formatos, códigos y estructuras útiles para el análisis. Finalmente, se cargan o actualizan en el almacén de datos, verificando que sean consistentes con las definiciones previstas.

La dificultad del ETL está en que parece intuitivo, pero en la práctica concentra gran parte del esfuerzo de un proyecto de business intelligence. No se trata solo de mover datos de un lugar a otro, sino de añadirles valor: documentar su calidad, reconciliar fuentes heterogéneas, convertir códigos, calcular agregados y organizar la información para que usuarios y herramientas puedan consultarla con confianza. Un fallo en esta cadena puede afectar directamente las decisiones del negocio.

El data warehouse aparece como el entorno diseñado para almacenar información integrada, histórica y preparada para el análisis. Según las características recogidas en el tema, debe estar orientado a un área de negocio, integrar datos con medidas y formatos comunes, conservar información indexada en el tiempo y ser no volátil. Esto permite responder preguntas como la evolución de ventas, la productividad de una línea o los hábitos de compra de un segmento.

Para estructurar un data warehouse, el tema presenta dos modelos principales. El esquema estrella organiza una tabla central de hechos alrededor de dimensiones, lo que facilita consultas rápidas y análisis multidimensional. El esquema copo de nieve normaliza algunas dimensiones para evitar redundancia, aunque puede aumentar la complejidad y el tiempo de respuesta. La elección entre ambos depende de si se prioriza simplicidad y rendimiento o mantenimiento y reducción de duplicidad.

La clase magistral complementa el tema al introducir los metadatos como “datos acerca de los datos”. Esta capa ayuda a entender qué significa cada dato, cuál es su origen, qué calidad tiene, quién lo gestiona y cómo se relaciona con conceptos de negocio. El glosario de negocio, el catálogo de datos y el linaje reducen la distancia entre usuarios técnicos y usuarios de negocio, especialmente cuando aparecen términos ambiguos como venta física, venta web, cartera o margen.

En conjunto, el tema muestra que una buena toma de decisiones no depende solo de tener muchos datos, sino de gobernarlos, prepararlos y contextualizarlos. ETL, data warehouse, esquemas de modelado y metadatos forman una cadena: cada elemento contribuye a que los datos sean comprensibles, confiables y útiles para responder preguntas reales del negocio.

Para profundizar

Creando una ETL con las herramientas de Pentaho 6.
Desarrollo de un cubo OLAP con Schema Workbench de Pentaho.
Azure data lake storage tutorial.
ETL vs. ELT.
Referencias bibliográficas del tema: Inmon, Kimball, Cano, Eckerson y White, Ong et al., Theodoratos et al. y Villanueva.

Transcripción literal de la clase magistral, generada con ElevenLabs Scribe.

Bienvenidos una vez más a una clase magistral de la Asignatura del Gobierno del Tato y toma de decisiones. Hoy veremos y profundizaremos en el tema de los metadatos, que son súper importantes en todo este tema del Gobierno del Tato, la gestión del Tato. Por un lado, los metadatos consisten en información que me permite describir el Tato, la calidad las condiciones, la historia, la disponibilidad y muchas más características que pueda yo sacarte cada tato que está almacenado en la empresa. La definición más cerca de metadatos en general es los datos acerca de los datos. Es como si nosotros tuviésemos aquí una imagen de una puerta, de una ventana y encima le escribiéramos ventana. sirve para ver a través de puertas. Sirve para entrar y salir de un recinto. Entonces, es más información de lo que ya podemos ver dentro del mismo dato y permite ubicar y entender los datos. Dentro de los metadatos, tenemos el Business Closary, Oligosario de Negocio, y en una palabra o frase se resume el lenguaje de negocio y se definen reportes, procesos, tablas, columnas, son definidos por usuarios del negocio, porque son ellos quienes manejan esa terminología, pero que después nos va a servir para los usuarios técnicos, que es una venta que hace referencia cuando hablamos de cartera, inventarios, margen bruto, margen neto y permite explicar los metádatos desde un punto de vista del negocio. Cómo nos ayuda esta definición de metádatos o a qué problemas nos puede o qué problemas nos puede solucionar el tema de los metádatos. Por un lado el analista se enfrentaba o una falta de confianza en los datos presentados por los usuarios del negocio, la dificultad para la relación entre conceptos del negocio de objetos técnicos y muchas veces se partía mucho tiempo cuando el analista necesitaba recabar información de la base de datos y hasta que el usuario del negocio no tuviese el tiempo para dedicarle y decirle ah si esto lo guardamos en esta pantalla ah si esto lo guardamos en esta pantalla y después del analista va a nivel de base de datos para ver esa pantalla donde guarda la información. Si existen estos metadatos, esta falta de confianza y esta dificultad para relacionar los conceptos sea menor. Puede que no desaparezca al todo pero por lo menos es menor y la falta de herramientas adecuada para apoyar eficazmente a los desarrolladores. Se perdía muchísimo tiempo en esta comunicación y muchas veces los desarrolladores o los analistas asumíamos ciertos conceptos que es una venta, pues fácil, es un proceso en el cual se intercambia con el cliente un objeto por una moneda, pero puede que no. Entonces aquí no podemos asumir nada. Al desarrollador, le puedes solucionar problemas a los que se enfrentaba antes, como mucho tiempo empleado en el análisis del impacto persus del trabajo por real, mucho tiempo dedicado a tratar de localizar los objetos técnicos y rehusar lo que ya existe. Al arquitecto los altos costos asociados con la administración de diferentes sistemas en los proyectos de integración de datos. El tema de la integración de datos siempre ha sido un dolor de cabeza porque los arquitectos tienen que definir de donde vienen esos datos, duplicidad de datos, información inconsistente, datos faltantes, entonces sí existen los metadata, por lo menos yo sé si hay un dato faltante, a qué hace referencia y si es importante o no, si la puedo ignorar o no, o si los datos faltantes no son muchos dentro de una columna de una tabla puedo intentar llenar esos datos faltantes para que eventos posteriores o procesos posteriores como el machine learning pues no me generan un problema. Pero para el arquitecto y de hecho para el equipo de la área de tecnología cuando implementaban estrategias de business intelligence, muchas estrategias se venían abajo por el tema de no existen los metadatos, no sabemos dónde están los datos, no sabemos qué y datos son importantes para este caso de uso crítico del negocio, entonces el arquitecto no podía realizar bien su tarea y los proyectos quedaban a medias porque era muy complejo, sigue siendo las muchas empresas, pero con las normativas que hay hoy en día con los los frameworks que hay para la górnanza del dato, pues se hace mucho más fácil, ¿no? Si esto lo implementemos de una manera óptima, dentro de la empresa. Al usuario, el negocio también le ayuda, porque antes se tenía dificultad para entender el significado y el origen de esos datos, porque dentro de los metadatos está esa trazabilidad del dato, entonces para ellos también está muy bien poderlo ver a través un gráfico o a través de un documento y la falta de claridad en la propiedad responsabilidad de los datos. Hoy en día se habla que los usuarios del negocio son los responsables, son los data-owners de esos datos que se almacenan en la mayoría de datos. No es el área técnica sino que son ellos los que deben garantizar que el dato se guarda de la mejor manera. A los administradores de datos antes se enfrentaban un difícil mantenimiento de la coherencia de los diferentes instancias para el mismo término de negocios. Por un lado, se tenía el tema de las ventas, pero una cosa era la venta física a la venta web. Entonces, hay diferencia entre la venta física y la venta web, porque existe un sistema para la venta física y existe otro sistema para la venta web. Puedo unificarlos. Es coherente con quién puedo hablar este tema. Y resulta que la venta física la llevó a una persona en la venta web, otra persona, y ni siquiera se comunicaban. Encima, los clientes se duplicaban. Entonces, para los administradores de datos, era muy complejo poder administrar y poder mantener la coherencia entre los diferentes fuentes de datos. El tema era difícil mantener los datos de referencia ante los términos de negocio. Esto facilita con la creación de los metadata. Los analistas de datos de negocio y de los desarrolladores en general y como resumen, entonces ya nos facilita o da solución a la dificultad que se tenía en el tema de la comprensión de las relaciones entre el negocio y los metadata teóricos y la falta de agilidad en las respuestas a los convientes necesidades empresariales. Si no se tienen los conceptos claros, si no se tienen claros, ¿cuáles son esos datos que se están almacenando? Y existe algún cambio dentro de la empresa. Es muchísimo más complejo. Así existe toda la información necesaria para cuando el cambio se haga, sea coherente con lo que ya existía. Entonces, dentro de los metadatos, existe el catálogo de los metadatos, el linaje de los datos, que es esa trazabilidad que le hago, y el glossario del negocio. El catálogo de datos es como todos los metadatos consolidados en un solo sitio, ¿no? Entonces amplia conectividad, metadatos consolidados, la búsqueda avanzada a través de este catálogo de metadatos, el perfilado de los datos de manera integrada y un resumen del impacto. Los beneficios, la visibilidad para toda la empresa y los metadatos utilizados en los proyectos de integración de datos. Sí, existe en un solo sitio los datos de los datos y sé con esa actitud a qué hace referencia a cada dato cuando se hagan proyectos de integración. Son muchísimo más fácil de llevar a cabo. En el tema del linaje de los datos es ese flujo de los datos, ¿no? Donde entra ese dato, donde se puede llegar a eliminar, qué pasa cuando el dato cambia, analizar esas dependencias que existen entre un dato y otro, el enlace de los términos de negocio, vale este dato, se referencia a la venta, que es una venta dentro del negocio, pues me voy al cruzario de términos del negocio. Los beneficios rastrear interactivamente como se procesan los datos desde el origen hasta su destino y evaluar el impacto de los cambios dentro de un dato en especial. Y en cuanto al cruzario del negocio pues es un vocabulario común de términos comerciales, enlaza a los metadatos técnicos, manejo de datos de referencia, flujo de trabajo, aprobación por parte de los usuarios del negocio y en cuanto a los beneficios pues habilita la colaboración entre el negocio y el grupo de IT y factor clave para la gestión y el gobierno del dato. Si no tenemos claros esos conceptos a nivel de negocio, difícilmente vamos a poder llegar a cabo otro proceso. Como resumen, el repositorio de la gestión de metadata se conecta a diferentes fuentes de datos, ERPES, a la base de datos relacionales, incluso archivos planos. Aquí deben estar los datos de los datos que están almacenados en cualquier sistema dentro de la organización y podemos empezar por esos casos de uso críticos. Las herramientas de Business Intelligence también deberían tener propios metadata y dentro de ese repositorio de metadata tenemos el catálogo de datos, el linaje de los datos y el clusario del negocio. Muchísimas gracias por su atención y nos vemos en un siguiente vídeo.