Tema 02 — Business intelligence y datos maestros

Clase magistral: 02.01. roadmap ingeniero de datos

Palabras transcritas: 1327

🎧 Narración del Tema 02 (ElevenLabs Matilda)

Voz generada por IA (ElevenLabs Matilda) basada en la guía de estudio narrada. Tu celular puede reproducir este audio mientras lees, o mientras haces otras cosas.

TL;DR: El tema explica cómo convertir datos confiables en conocimiento útil mediante calidad, datos maestros, BI y preparación para analítica avanzada.

Puntos clave:

Los datos, la información y el conocimiento no son equivalentes. Un precio o una edad son datos; cuando se contextualizan se vuelven información, y cuando se analizan aportan conocimiento.
La categorización de datos es clave para proyectos de análisis, especialmente en big data. Pueden ser estructurados, como registros de bases de datos, o no estructurados, como vídeos, fotografías o documentos PDF.
La calidad del dato condiciona directamente la calidad de las decisiones. Datos incompletos, duplicados, inconsistentes o con ruido pueden hacer que los algoritmos ignoren información valiosa.
La preparación de datos incluye limpieza, integración, transformación y reducción. Por ejemplo, calcular el índice de masa corporal a partir de peso y altura es una transformación que crea un atributo más interpretable.
La gestión de datos maestros busca unificar datos críticos de clientes, empleados, proveedores o productos. Así se evita que un mismo cliente tenga direcciones distintas en varios sistemas.
El business intelligence permite analizar información estructurada para descubrir tendencias, patrones y oportunidades de mejora. Su valor depende de definir bien las necesidades de conocimiento antes de implementar la solución.
BI aporta beneficios tangibles, intangibles y estratégicos. Puede reducir costes, mejorar la atención al cliente o ayudar a identificar mercados y clientes potenciales.
La clase magistral amplía el tema con una hoja de ruta técnica para ingeniería de datos: fundamentos de programación, SQL, OLAP, data warehouse, procesamiento por lotes o streaming, seguridad, visualización y machine learning.

Términos técnicos clave: datos, información, conocimiento, big data, datos estructurados, datos no estructurados, calidad de datos, datos maestros, MDM, business intelligence, ETL, business analytics

Fórmulas, procesos o ejemplos relevantes:

Proceso de preparación de datos: limpieza, integración, transformación y reducción.
Ejemplo de transformación: índice de masa corporal calculado a partir del peso y la altura.
Criterios para medir la eficacia de MDM: disponibilidad de datos, calidad de datos y desempeño de consulta, con medición entre 0 y 1.
Ejemplo de problema MDM: un cliente cambia de dirección, pero solo una fuente se actualiza; las demás conservan datos antiguos y generan errores de comunicación o cobro.
Hoja de ruta técnica mencionada en clase: fundamentos de computación, programación, pruebas, bases de datos SQL y NoSQL, data warehouse, procesamiento de datos, mensajería, flujos de trabajo, seguridad, visualización y machine learning.

Resumen narrativo

El Tema 2 parte de una distinción fundamental para el gobierno del dato: datos, información y conocimiento no son lo mismo. Los datos son elementos sin procesar, como una edad, un precio o un nombre. La información aparece cuando esos datos adquieren contexto, y el conocimiento surge cuando esa información se analiza y permite aportar algo nuevo a un área concreta.

A partir de esa base, el tema muestra que no todos los datos tienen la misma naturaleza ni el mismo tratamiento. Algunos son estructurados, como los registros de una base de datos, y otros no estructurados, como imágenes, vídeos o documentos. También pueden clasificarse según su origen: creados por la empresa, compilados desde grandes bases externas o generados mediante experimentos y simulaciones. Esta clasificación importa porque condiciona cómo se almacenan, limpian, integran y analizan.

La calidad del dato aparece como una condición previa para cualquier decisión fiable. Si los datos están incompletos, duplicados, son inconsistentes o contienen ruido, el análisis pierde valor. Por eso el material insiste en la preparación de datos: limpiar errores, integrar fuentes distintas, transformar atributos para hacerlos más útiles y reducir dimensiones sin perder información relevante. En una estrategia de gobierno de datos, además, el dato debe cumplir un ciclo de vida que preserve calidad y seguridad.

Sobre esta base se introduce la gestión de datos maestros o MDM. Su objetivo es resolver uno de los problemas más comunes en las organizaciones: que los mismos datos críticos aparezcan dispersos y con valores diferentes en varios sistemas. Un cliente puede tener una dirección en una base de datos y otra dirección en otra; si esto no se corrige, las decisiones, comunicaciones y procesos de negocio se ven afectados. Por eso los datos maestros deben ser correctos, consistentes y administrados junto con el gobierno del dato.

El business intelligence se presenta como el paso siguiente: una vez que la organización dispone de datos confiables y unificados, puede analizarlos para descubrir patrones, tendencias y oportunidades. BI no consiste solo en generar reportes, sino en convertir información estructurada en conocimiento útil para tomar decisiones. Sus beneficios pueden ser tangibles, como reducir costes; intangibles, como mejorar la satisfacción del cliente; o estratégicos, como identificar nuevos mercados o clientes potenciales.

La clase magistral amplía el marco del PDF con una hoja de ruta práctica para quienes se acercan a la ingeniería de datos. Además de BI y gobierno del dato, se mencionan fundamentos de ciencias de la computación, Git, terminal, APIs, SQL, normalización, OLTP frente a OLAP, bases de datos relacionales y NoSQL, data warehouses, data lakes, procesamiento por lotes y streaming, automatización de flujos, seguridad, privacidad, visualización y machine learning. La idea central es que no hace falta dominar todo al inicio, pero sí entender cómo estas piezas se conectan progresivamente.

Para profundizar

Revisar el apartado “Introducción al business intelligence”.
Revisar el apartado “Business intelligence y business analytics”.
Consultar el “Curso introductorio de business intelligence y business analytics”.
Explorar el material de PowerData indicado en el tema.
Repasar las referencias bibliográficas del Tema 2, especialmente Pyle, Han et al., Trejo, Teixeira et al. y Puklavec et al.

Transcripción literal de la clase magistral, generada con ElevenLabs Scribe.

Hola, bienvenidos a otra clase magistral de la asignatura del gobierno del dato y tomas decisiones. Hoy quiero traer una hoja de ruta que fue creada por la empresa DataStack TV, es una empresa dedicada a la enseñanza de diferentes herramientas enfocadas hacia el ingeniero de datos. Ellos crearon esta hoja de ruta, me parece interesante. No hay que agobiarnos porque no conocemos todas las herramientas que aquí sugieren. Se supone que uno durante su carrera profesional como ingeniero de datos va a enfrentarse con estas herramientas de una o de otra forma. Entonces podemos empezar el camino sin conocerlas, pero a lo largo de los años deberíamos intentar manejarlas. Por un lado tenemos los fundamentos del computer science o de las ciencias de la computación en donde deberíamos conocer cómo funcionan la computadora, cómo funciona internet y el controlador de versiones hit a algunos seguramente han utilizado otros controladores de versiones pero siempre caemos en hit de una u otra manera los ingenieros de datos. También deberíamos conocer conceptos básicos como un terminal, una terminal, las APIs, datos estructurados, datos no estructurados, y matemática y estadística, por lo menos básica, esta analítica o estas estadísticas descriptivas exploratorias eso deberíamos conocer. Bueno aquí algunas herramientas, aprender un lenguaje de programación fundamental, sobre todo dedicar tiempo, gastar tiempo a entender ciertos paradigmas de programación y mejores prácticas familiarizarnos con una IDE y con un editor de códigos. Hoy en día, Visual Studio Cots está bastante popularizado, pero bueno, existen diferentes ideas. Los círculos en verde, ellos nos sugieren que deben ser obligatorios mientras que los en rojo pues son sugerencias bastante fuertes no hoy en día python está muy fuerte pero si sabes java puedes llevar la programación en python la curva de aprendizaje es muy muy baja digamos ahora con respecto a las pruebas o a los test debemos saber que es una prueba unitaria que es una prueba de integración que es una prueba funcional y habernos enfrentado a alguna de ellas o a una a un escenario en cada una de ellas. En cuanto a base de datos, el tema del SQL y la normalización de los datos en un base de datos transaccional, el tema de las SIT en transacciones, la atomicidad, la consistencia, el aislamiento, la durabilidad son importantes. Por otro lado, el teorema que hace referencia a lo que se llaman las conjeturas de Brewer e indica que un sistema de cómputo distribuido solamente pueda satisfacer dos de los siguientes atributos en cuanto a consistencia, disponibilidad y tolerancia al particionado, no es capaz de dar respuesta a los tres sino a dos de ellos, el OLPT versus OLAP, cuando hablamos de OLPT estamos hablando de base de datos transaccionales donde hacemos las transacciones de la empresa, ventas, compras, carteras y cuando hablamos de Hola, estamos hablando de cómo organizar esa información estructurada a través de cubos para poder generar reportes por diferentes dimensiones. Yo quiero consultar las ventas por productos, por año, por país o a otra apariencia como un tipo de esquema para poder organizar los datos y poder consultarlos de la mejor manera posteriormente. También deberíamos ver el tema de la escala horizontal verso a la escala vertical, el modelado dimensional, asegurarse de conocer muy bien el tema del modelado entidad-relación y la normalización que ya estaba aquí y aprender a diseñar base de datos. Por otro lado, deberíamos enfrentarnos a una base de datos relacional, aquí hay algunas de ellas, las que están en azul hacen referencia que son servicios en lengua. Comprender la diferencia que existen entre las base de datos documentales, columnares basadas en grafos, basadas en clave de valor y son base de datos no SQL y se recomiendo dominar al menos una de cada tipo. Entonces de las base de datos no relacionales o no se cuele tenemos aquí algunos ejemplos de estos tipos de los que hablamos anteriormente ya sabemos los verdes son obligatorios y los azules son están en como servicios en la nube y los rojos pues son altamente sugeridos, sigamos con la ruta después deberíamos conocer el tema del almacén de datos y dijo después porque si llegamos al almacén de datos y no conocemos lo anterior pues difícilmente vamos a entender que es un almacén de datos, un data warehouse. Es aquí algunas herramientas y aquí lo que se pretende es de esas bases de datos SQL, de esas bases de datos no SQL, que tiene la empresa, que están en sistemas diferentes, como se unifican en un solo sistema, en un solo sitio para ser consultados posteriormente. Entonces aquí hay algunas herramientas que nos pueden ayudar a generar este almacén de datos. Por otro lado, también tendríamos que poder almacenar en un solo sitio, no solamente estos datos estructurados, sino los datos no estructurados y poder almacenar objetos, documentos gráficos, los fundamentos de la computación a nivel de cluster, a nivel de agrupaciones, las diferentes arquitecturas que existe, la arquitectura Lambda y la arquitectura Kappa, entender en qué consiste, y bueno, algunas herramientas y servicios en la nube, la mayoría de los marcos de procesamiento de datos modernos están basados en Apache Actu y MapReduce. Comprender estos conceptos de forma limpia y clara ayuda a aprender los marcos modernos de forma mucho más rápida o que nuestra curva de aprendizaje sea mucho más rápida. En cuanto al procesamiento de datos, Los marcos híbridos pueden procesar tanto datos por lotes como datos streaming. El procesamiento de datos por lotes es muy frecuente en la analítica de datos. Y aquí podemos hacer referencia al tema del Data Warehouse o de almacenes de datos. Entonces, diferentes herramientas que me permiten hacer este procesamiento de datos o por lotes o stream. El tema de la mensajería, cómo diferentes herramientas me permiten enviar mensajes entre los diferentes sistemas de manera óptima. El flujo de trabajo o la programación de ese flujo de trabajo, a veces, tener que hacer un data warehouse, tener que hacer o implementar el gobierno del dato, necesita que se tenga un flujo de trabajo. Entonces, si este flujo de trabajo está en una oja de Excel, no es lo mismo, así se puede automatizar. Y existen herramientas que nos permiten automatizar esos pasos. Monitoriar los pipelines de los datos también es súper importante. El Cloud Composer es un servicio de Apache Airflow en la plataforma de Google Cloud. Estamos hablando de estos dos servicios. Las redes, conocer el concepto de VPN, de protocolos, de BBC, de Gorda Fuegos, de HTTP, de cómo funciona todo este tema de las redes, y por otro lado tenemos la infraestructura como código, tenemos los contenedores, el docker está siendo muy utilizado hoy en día, la orquestación de contenedores y el aprovisionamiento de infraestructura para almacenar este código. También dentro de esa hoja de ruta tenemos a las prácticas que combinan la integración continua y la entrega continua. Entonces, aquí también tenemos herramientas para este tipo de actividades. La gestión de la identidad del acceso, la seguridad y la privacidad de los datos, encryptación, gestión de claves, cobernanza e integridad de los datos, que ya lo habíamos hablado en una clase magistral anterior. Y, por último, el machine learning. Tenemos dentro del Machine Learning, aprendizaje supervisado, no supervisado, regresión, clasificación y diferentes herramientas que me permiten implementar modelos de Machine Learning o de aprendizaje automático con los datos que ya tengo almacenados de una forma íntegra y con calidad. La visualización de los datos, una vez que ya tengo el almacenamiento de datos o el Data Warehouse y los Data Lakes, Puedo generar modelos de Machine Learning o puedo generar visualización de datos a través de herramientas que así me lo permite. Yo ingeniero datos frecuentemente se cierra a científicos de datos, analizados de datos e ingenieros de Machine Learning o de aprendizaje automático. Es bueno tener el conocimiento básico de las herramientas que se utiliza. Muchísimas gracias por su atención y hasta la próxima.