Etiquetado: and Load the data, Clean, Transform
-
¿Qué aprendiste en la sección “Clean, Transform, and Load the data”?
¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?
¿Cómo te servirá esto que aprendiste al presentar el examen de certificación?
-
Hola a todos
Lo que vimos en este apartado, lo considero como el corazón del todo, es importante partir de una limpieza absoluta en los datos, es pasar el lenguaje humano a máquina sin perder de vista que un humano debe comprenderlo, algo que en mi opinión debe basarse en, yo como usuario, como quisiera que me presentaran estos datos:
- Como funcionaria para mi lo que veo
- Esta información es clara y fácil de manejar
- La terminología es la que yo manejo
Primordialmente hay que ser empático con el usuario final creando algo con calidad, claridad y confiabilidad.
Hay que estar atentos a cómo se usará la información, es importante saber leer lo que vamos a presentar, para saber que corregir y cómo corregirlo, esto hará más sencillas las acciones a tomar para transformar la información.
En diversas oportunidades he usado la función de anexar, pero desconocía el funcionamiento de combinar, así que ha sido muy útil ver el ejemplo. De hecho, recientemente lo apliqué en un reporte que estoy desarrollando
Buenas noches
Comparto mi experiencia de lo aprendido en este modulo.
- Merge: este nos permite hacer un join y traer los datos que coincide desde otra tabla, considero que podría ser un tanto similar a realizar un buscarv (vlookup) en excel.
- Append: este nos permite anexar información de una o mas tablas para convertirla en una sola vista, importante que los tipos de datos, nombre y cantidad de columnas sean las mismas
- Interesante la forma de realizar las opciones de transpose y unpivot, ya que muchas veces los input de información de otras fuentes, vienen en una estructura compleja, y considero que con esto se puede sacar el mayor provecho para el análisis
- El crear un key único (en caso no lo tenga la tabla) considero que es muy utilizado, ya que esto te permite concatenar varias columnas y hacer un merge o append en la tabla
- Otro punto importante es la creación de nombres de tablas o vistas entendibles para los usuarios a fin de no generar confusiones
- Asimismo sumamente importante y con muchas opciones para investigar, es el editor avanzado utilizando lenguaje M, buena explicación de su estructura y algunas formas de uso.
- Finalmente, la opción de Habilitar o desactivar la carga de un tabla, considero que puede ser útil para cuando se necesite realizar un cruce con una tabla y esta no se deba de mostrar en la parte de visualizaciones y/o el modelado
Gracias a todos por compartir sus experiencias, éxitos.
- ¿Qué aprendiste en la sección “Clean, Transform, and Load the data”?
En esta sesión he aprendido muchas cosas que si bien ya dominaba algunos conceptos, esto me ha servido para tener un mayor alcance en la aplicación del Power BI.
Saber usar el merge queries y el append queries; saber como es la estructura del lenguaje M y tener la capacidad de poderlo editar para la conveniencia de nuestros datos, y lo mas importante fue evaluar y transformar column data types para poder unir con éxito cualquier tabla, columna o medida. - ¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?
Sirve muchísimo; siempre supe que si uno tiene claro la teoría la aplicación de los reportes va ser muy fácil de realizar y esto va ha originar tener la capacidad de detectar y solucionar cualquier error que se presente en el Query Editor o en el mismo reporte. - ¿Cómo te servirá esto que aprendiste al presentar el examen de certificación?
Me servirá para poder rendir el examen y certificarme en Power BI pero más que la certificación es ser un excelente Business User para no depender del área de TI (Tecnología de la Información) en mejorar o corregir mi modelo de datos.
Seguimos viendo las herramientas que tiene PowerBI para generar un importe limpio, con la calidad del dato necesario para que todo el proceso posterior de DAX y visualización se pueda realizar de la mejor forma posible. Un resumen sería el siguiente:
- Correción de errores. Ya sea modificando los valores de las columnas si siguen un patrón, eliminando errores o investigando la fuente del error.
- Importancia de las Primary Keys y las Foreign Keys a la hora de poder relacionar las tablas. Es muy importante que nuestra clave primaria en cada tabla, solo esté formada por valores únicos. También hemos visto los distintos tipos de Joins existentes aunque por defecte viene configurado por Left Outer.
- Forma de combinar consultar con Merge o Append. Importante tener en consideración que para realizar un Merge, el tipo de dato asociado a la columna que queremos unir con otra, corresponda, es decir que si el ID en una tabla es tipo número entero, en la otra también esté configurado así. Mientras que en Append es importante que las tablas a unir tengan los mismos nombres de las columnas.
- Transformaciones donde las más importantes son Tranpose, Unpivot columns o Pivot, que utilizaremos dependiendo de la forma que necesitemos que se encuentre nuestro dato.
- Estructura del lenguaje M. Aprender a utilizar el editor avanzado con M nos puede ayudar a realizar cambios que no podamos solo con los botones.
Seguimos avanzando
Hola @jluis , ¿la pregunta hace referencia a relacionar las tablas en el modelo de datos?
En Power BI, cuando creas relaciones entre las tablas en tu modelo, no puedes hacerlo tomando en cuenta varias columnas, ahí sí tienes que utilizar la columna auxiliar.Buenas tardes,
Buen comentario , justo a mi me jugó una mala pasada porqué en pw bi en español dice “combinar” y en el quiz estaba la opción de “append and combine” creí que era esa pero era “merge”, ya se empieza a ver más el estar familiarizado con los términos en inglés para el tema de certificación.
Saludos,
Fue muy interesante este modulo, aprendi sobre la importancia de las keys y los joins, las diferencias entre merge y append queries y de como solucionar los errores.
Hola, aprendi a examinar las fuentes de errores, crear key, etc..
Clara y concisa la explicación de toda la metodología de ETL. Sobre todo la aclaración de los métodos de Join.
Saludos, del tema Limpiar, Transformar y Cargar los Datos he concluído lo siguiente:
-La combinación y anexo de consultas son degran utilidad para hacer un join de información o adjuntar filas en una tabla con las mismas columnas, lo cual reduce el modelo y carga del mismo al poder posteriormente evitar usar más tablas desactivando estas dentro de Power Query.
-A diferencia de excel, no puede existir celdas de diferentes datos. En PowerBi es necesario establecer un mismo tipo de dato para cada columna, lo cual genera un correcto orden de estos y sirve esencialmente para poder hacer "operaciones" con consultas.
-El código M tiene una estructura de forma general bastante sencilla de utilizar, pero convertirse en un experto en el tema conllevaría su praxis. El uso de código a diferencia de los pasos que se hacen utilizando la interfaz gráfica es el hecho de acceder profundamente a un caso específico generando pasos propios y útiles acorde a lo necesitado.
dlom dijo¿Qué aprendiste en la sección “Clean, Transform, and Load the data”?
En esta sección conocí el proceso de configuración para conectar datos. También afiance mis conocimientos en el lenguaje M y diferenciar el método de trasponer y pivotear una tabla, en power query
¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?Este tema es muy importante ya que hacer bien el proceso de ETL es clave para el análisis de datos
¿Cómo te servirá esto que aprendiste al presentar el examen de certificación?me ayudara hacer mejores análisis, apoyar mejor los procesos de cualquier compañía o apoyar algún compañero en este tema si lo requiere.
¿Qué aprendiste en la sección “Clean, Transform, and Load the data”? :
-Como la funcion "append" te permite anexar varias tablas, y "merge" te ayuda a fusionar las consultas.
-Las opciones transpose y unpivot para facilitar la lectura de estructuras mas complejas.
-El editor avanzado para el uso de lenguaje M.
-La función habilitar y deshabilitar las cargas de las tablas para no mostrar en el modelado las tablas que no necesites.
-La gestión y manejo de los errores para una correcta lectura de los datos.
Muy interesante esta sección, si bien ya me eran familiares varias de las funciones y herramientas aquí mencionadas resalto dos que no conocía a profundidad el como funcionaban:
1) La opción del KEPT ERRORS en Power Query, lo cual facilita la revisión y análisis de valores errados o fallados en nuestras consultas.
2) Lenguaje M, yo pensaba que el # se colocaba en cada nuevo paso o linea de codigo, pero solo se coloca si el nombre de ese nuevo paso tiene; en su nombre, un espacio en blanco.
Gracias por lo compartido,
Saludos
Merge y Apend son 2 excelentes funciones para combinar tus tablas, crear relaciones y luego inactivar o eliminar tablas que no precises.
Los tips de mejores prácticas son muy buenos y va a depender del tipo de uso que tengan los usuarios finales. En mi caso particular le dejeria el nombre dim y fact para tener referencias y cambiaria los nombres en los objetos visuales para que el usuario final tenga el entendimiento simple y nosotros por otro lado tengamos una comprensión más rapida del tipo de tables (mas cuando tenemos muchas tablas)
Por ultimo comentar que en el ejercicio de Merge no funcionaba porque tienen fechas distintas es decir funciona pero no encuentra combinaciones; la solución es unir las tablas con dos campos sin necesidad de crear la key o cambiar las fechas para que encuentre relaciones.
Gracias.
- Debes estar registrado para responder a este debate.