Aprendizajes de la sección “Clean, Transform, and Load the data” del módulo “Prepare the data”

  • dlom
    Participante

      ¿Qué aprendiste en la sección “Clean, Transform, and Load the data”?
      ¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?
      ¿Cómo te servirá esto que aprendiste al presentar el examen de certificación?

    • gpantoja
      Espectador
        • ¿Qué aprendiste en la sección “Clean, Transform, and Load the data”?
          Aprendi las formas que tengo de cargar información, como “limpiar los datos” en caso de que la fuente de datos llegue con errores y como solucionar los problemas mas comunes
        • ¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?
          me servirá para ser más resolutiva y aumentar mi capacidad de analisis de los problemas que se me podrían presentar
        • ¿Cómo te servirá esto que aprendiste al presentar el examen de certificación?
          Más conocimiento de las potencialidades del Powerbi y el Query editor
        jluis
        Espectador

          Gracias @Diego! Sí, me refería al modelo de datos y suponía que era así pero era por tener claro si había alguna alternativa. Gracias por la respuesta.
          Saludos

          hhectorgarcia
          Espectador

            Buenas tardes,

            En esta sección lo que más destaco son las funciones Merge y Append, muy útiles para reducir tablas e información redundante. La importancia de tener una key única en una tabla para poder relacionar con otras tablas y también la sintaxis del lenguaje M. Y por último controlar los errores que podemos tener nuestras consultas.

            Un saludo.

            KevinRoger
            Participante

              ¿Qué aprendiste en la sección “Clean, Transform, and Load the data”?

              -Resolver y corregir las inconsistencias y valores nulos que vienen en las bases.
              -Identificar y crear “Keys” adeacuadas para generar “Joins”
              -Cómo combinar Querys
              -Aplicaciones de transformación de datos a una Tabla
              -Definir “naming convetions” amigables para el usuario
              -Utilización del “Advance Edito” para modificar el código M
              -Configuración del “Data loading”
              -Cómo visualizar errores al importar la base de datos.

              ¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?

              -Resolver y corregir las inconsistencias y valores nulos que vienen en las bases.

              • Este concepto tratado en el curso me ayudará a revisar la calidad de los datos y a tomar decisiones sobre cómo corregirlos para lograr una base más limpia y correcta.

              -Identificar y crear “Keys” adeacuadas para generar “Joins”

              • Este punto es muy importante dado que nos enseña las distintas maneras en que se pueden relacionar tablas (Inner, Left Outer, Right Outer, etc) a través de un campo clave llamado generalmente “ID”, donde se unen o cambinan filas de 1 o más tablas.

              -Cómo combinar Querys

              • Aquí se aprendió que existen dos formas de combinar Tablas, a través de Marge Queries y Append Queries.

              -Aplicaciones de transformación de datos a una Tabla

              • En este punto se aprendió como puedes transformar la tabla utilizando distintas acciones como lo son: Transpose, Unpivot Columns o Group by (Agrupar por columnas específicas).

              -Definir “naming conventions” amigables para el usuario

              • Este punto sirvió para realizar consultas y trabajos pensando en el usuario final, sabiendo que debe entender cómo utilizar con el producto que le vamos a entregar. Tomar en cuenta recomendaciones como: Quitar prefijos y sufijos, evitar abreviaciones que no manejen los usuarios finales, ser legibles, tengan nombres significativos y utilizar terminologías de la empresa.

              -Utilización del “Advance Edito” para modificar el código M

              • Aquí se aprendió a como interactuar de manera muy básica con el lenguaje M entendiendo algunas terminologías como: Let, Source, #“Subset sales data sheet”, #“Promoted Headers”, In.

              -Configuración del “Data loading”

              • Este punto me enseñó a cómo ocultar tablas que ya no queremos ver utilizando “ENABLE LOAD” y como hacer para que la tabla que está oculta aún así se actualice (Include in report refresh).

              -Cómo visualizar errores al importar la base de datos.

              • Saber que significa el error que te entrega Power BI al momento de cargar una base y cómo abrir el query editor para revisar los errores que aparecen al cargar esta base. De esta manera podremos tomar la decisión si ocultamos, filtramos o reemplazamos esos errores para limpiar la base de una manera correcta.

              ¿Cómo te servirá esto que aprendiste al presentar el examen de certificación?

              • Creo que este punto es uno de los pasos intermedio-cierre para lo que es la preparación de datos, dado que no es solamente encontrar valores erróneos y reemplazarlos, sino que también es el hecho de complementar la información generando relación de tablas y de qué manera y cómo lo vamos a hacer. Por último creo que la introducción a como leer el lenguaje M es necesario para detectar errores o realizar modificaciones en la base que estaremos trabajando.

              P.D: @Diego volvimos con toda la energía a retomar y completar esta certificación.

              josses
              Espectador

                Este capítulo nos explica conceptos fundamentales como la limpieza, transformación y carga de datos, para poder trabajarlos en el Query Editor. Es un proceso indispensable al que hay que dedicarle tiempo para que las consultas y las visualizaciones posteriores nos den los resultados esperados. Las herramientas que se ven en esta sección como pivot, unpivot, joins, keys, merge, append, el reemplazo de nombres o valores, son una parte importante en la preparación de los datos que se van a manejar. Esta es una sección fundamental.

                managerdeproductivid
                Espectador

                  Seguimos compartiendo:

                  1. Resolver inconsistencias identificando patrones propios para observar de manera analitica la Data a tratar, quitando filas, reemplazando filas o rellenando filas hacia abajo, tenemos amplias formas.
                  2. Reemplazando Valores x otros valores, sin descuidar el tener muchos pasos que nos juegan en contra en la performance.
                  3. Combinar Queries: realizando un Anexar de tablas o un Merge de tablas, teniendo posibilidad de marcar: Enable load y no permitir que se vea en el Desktop.
                  4. Y uno de los apartados mas importantes para mi, el cual deseo profundizar: Anular dinamización de columnas y Columna dinámica, en favor de simplificar.

                  Saludos cordiales,
                  Julio Zarate

                  blardiles
                  Espectador

                    En este capítulo rescato los siguientes puntos:

                    1. Cuando se realiza anexo de varias tablas, tener cuidado de que las columnas tengan el mismo nombre para no generar columnas nuevas.
                    2. La función “Detect data type”
                    3. La función de pivot y unpivot
                    4. Muy buena explicación del código M en el editor avanzado de consultas.
                    5. tres formas más usuales de arreglar errores: con el data sources setting, con el power query editor y a través del código M.

                    Estoy muy contenta con la dinámica del curso!

                    Muchas gracias!

                    nahuel
                    Espectador

                      Hola,
                      en esta sección aprendí a reemplazar valores erróneos, analizar la calidad de los datos
                      crear columnas de diferentes formas.
                      Me resultó muy interesante la explicación de los joins en la presentación donde se ve con claridad los diferentes tipos de join y su aplicación con merge y append.sin embargo, no pude implementarlo en un trabajo en el que buscaba realizar un filtro con información de 3 tablas.
                      Como las tablas eran muy extensas realicé la creación de 3 nuevas tablas con ciertas columnas para simplificar el join.

                      image

                      Una vez creadas quise utilizar el append del power query pero no pude ya que no se visualiza en el power query las tablas creadas. Por lo tanto, Intenté realizar el append directamente con las 3 tablas originales pero el proceso nunca termina ya que las había creado como import en lugar de direct query.
                      Finalmente, me hubiese gustado poder armar 3 tablas nuevas a partir de las existentes (para reducir columnas) y anexarlas para realizar la consulta.
                      Alguna recomendación para poder hacerlo?

                      Respecto a lo aprendido, también me sirvió la parte de agrupar, pivot y unpivot, comprender lo que se escribe en el código M y como hacer para que las tablas aparezcan o no en el dashboard.

                      Saludos

                      Piwichalower
                      Espectador
                        1. Resalto de esta sección, que me va a permitir agilizar mis transformaciones y entender el manejo de errores.
                        2. Reemplazar el paso de crear una columna personalizada para relacionar tablas seleccionando las columnas que formarían la columna key desde la interfaz de Merge.
                        3. Diferenciar la función transpuesta de unpivot.
                        4. Entender la sintaxis del Código M de Power Query.
                        5. Entender el uso de la opción include in report refresh en carga de data.

                        Muchas gracias,

                        jrorozcor
                        Espectador

                          Creo importante profundizar en el leguaje M para darle mas calidad a tus datos, desconocía como controlar que se procesa en el servidor SQL y que en tu aplicación, eso fue importante

                          minervamar
                          Espectador

                            Seguimos con la calidad en la estructura de nuestras tablas y los datos con todas estas herramientas para poder trabajar limpiamente con toda esta información

                            En esta ocasión no cabe duda que tener el PBi en ingles será necesario ya que permite estar familiarizado con los términos que se utilizaran en el caso especifico de la certificación.

                            Será necesario revisar todas estas funciones en M para conocerlas mejor.

                            Saludos!!

                            LuisChombo1774
                            Espectador

                              ¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?

                              Lo aprendido en esta sección me permite configurar la data que estoy ingresando a Power Bi y que me ayudará a obtener los indicadores que necesito.

                              bernabe
                              Espectador
                                • ¿Qué aprendiste en la sección “Clean, Transform, and Load the data”?

                                Recorrimos diez temas que nos enseñan a limpiar , transformar y cargar correctamente nuestros datos al powerbi desktop.

                                1. "unexpected values, null values, data quality issues"

                                • En este tema aprendí a resolver las inconsistencias en los datos:
                                • Corregir errores ( Reemplazándolos, borrándolos o preferiblemente analizándolos para corregirlos ).
                                • Corregir datos nulos ( reemplazándolos o borrándolos ).
                                  2. Aplicar “values replacements” agradables al usuario
                                • Se trata de reemplazar valores de filas para hacer los datos mas comprensibles.
                                  3. Identificar y crear “Keys” adecuadas para “joins”
                                • Aprendí a definier las “Keys”: que son campos que nos permiten relacionar una tabla con otras.
                                • Aprendimos a crear nuevas columnas de “Keys” adecuadas, en caso de que no existan, para poder relacionar tablas.
                                • Vimos como podemos hacer varios tipos de “joins” , que significa combinar tablas.
                                  4. "Combine queries"
                                • Conocimos las dos maneras de combinar consultas: “Append Queries” y “Merge Queries”. Con la primera opción podemos unir dos tablas en una sola; En este caso los nombres de las columnas de las dos tablas deben ser idénticos. con la segunda opción ( Merge Queries ),podemos relacionar dos tablas mediante una “Keys” y extraer las informaciones de una o varias columnas que coincidan con la segunda tabla relacionada.
                                  5. Evaluar y Transformar “columna data types”
                                • Aprendimos a definir los tipos de datos en de las columnas.
                                  6. Aplicar “Data Shape Transformations” a “ Table Structures”**
                                • Vimos como cambiar la forma en la estructura de las tablas. Utilizamos el Trasnpose para que los valores de las filas de la tabla se conviertan en columnas y los valores de las columnas en filas.
                                • Utilizamos “Unpivot columns” coloca los valores de las columnas que tenga la tabla para cada una de las filas. Así se repiten las filas como tantas columnas tenga la tabla.
                                • En tercer lugar vimos el “Pivot Column” ; que hace lo contrario al Unpivot, o sea cambia la forma de la tabla repitiendo las columnas como tantas filas tenga la tabla.
                                • En cuarto lugar vimos el “Reverse Rows” ; que cambia el orden de las filas colocando la ultima en primer lugar.
                                • En quinto lugar vimos “ Count Rows ” que convierte la tabla en un numero que suma todas las filas de la tabla.
                                • En sexto lugar vimos “ Group By ”; que agrupa los datos por la columna que se indique. Tiene dos opciones una básica, que usa una sola columna para agrupar y la avanzada que usa varias columnas para agrupar.
                                • Por ultimo conocimos la pestaña “Add Column” que tiene todas las opciones para agregar nuevas columnas: de índice, personalizadas, condicionales. También en esta pestaña podemos eliminar y duplicar columnas.
                                  7. Definir “Naming Conventions”, amigables para el usuario a columnas y “queries”.
                                • Se trata de reemplazar o adecuar los nombres de las tablas, columnas y medidas para que sean comprensibles al usuario.
                                  8. Utilizar el “Advanced Editor” para modificar el código M del Power Query.
                                • Es un tema fascinante que me ayudo a descifrar la estructura que usa el lenguaje M para codificar los pasos que se realiza en el query editor.
                                  9. Configurar el “Data Loading”.
                                • conocí las opciones para cargar o no la tablas que queremos en nuestro modelo de datos. “ Enable Load, hace que la tabla no se cargue al power bi desktop. También se puede controlar si queremos que una tabla se actualize o no cuando aplicamos la opción Refresh en el power bi desktop. Sin embargo aunque desactivamos el refresh para una tabla, que esta vinculada a otra que requiere actualizarse la que desactivamos se va actualizar.
                                  10. Resolver errores en el “Data Import”
                                • En este temas trabajamos los errores que pueden venir en las tablas. El editor crea una carpeta con los registros de las tablas que tienen errores. Trabajamos también los errores que bloquean las consultas y no permiten que se carguen al modelo. Un caso es si se cambia el nombre del archivo al que nos conectamos. Las soluciones dependen del tipo de error que se presente.

                                ¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?

                                Me sirve para manipular las tablas que voy a cargar al modelo de datos.

                                ¿Cómo te servirá esto que aprendiste al presentar el examen de certificación?

                                Me parece que para responder a las preguntas referentes a la limpieza y transformación de los datos del modelo.

                                Jorge
                                Espectador

                                  Algo de lo que tenia duda es la diferencia entre Merge y Append, pero super explicado en el video ya que en los desarrollos que eh estado elaborando siempre me confundía.

                                  Una de las funciones que no conocía era la de Transpose y Unpivot que nos sirve para leer mejor los datos y realizar mucho mas fácil el modelado.

                                  Oh se me olvidaba… algo que en verdad desconocía es que podemos hacer Joins, eh usado y trabajado con Keys pero Joins sinceramente lo llegue a usar sin saber como se denominaba, pero al ver el tutorial me ayudo mucho para estar preparado en los desarrollos futuros que realice.

                                  Diego_Inter
                                  Espectador

                                    Hola, aunque tenia la claridad sobre como utilizar la unión y combinación de columnas, fue como realizar una columna KEY con solo marcar las columnas en el paso del Merge.

                                  Viendo 15 respuestas - de la 1 a la 15 (de un total de 54)
                                  • Debes estar registrado para responder a este debate.