Aprendizajes de la sección “Get data from different sources” del módulo “Prepare the data”

  • dlom
    Participante

      ¿Qué aprendiste en la sección “Get data from different sources”?
      ¿Cómo te servirá esto que aprendiste en tus desarrollos de Power BI?
      ¿Cómo te servirá esto que aprendiste al presentar el examen de certificación?

    • ChristianOsorio
      Espectador
        Yo prácticamente inicie en el Power BI a ciegas, picando en algunos botones, viendo algunos ejemplos de youtube, etc.
        
        La Empresa en donde yo trabajo esta creando un departamento nuevo de BI que no existía y aquí es donde comienza todo, estoy desarrollo un proyecto ambicioso por el alcance de las necesidades de los directivos, y todas esta información me ha parecido tan clara que me despejado algunas lagunas y cosas que desconocía. Este primer módulo me ha terminado de convencer de que hice una muy buena inversión en tomarlo.

        Seguiré aplicando todas las enseñanzas en mi proyecto.

        Gracias y Saludos

        cmoralesv
        Espectador

          Gente les Paso mi resumen si les sirve genial, gracias por lo enseñado Diego.

          Get data from different data sources

          · identify and connect to a data source

          En caso de no encoentrar el coneector especifico a la BD que se conecta podemos usar concetores genércios:

          OLE DB : Es un conector genérico que permite conexión a diferentes lógicas con

          ODBC

          En command timeout in minutes: En caso no logre hacer concexion en X tiempo lo volvera a intentar.

          Para acceder a la base de datos se tiene que entrar en DATASE y colocar ekl usuario y contraseña.

          · change data source settings

          Vamos a File >> Options & Settings >> Data Source Settings

          Transform Data >> Data Source Settings

          Global Permissions: Son todas las fuentes a las que me conecte en Power BI

          Podemos editar permisos, cambiar usuario y contraseña e incluso podemos cambiar la fuente de donde se encuentra la BD, además de ello se puede ver el PRIVACY LEVEL

          · select a shared dataset or create a local dataset

          Dataset: Es el conjunto de datos, es el conjunto de nuestras diferentes tablas columnas y las relaciones que se tienen entre cada una de ellas.

          Shared Dataset: Conjunto de datos compartido, se encuentran en la nube

          Local Dataset: Conjuntos de datos locales, se encuentra en tu PC

          Entramos a GET DATA y elejimos la opcion DATASET

          La importancia del share dataset radica en que importamos datasets ya creados anteriormente con las modificacones previas de manera tal que no tengamos que hacer más modificaciones a las mismas y tengamos esa facilidad, tendremos los beneficios de ese dataset sin empezar desde 0 en el que se tiene que aplicar todos los pasos.

          Los Shared Dataset son conjuntos de datos ya cargados anteriormente que buscan unificar la información, cuando se importa la data de un shared dataset esta no puede modificada, no es posible agregar columnas o tablas pero si es posible agregar medidas. La importancia de los Shared Dataet es tener una sola fuente de datos verdaderos y reales.

          · select a storage mode

          Storage mode, solo puede activarse si estas trabajando con una BD.

          Es el tipo de almacenamiento:

          En la BD en Azure vamos al modelo:

          AL seleccionar una fuente de datos en propiedades >> avanzado >> IMPORT / DIRECT QUERY / DUAL

          IMPORT : Se conecta a la BD e importa los datos al Power BI, los datos se almacenan en el Power BI. Es posible usar en cualquier fuente de datos no solo BD SQLs sino tbm con excel u otras.

          DIRECT QUERY: Mantiene una conección con la BD para que cuando hagamos una modificacion en grafico/tabla/KPI se modifique conultando en tiempo real con la BD. Solo se puede usar este método con BD.

          DUAL: Es una forma de almacenamiento híbrido, donde Power BI va a decidir en que momento usar import y en que momento usar direct query.

          IMPORTANTE: Una vez hayas elegido el modo IMPORT no puedes migrar a DIRECT QUERY o DUAL asi que se deberá hacer una nueva conexión SQL para cambiar el Storage Mode, sin embargo de DIRECT QUERY a IMPORT y DUAL si es posible cambiar.

          En Data no es posible ver la informacion de una fuente de datos con storage mode direct query, sin embargo en el editor de conusltas si se pueden hacer algunas modificaciones.

          Es posible agragar columnas a una tabla con direct query y se utilizar ese dato. Ademas de ello es posible generar relaciones entre tablas DIRECT e IMPORT

          ¿Cómo saber si se trabaja con IMPORT O DIRECT QUERY?

          Si se trabja con base de datos muy grandes se debe trabajar con DIRECT QUERY, cuando los datos cambian con frecuencia y se requieren informes en tiempo real.

          DIRECT QUERY == LIVE CONNECTIOS

          Se realizaran un numero limitado de consultas con M a una BD Direct Query

          · choose an appropriate query type

          Tiene que ver con dicernir el tipo de conector que usaremos para conectarnos a una base de datos, siempre existe el concector más adecuado para hacerlo

          Conocer los conectores más conocidos para cargar datos.

          OLE DB : Es un conector genérico que permite conexión a diferentes lógicas con

          ODBC

          · identify query performance issues

          query performance = Desempeño de nuestras consultas.

          Cuando se tienen las consultas en Transform Data es normal que apliquen pasos para hacer una limpieza de las mismas, sin mebargo se debe tener en cuenta que mientras menos pasos se apliquen más eficiente será nuetra consulta.

          Si le damos click derecho a uno de nuestros pasos y seleccionamos la opcion de “View Native Query” podemos ver que se realiza una consulta para que se ejecute en el servidor de donde de obtiene la BD de esta manera se eficientiza la carga y transformacion de los datos.

          En caso de que agregemos una columna se puedee ver que ya no es posible hacer estas consultas y desde el primer momento en que no sea posible ya en adelante no se podrá.

          Es posible disminuir el numero de pasos en caso se realicen pasos iguales pero en diferentes columnas, este tendra que hacerse sobre el codigo de la primera.

          Reglas para mejorar las consultas:

          1. Query Folding : Los pasos se ejecuten del lado del servidor y no en el Power BI
          2. Entre menos pasos existan en las consultas es mejor

          · use Microsoft Dataverse

          Microsoft cambio el nomde de “Microsoft Common data service” por “Microsoft Dataverse”

          Es parte del uso de Power Apps

          Se crea una BD en Power Apps

          Vamos al Power BI y colocamos get data para usar el DATAVERSE, seleccionadomos la opcion y nos solicitará el “Enviroment Domain” o “Dominio del ambiente”

          En power APPS el PUNTO DE CONEXIÓN TDS debe estar activado y en power APPS en detalles de desción se copiara el URL desde el https.

          Asi cargamos un Dataverse

          · use parameters

          Los parámetros los definimos para que el usuario pueda agregar sus propios valor y estos sean usados dentro de la lógica de las consultas

          En transform data vamos a “MANAGE PARAMETERS” y creamos nuestro parámetro

          Es recomendable crear un nuevo grupo de consultas para los parámetros.

          Creamos un nuevo parámetro y luego se utiliza en un campo en donde se selecciona el filtro del campo y se ingresa el parámetro

          Finalmente se guarda el power BI como .pbit para compartir el reporte

          · use or create a PBIDS file

          PBIDS = Power BI Data Source

          Un archive PBIDS te permite seleccionar los archivos ; de la BD a la que te conectas, con los que desees conectarte. Una persona puede haber seleccionado 1 o dos archivos de la BD sin embargo si guarda el PBI con extención PBIDS le da la opertunidad a la persona que abra el archivo de poder selccionar los archivos de BD que desee conectarse.

          · use or create a data flow

          Un dataflow es algo muy parecido al QUERY EDITOR pero en la nube en Power BI Service

          Lo que hace poderoso al dataflow es que todas las cargas/ transformaciones que hagas van a estra disponibles para diferentes personas dentro de tu organización, entonces en vez de que todos se esten conectando y haciendo sus tranaformaciones tu como desarrollador puedes hacer las transformaciones en la nube y posteriormente que toda la organización se conecte al dataflow que tu has creado, con esto evitamos el retrabajo de las transformaciones.

          Vamos al power BI Service >> Elegimos un equipo de trabajo >> Damos click en NEW y seleccionamos un DATAFLOW >> Seleccionamos la opcion Define new tables

          Ahora tenemos que seleccionar la BD a la que nos vamos a conectar >> Ingresamos los datos del BD y le damos NEXT, nos saldran las tablas que contiene la BD, elegiremos la o las tablas a las que nos conectaremos y hacemos las transformaciones que deseemos.

          Al finalizar las transformaciones deseeadoas guardaremos y cerramos y aparecerá una ventana para guardar el DATAFLOW, le colocamos nombre y descripción.

          Nos dirigimos al Equipo donde creamos el DATAFLOW y lo actualizamos.

          Vamos a Power BI Desktop y le damos get data y seleccionamos la opcion de Power BI DataFlows y nos conectamos al DATAFLOW que deseemos.

          Asi podemos cargar una DB con los datos transformados para toda la organización.

          Rdap1983
          Espectador

            Más allá de la versatilidad qué plantea Power BI al conectar e integrar las múltiples Bases de Datos, en los diversos tipos de fuentes; me parece de gran utilidad el multiverso de opciones qué propone la herramienta para poder presentar los datos de una manera amigable y práctica.

            El temario de Ser Data Pro está genialmente presentado y desarrollado. Aún queda mucho por conocer, aprender y dominar del tema; así qué sigo ansioso de continuar con el Programa.

            beatriz
            Espectador

              Hola a todos,

              En la sección “Get data from different sources”, aprendí sobre la gran variedad de conexiones a las que podemos acceder a través de Power Bi. Entre ellas SQL Server y conectores genéricos como OLE DB Y ODBC.

              • La forma de organizar las tablas de dimensiones y de transacciones en el modelo.
              • El beneficio de trabajar con conjunto de datos compartidos.
              • Los dos tips que ayudan a un mejor desempeño de nuestras consultas: buscar aplicar el menor número de pasos e implementar el query folding(que los pasos se ejecuten del lado del servidor).
              • El beneficio de utilizar parámetros para que el usuario final tenga la capacidad de seleccionar los datos que quiere ver en el informe.

              Conocer esta información me servirá para ser más eficiente al momento de obtener los datos de las diferentes fuentes y optimizar procesos en futuros desarrollos con Power BI. De igual forma será muy útil para el examen de certificación.

              Gracias!!

              Jorge
              Espectador

                Hola a todos, quiero compartirse que aprendí en la sección de Get Data From Different Sources:

                Para empezar en las conexiones sinceramente no sabia que ODBC y OLE DB son conexiones standart que podemos usar para diferentes bases de datos, esto me ayudara muchísimo para demás desarrollos.

                Me sorprendió mucho que algunas conexiones al jalar las tablas del server viene ya con relaciones que puedes mantenerlas así como “native database queries”.

                No sabia el significado de una conexión por Import, Direct Query y Dual, super explicado Diego!!!

                Me estaba preguntando hace unos días que es Dataverse y oh sorpresa viene un video que habla de ello.

                Claro que todo esto me ayudara para la certificación

                Diego_Inter
                Espectador

                  Hola como están???
                  Del presente modulo lo que aprendí fue sobre la diferencia de Import y Direct Query al conectarme a una base de datos SQL y los beneficios de utilizar Parámetros.

                  DanCasSan
                  Espectador

                    En esta sección, he aprendido la importancia del uso de parámetros para agilizar la consulta que devolverá los datos en nuestro reporte. Así como, a usar los dataflows, PBIDS file y como conectarme a este tipo de fuente.

                    Básicamente, creo que lo aprendido en esta sección me hará tomar la mejor decisión para generar una conexión rápida a mi fuente de datos de la mejor manera, considerando el hecho de esta no sea un archivo como Excel o txt, usando el DirectQuery, los plegados de consulta y el query performance.

                    Considero que ciertos pasos que he visto en algunos de los videos me servirán para solidificar mis conocimientos y pueda rendir mi examen sin problemas, ya que, son temas muy básicos que debemos tener siempre presente, serán los pilares de nuestros informes y mientras mejor optimizado se encuentre, habrá una mejor respuesta del mismo.

                    ¡Mil gracias!

                    Luisc3194
                    Espectador

                      Aprendí que podemos crear flujos (Data Flows) que permitan a la organización o usuarios manejar la misma fuente de todos (one single source of true) conectándonos a un shared dataset.

                      amazona_007
                      Espectador

                        ¡Hola!

                        ¡WoW! En esta primera sección del curso fueron 2 los temas más reelevantes para mí:

                        1. Identificar problemas con el query performance, me dieron información refrescante sobre la optimización de los modelos.
                        2. Además desconocia que podía crear la conexión a los datos desde el Power BI Service y no sólo desde Power BI Desktop, seguro que esto me ayudará a hacer cambios más rápidos en mis modelos en línea.

                        ¡Mil Gracias!

                        Aguizote01
                        Espectador

                          Realmente interesante las opciones que nos brinda la herramienta para conectarnos a diferentes fuentes, he aprendido bastante y sobre todo del como mejorar el rendimiento por medio del query folding.
                          También desconocía de tantas funcionalidades que se pueden hacer por medio del power apps y los dataflows en power bi services, ya que solo manejo a nivel de power bi desktop.

                          GinoP
                          Espectador

                            De la sección “Get data from differente sources” aprendí muchísimo acerca de las posibles conexiones a través de distintas fuentes de datos, a cómo trabajar por medio de shared datasets, al beneficio de aplicar DirectQuery, a cómo potenciar la velocidad de trabajo de carga evitando los pasos en Power Query en demasía, y finalmente a cómo utilizar los parámetos.

                            RSantiago
                            Espectador

                              Hola a todos,

                              En esta sección pude aprender nuevos temas que no conocía, ademas de reforzar y conocer mas de algunos temas que había tratado de manera básica.

                              Los puntos que mas me gustaron fue el de conexiones a dataset compartidos, al dataverse y a los dataflow.

                              Esta primera sección me tiene muy motivado.
                              Agradecido por lo aprendido, y por lo que falta por aprender :grin:

                              Valentina_Ramirez
                              Espectador

                                Hola
                                Quisiera compartir las cosas que más me llamaron la atención del módulo

                                1. Conocer que existen conectores genéricos (OLE DB y ODBC)
                                2. El tema del Shared dataset, como mecanismo que nos permita a todos los miembros de un área trabajar con la misma fuente de información y aprovechar en tiempo lo que otros compañeros ya han avanzado
                                3. En cuanto al modo de almacenamiento cuando nos conectamos a una SQL, la verdad me había conectado antes tanto con importar como con Direct Query, pero no entendía la lógica; ahora conozco las ventajas y desventajas de cada método,.
                                nahuel
                                Espectador

                                  Buen día a todos.
                                  En la sección “Get data from different sources” me ayudó a conectarme con Direct Query a tablas muy pesadas que llevaban mucho tiempo de actualización sobre todo cuando agregaba columnas o pasos a las consultas.
                                  También me ayudó la configuración de las bases de datos y usuarios ya que una vez que me conectaba a una BD y esta sufría algún cambio no sabía como actualizar el cambio y creaba nuevas.Saludos

                                   

                                  David
                                  Espectador

                                    Aprendí cosas nuevas como ver básicamente el tipo de carga Direct Query que a la fecha no lo había usado.
                                    Así como temas nuevos como Common Data Service.
                                    Lo aprendido me servirá mucho en mis desarrollos que se puedan presentar.
                                    Y definitivamente el objetivo es presentarme al Examen de Certificación.

                                  Viendo 15 respuestas - de la 16 a la 30 (de un total de 87)
                                  • Debes estar registrado para responder a este debate.