The original requirement was to extract metadata from more than five hundred Power BI reports deployed in on-premises Power BI Report Server. It’s not an issue to download all these reports to the local folder via a custom tool (I will publish one soon) or using the Report Server REST API. But this API doesn’t expose metadata contained inside the Power BI report file (*.pbix). And opposite there is nothing directly inside the Power BI Desktop tool to export metadata in some human-readable or further processing suitable format. A little bit more (means not a full metadata-export solution) can be realized with the Power BI Cloud Service API but this isn’t an option for on-premises running Power BI Report Server.

Let’s concentrate on the *.pbix file itself and keep the API option to another post.

If I’m talking about Power BI “metadata” I mean everything that is hidden inside the report: data sources, tables, columns, measures, relations, visuals used, etc. “External” metadata like where the report is sitting on the Report Server, how often it is used, and who can access it that’s easy to collect directly from the Report Server. But users, especially data analysts, DWH developers, and metadata solution specialists are more interested to see what is referenced from the DWH inside the Power BI report, how the whole data lineage looks like, how measures are calculated and relations used.

There basically two ways how to get this metadata:

• via opening the *.pbix file in Power BI and connecting to the underlying SSAS service hosting an instance of the Power BI model
• extracting the *.pbix file content and processing various files (*.json) from it.

I don’t want to describe the SSAS option there because we have realized this will require a significant amount of time to automate it somehow for hundreds of reports. It may also need dedicated hardware to process report changes in time. But still, it’s a valid solution and you can view more on it there:

• Connect to Power BI Desktop Model from Excel and SSMS
• Document your Power BI model with DAX Studio

Power BI files (*.pbix, *.pbit)

The *.pbix file is the main file of the Power BI report. It contains all metadata and also all data imported inside the model using the Import option for source queries. *.pbit is the Power BI Template file. It has in general the same content regarding metadata but it doesn’t contain any data imported from data sources like the *.pbix file. Both files are in fact *.zip files with other files packed inside. So rename them with *.zip extension and review the content.

It looks like that both files have the same content. But if you will review it twice there is a significant difference in how the DataModel is stored. Inside the *.pbix file is the model stored using Xpress9 compression to make the file much smaller because it contains data too. Inside the *.pbit template file it is an extracted DataModelShema in JSON format instead of it.

The Xpress9 compression is my point of view the main issue of why it’s so complicated to get the metadata from the Power BI. I did several attempts to extract the file playing with a lot of stuff from C++ libraries thru Python scripts, 7z, ending inside UWP Windows. Compression namespace but without success. All these tools can work with the original Express only compression algorithm which is a part of the Windows encryption API for a long time. But I really didn’t found anything to extract the new Xpress9 algorithm.

What does it mean? Simple answer: Without the ability to decompress the Xpress9 DataModel file only two options are in-game on how to get the Power BI metadata from the file:

• via connection to running Power BI SSAS instance (as described above)
• or via the option to save Power BI Template in the Power BI Desktop application and processing the *.pbit file.

Saving Power BI files as a template looks to be a simple solution at first look. But let’s go back to the initial requirement: process metadata for more than five hundred Power BI reports deployed to Report Server or even tens of files stored somewhere locally. There is no option to call Power BI from the command line to do this conversion in the background or something like that. It really means that every single Power bI report must be opened in Power BI Desktop and manually resaved as a Power BI Template file.

There is one solution in this video. We can use Power Automate Desktop to capture the manual conversion from *.pbix to *.pbit and then replay it automatically for other *.pbix file in the folder. This solution may be suitable for the initial conversion of multiple *.pbix files to templates but it may be hard to implement it on regular basis to the customer’s infrastructure. It’s still a workaround solution only.

The *.pbit file content

What is inside the Power BI Report file is pretty well described in this blog post.

The DataMashup file, containing Query Editor metadata, may be extracted with 7z:

7z x DataMashup -o".\DataMashupDir\" -aoa

It’s reporting some warnings but looks like all files are extracted properly:

For working with the DataModelSchema JSON file inside the *.pbit file there is one great tool available: https://tabulareditor.com. You can use it to open the *.pbit file directly and review its metadata:

It’s doing a great job in parsing the DataModelSchema JSON and it is open source, so you can get inspired in the source a lot on what is inside the JSON.

For the live connection to the running Power BI model, DAX Studio is the ultimate solution.

Conclusion

Without the Xpress9 issue, it will be easy to have some simple solution to download *.pbix files from dbo.Catalog table in Report Server, convert it to ZIP, extract DataModel JSON schema, parse it, and upload it to metadata catalog. Conversion to *.pbit makes it cumbersome and workarounds are complicated.

Further reading:

• R library to get Power BI metadata (using the SSAS connection solution but with interesting info about DataModel file)

The original solution was modified this way:

• upgraded to VS 2019
• changed Data Source to AdventureWorks2017 and added a new one for AdventureWorksDW2017
• renamed reports to remove “2008” from the name
• updated default values for parameters (dates) to match AdventureWorks2017 sample data
• created new report Customer Internet Sales to have also one sample report for AdventureWorksDW2017 database

Download: AdventureWorks2017_SSRS_Samples.zip

Solution:

The report in the VS designer:
:

Samples uploaded to Reports browser:

Sample report detail:

There was a major change in delivering BI projects to Visual Studio 2019 and later. These projects are delivered as standalone Visual Studio extension and the SSDT installation from Visual Studio installer contains only SQL Server project type and some related tools.

It is still correct to install Visual Studion2019 with SSTD selected like in this picture:

But after that is done you should also complete installation of BI stack project types:

Download Reporting Services project type

Download Analysis Services project type

Download Integration Services project type

After installation will finish you can start Visual Studio 2019 and see that all your missing project types are there like in VS 2017:

Another important thing to remember is that with this different kind of installation is coming different update process: No more searching for SSDT updates on the web. You will receive notifications about updates for MS BI projects directly in Visual Studio:

This can cause a few issues when using source control like Azure DevOps across the team. If one the team members has enabled automatic updates installation in Visual Studio it can easily happen, that he will upgrade extensions which means that BI projects version will also be upgraded. After he will commit and other team members without updates to be installed will get the latest their project will be marked as Invalid (unsupported) and they must do an update to fix that issue. In a really large team it’s better to switch automatic updates off and manage this process centrally.

Starting 2019 is should be much easier to answer the question because Microsoft has announced regular release scheduling for Power BI Report Server: Starting in 2019, we will be shipping a new release of Power BI Report Server in January, May and September each year.

This should help us properly to plan for that, inform our users in advance and schedule updates for Power BI Desktop for Report Server to be updated on time.

In the latest major update released in December 2019, it brings a huge list of new features like pages, visuals and bookmarks metadata available, visual comparer, visualization tree, the reverse dependency tree, DMV execution page, and dependant calculations for tables and columns with many more features.

The most liked feature I’m using is the option to perform an in-depth review of how data are spread in Power BI *.pbix file before I will distribute them to the end-user. Usually, there is a lot of ballast from the development process consuming the memory and affecting performance. Using Power bI Helper I can easily identify such cases and remove obsolete data from the file and compact it for delivery and performance. The file compaction ratio can be significant. Check out more on radacad.com blog.

Pomocí zde popsaného postupu je možné zakázat zobrazování Sign-up formuláře při spuštění Power BI Desktop na úrovni registru, tedy rámci podnikového prostředí hromadně pomocí distribuce příslušné Policy.

Při instalaci Power BI Desktop na WINDOWS 10 uvedený klíč v registru zcela chybí, proto je přikládám zde:

[HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Power BI Desktop] “ShowLeadGenDialog”=dword:00000000

Stačí jej vložit do souboru s příponou *.reg a spustit.

Po aplikaci se Power BI Desktop spustí rovnou takto:

PowerBI služby a nástroje můžeme rozdělit do tří velkých skupin:

• www.powerbi.com – cloudová služba, umožňující jak datovou analýzu, tak publikování reportů z desktopových a mobilních aplikací, sdílení dat a spoustu dalších funkcionality, které se typicky ke cloudovým službám vážou.
• Power BI Desktop – plnohodnotná desktopová aplikace pro snadné vytváření a publikování graficky pokročilých reportů. Obsahuje následující moduly:
  • Power Query
    • Pokročilý nástroj k extrakci dat z velkého množství podporovaných datových zdrojů a jejich transformaci pomocí jazyka M
  • Power Pivot
    • In-memory nástroj pro datové modelování, práci s relacemi, agregacemi a výrazy.
  • Power View
    • Interaktivní nástroj pro vizualizaci dat se širokou podporou různých vizuálních prvků a jejich vzájemnou interakci.
• Power BI doplňky pro Excel
  • Excel je stále primárním nástrojem pro datovou analýzu a doplňky, které je možné v něm aktivovat nebo jsou jeho nativní součástí od verze 2016, jej vybavují velmi podobnou funkcionalitou, jakou nabízí Power BI Dektop, a přinášejí i některé pokročilé funkce, které pro změnu v Power BI Desktop dostupné nejsou.
  • Power Pivot
    • Umožňuje přímo v Excelu vytvářet komplexní datové modely s relacemi, hierarchiemi, pokročilými agregacemi a výrazy.
    • Data v modelu jsou zpracovávána přímo v paměti (xVelocity, Vertipaq engine) a můžeme dotazovat řádově větší objemy dat mnohem efektivněji, než jsou-li data uložena v listech
  • Power Query
    • Samostatný plugin pro vytváření pokročilých dotazů z nejrůznějších datových zdrojů – orientován na ETL proces.
    • Od verze Excel 2016 již není nutné instalovat plugin samostatně a Power Query je přímo součástí záložky Data.
    • Podporuje široké množství datových zdrojů od SQL Serveru, Analytických služeb, Sharepoint, XML až po Facebook nebo Google Analytics.
  • Power View
    • Nástroj pro vytváření graficky působivých a především interaktivních reportů nad různými datovými zdroji.
  • Power Map
    • Nástroj pro rychlé a jednoduché zobrazování dat v mapách a mapových grafech podle geografických údajů z datového zdroje.
    • V Office 2016 přejmenováno na 3D Maps (ale stále dostupné jako COM doplněk PowerMap)
• Power BI Report Server
  • Speciální edice Microsoft Reporting Services, která umožňuje zobrazovat soubory vytvořené pomocí Power BI Desktop v on-premise prostředí stejně jako klasických reporty SSRS (paginated reports).
  • Pro tvorbu reportů vyžaduje speciální edici Power BI Desktop for Report Server.
• Power BI Mobile Apps
  • Mobilní aplikace pro zobrazování Power BI sestav na platformách Android, Apple či Windows Mobile

V praxi se můžeme setkat ještě s produktem pod označením “Power BI for Office 365”, jehož podpora ale byla od 31.12.2015 omezena a od 31.3.2016 byl definitivně označen za zastaralý. Aktivním předplatitelům byla nabídnuta možnost přejít na Power BI Pro službu a podrobnosti najdeme v článku Migrating to the new Power BI experience.

Cena

Pokud se bavíme o ceně za Power BI, máme na mysli především její cloudovou verzi a řešení pro on-premise(Power BI Report Server) . Power BI Desktop je zdarma, své lokální reporty tedy můžete vytvářet bez omezení.

Cloudová služba Power BI existuje ve Free a placené Pro nebo Premium verzi.  Ve free verzi si vyzkoušíte vše podstatné, především prohlížení datových sestav na webu. Hlavními důvody, které by nás mohly vést k pořízení placené verze, jsou především pokročilé moduly pro import dat z interních datových zdrojů (On Premise prostředí – Personal Data Gateway), emailové subscribce nebo sdílení sestav s ostatními uživateli.

Power BI Premium je určeno především pro podnikové prostřední a integraci s on-premise řešeními.

Detalní srovnání Free, Pro a Premium najdete zde.

Aktuální cena Pro verze je $9.99 za uživatele a měsíc, což lze považovat za relativně rozumné nastavení i pro českého uživatele.

Pokud si budete chtít Power BI vyzkoušet, je třeba pamatovat na jednu podstatnou skutečnost: pro registraci není možné využít emailové adresy z volně dostupných poštovních služeb (*.hotmail, *.gmail, atd. a bohužel ani řadu českých freemailových služeb), ale je nutné použít pracovní emailovou adresu.

Steps to change remote errors setting on Report Server using SQL Server management studio are as follows:

1. Connect to Report Server from SSMS

In SSMS click on the Connect button and select Reporting Services:

A dialog with connection properties will appear as like if we are connecting to relational instance, but this time, fill in the name of the computer where our Report Server is installed.

2. Change Report Server configuration

Once you are connected to Report Server, go to the server node in Object Explorer and by right clicking open the menu and click on Properties:

On the Server Properties screen search for a setting called “EnableRemoteErrors” and change the value from “False” (default) to “True” and press OK:

This change is propagated to the Report Server immediately and if you go back to your report with error message and try again, a detailed error message is displayed instead of the generic one.

V tomto článku si ukážeme, jak se jednoduše připojit z Excelu k datovým kostkám Analysis services. Pokud nemáte k dispozici žádnou kostku, můžete si nainstalovat testovací kostku AdwentureWorks2014 pomocí návodu v článku Instalace multidimensionální databáze AdwentureWorks 2014. V ukázce budeme používat Excel 2013 Professional.

1. Otevřeme si nový prázdný list a přejdeme to nabídky Data -> Z jiných zdrojů a zvolíme možnost Ze služby Analysis Services.

2. Zadáme název instance Analysis Services, v našem případě jde o instanci pojmenovanou a zadáváme ji ve formátu NAZEV_POCITACE\INSTANCE. Pokud je instance nepojmenovaná, pak zadáme pouze název počítače.

3. Pokud se jsme zadali správně jméno instance a oprávnění, vidíme dialog, ve kterém můžeme vybírat analytickou databázi a připojit se k některé z kostek nebo perspektiv v ní obsažených. Jedna databáze Analysis Services může obsahovat více kostek a kostky mohou obsahovat perspektivy, které si můžeme představit jako zobrazení pouze některých objektů kostky pro snadnější orientaci. Za se jedná o kostku nebo perspektivu poznáme podle označení ve sloupci Typ. Vybereme kostku Adwenture Works a tlačítkem Další pokračujeme dále.

4. Po výběru kostky vidíme dialog, ve kterém si právě vytvořené připojení můžeme uložit pro pozdější použití, případně ještě modifikovat některé pokročilé vlastnosti týkající se ověření. Zadáme název souboru a tlačítkem dokončit uložíme nastavení.

5. Ve výchozím nastavení zobrazuje Excel data z multidimensionálních kostech jako Pivot tabulku, která poskytuje komfortní možnosti práce s dimenzemi a fakty. Ponecháme tedy předvybranou možnost Sestava kontingenční tabulky.  Pokud potřebujeme, můžeme změnit buňku v listu, ve které má kontingenční tabulka být umístěna, případně ji můžeme nechat umístit do nového listu.

6. Nyní vidíme, že v listu byla vytvořena nová kontingenční tabulka a pravé části se nám zobrazuje seznam dostupných dimenzí a faktů, se kterými můžeme začít ihned pracovat tím, že je budeme myší přesouvat do příslušných polí. V menu je vidět, že se nacházíme v sekci Analýza, kde můžeme najít nejčastěji používané funkce pro analýzu dat jako je například vytvoření kontingenční grafu nebo pokročilá úprava MDX dotazu, kterým Excel načítá data z kostky.

A zde je příklad praktického použití kontingenční tabulky, kdy nás zajímal počet běžných a internetových objednávek pro láhve na kolo:

Výchozí předpoklady

Minimálním požadavkem je mít nainstalovaný SQL Server 2014 ve Standard nebo Enterprise edici. Je možné si stáhnout zkušební verzi, zpravidla na 180 dnů, nebo uvažovat o zakoupení Developer edice, která obsahuje všechny funkce Enterprise edice, ale je určna pouze pro vývoj a testování, nikoliv pro produkční nasazení.  Cena Developer edice se pohybuje kolem 1.500.- Kč a j e možné ji koupit i v českém Microsoft store. Verze Standard nebude stačit pro práci s Tabulárním enginem a express verze vůbec neobsahuje analytické komponenty.

1. Stažení databází a multidimensionálního projektu

Ze stránek msftdbprodsamples.codeplex.com stáhneme následující soubory:

• Adventure Works DW 2014 Full Database Backup.zip
  • Plná záloha relační databáze AdwentureWorksDW2014, která obsahuje dimenze a fakta, a je použita jako datový zdroj pro multidimensionální kostky.
• AW Multidimensional Models SQL Server 2014.zip
  • Projekt pro SSDT 2014, obsahující definici dimenzí a kostek.

Soubory rozbalíme do adresářů na disku.

2. Obnovení relační datáze AdventureWorksDW 2014 ze zálohy

Obnovení databáze lze udělat pomocí grafického rozhraní v Management Studiu, případně pomocí následujícího skriptu, ve kterém je třeba upravit cesty podle kokrétní instalace SQL Serveru:

USE [master]
GO

RESTORE DATABASE [AdventureWorksDW2014] 
	FROM  DISK = N'E:\SQLDOT\AdventureWorksDW2014.bak' WITH FILE = 1,  
	MOVE N'AdventureWorksDW2014_Data' TO 
		N'C:\Program Files\Microsoft SQL Server\MSSQL12.SQLDOT_2014\MSSQL\DATA\AdventureWorksDW2014_Data.mdf',
	MOVE N'AdventureWorksDW2014_Log' TO 
		N'C:\Program Files\Microsoft SQL Server\MSSQL12.SQLDOT_2014\MSSQL\DATA\AdventureWorksDW2014_Log.ldf',
NOUNLOAD,  STATS = 5
GO

Výsledek by měl vypadat takto:

3. Nastavení potřebných oprávnění pro účet služby Analysis Services

Abychom v následujícím kroku mohli provést nasazení projektu a přepočet kostek, musí mít účet, pod kterým běží analytické služby, přístup k relační databázi AdwentureWorksDW2014, obnovené v předchozím kroku.Pro nastavení impersonace lze sice využít i jiné možnosti (účet uživatele či specifický účet), ale využití účtu analytických služeb může považovat za doporučený postup z pohledu bezpečnosti.

Pod jakým systémovým účtem běží analytické služby lze jednoduše zjistit pomoci nástroje SQL Server 2014 Configuration Manager, který lze spustit pomocí odpovídající ikony ve složce SQL Serveru 2014 v nainstalovaných programech nebo z příkazového řádku (Windows + R) zadáním příkazu SQLServerManager12.msc:

V seznamu služeb SQL Serveru vyhledáme odpovídající instanci SQL Server Analysis Services. V případě, že máme na počítači nainstalováno více různě pojmenovaných instancí, poznáme správnou instanci podle textu v závorkách, v našem případě SQLDOT_2014. Služba běží pod systémovým účtem NT Service\MSOLAP$SQLDOT_2014. To je účet, který hledáme a kterému musíme přidat příslušná oprávnění pro přístup ke zdrojové databázi AdwentureWorksDW2014.

Přidání oprávnění můžeme provést pomocí Management Studia:

Vyplníme název loginu:

Pro login vytvoříme v databázi AdwentureWorkDW2014 uživatele, kterému přiřadíme roli db_owner:

Po uložení bychom měli vidět v Management studiu, že v databázi AdwentureWorksDW2014 by vytvořen nový uživatel NT Service\MSOLAP$SQLDOT_2014, který je mapován na login stejného jména:

Nyní je dokončená konfigurace na straně relační databáze a můžeme pokračovat v analytickému projektu a jeho nasazení.

4. Nasazení analytického projektu

Na disku vyhledáme rozbalený soubor AW Multidimensional Models SQL Server 2014.zip, který jsme stáhli v bodě 1 s spustíme soubor AWDW2014Multidimensional-EE.sln, který mám otevře analytický projekt v SQL Server Data Tools. Pokud je naše testovací instance verze Enterprise nebo Developer, otevřeme soubor z adresáře Enterprise, v případě Standard edice ze stejnojmenného adresáře.

Projekt:

V otevřeném projektu budeme muset provést změnu dvou nastavení z výchozích hodnot: připojovací řetězec k relační databázi AdwentureWorks2014 a zadání cílové instance analytických služeb, na kterou má být projekt nasazen.

Pro změnu připojovacího řetězce k relační databázi v Solution Exploreru dvakrát poklepeme na datový zdroj AdwentureWorkdDW2014.ds:

Objeví se nám možnosti nastavení datového zdroje:

Klikneme na tlačítko edit a zobrazí se dialog, kde můžeme vyplnit konkrétního název instance SQL Serveru, jméno databáze i případné nastavení zabezpečení:

1. Do pole Server name zadáme jméno instance, které je stejné jako výše, kdy jsme prováděli obnovu relační databáze AdwentureWorksDW2014.
2. Zkontrolujeme, že jméno zdrojové databáze je uvedeno správně.
3. Tlačítkem Test Connection ověříme, že lze s nastavenými parametry provést úspěšné připojení.

V nastavení zabezpečení není třeba nic měnit, pokud jsme na našem testovacím počítačí lokální administrátoři. V opačném případě je třeba zadat jiný uživatelský účet nebo SQL Login a heslo.

Po změně nastavení datového zdroje nastavíme na úrovni projektu náš cílový analytický server, na který budeme v závěru provádět nasazení projektu:

Na vyznačenou položku klikneme pravým tlačítkem a vybereme možnost Properties úplně dole.

Ve zobrazeném dialogu přejdeme na záložku Deployment a v sekci Target nastavíme do řádku Server jméno instance analytických služeb, které je shodné s názvem relační instance. Jméno databáze ponecháme přednastavené, případně můžeme změnit, ale je toho třeba dbát v navazujících krocích.

Po uložení dialogu klikneme pravým tlačítkem na složku solution a zvolíme možnost Deploy:

Pokud jsme vše správně nastavili, dojde nyní k nasazení projektu na analytický server s jeho zprocesování, tedy nahrání relačních dat ze zdrojové databáze do dimenzí a analytických kostek. Celý proces může trvat několik minut a pokud vše proběhlo správně, měli bychom vidět následující dialog:

Tím jsme úspěšně dokončili nasazení modelového multidimensionálního projektu a v dalším kroku si ukážeme, jak ověřit funkčnost připojením přes Management Studio a z Excelu.