BI-Beratung für ein CX-Unternehmen

Lösung

Wissenstransfer und erste Überprüfung

In Anbetracht der Tatsache, dass das Projekt zeitkritisch und geschäftskritisch war, beauftragten wir den Leiter der BI-Praxis von Itransition mit der Durchführung der Beratungsaktivitäten. Der Kunde bezog seine technischen Experten ein, darunter den CTO/DWH-Architekten und den Leiter des Power BI-Teams, die an den ersten Besprechungen teilnahmen und dann einige Stunden pro Tag für Diskussionen mit unserem Experten verwendeten.

Das waren die Ziele des Projekts:

• Eine unabhängige Überprüfung der bestehenden technischen Implementierung der BI-Lösung des Kunden durchführen
• Lösungen für die folgenden Probleme zu finden:
  • Anpassung des Power BI-Datenmodells innerhalb des aktuellen Premium P1-Lizenzumfangs, so dass der Kunde kein Upgrade auf teurere Power BI-Abonnementpläne vornehmen muss
  • schnelleres inkrementelles Laden von Daten in mehrere Tabellen mit einer Aktualisierungsfrequenz von 30-60 Minuten, um die SLA zu erfüllen

Als Teil des Wissenstransfers beschrieb das BI-Team des Kunden seinen ELT-Prozess und seine Datenquellen, demonstrierte einen seiner Datenwürfel, auf den das Datenvolumen von 5CA aufgeteilt war, stellte die Dokumentation der Würfel zur Verfügung, lieferte Beispiele für Power BI-Berichte und erläuterte das Nutzungsmuster. Die Gesamtgröße des Datensatzes betrug über 21 GB, wobei das vollständige Laden der Daten und die inkrementelle Aktualisierung etwa 5 bzw. 1,5 bis 2 Stunden dauerten. Die Anzahl der eindeutigen Benutzer der Power BI-Lösung des Kunden belief sich auf über 200 pro Monat, und es wurde erwartet, dass die Daten jährlich um etwa 25 % wachsen würden.

Während der ersten Analyse verschaffte sich Itransition einen Überblick über die allgemeine Struktur des Systems, seine Komponenten und Integrationen. Wir stellten auch eine Hypothese über die Ursache der Probleme auf. In Anbetracht der engen Zeitvorgaben von 5CA benötigten wir etwa einen Monat, um das System zu bewerten und Lösungen für die aufgetretenen Probleme zu finden.

Bewertung der Lösung

Um den aktuellen Zustand der Lösung zu untersuchen, gewährte uns der Kunde Zugang zu Azure Databricks und Power BI Service. Mit einer Reihe von Code-Analyse-Tools haben wir die folgenden Assets bewertet:

• Power BI-Datenmodell
• Tabellenstruktur auf der Azure Databricks-Goldschicht (endgültige Präsentations- und verbrauchsfertige Schicht)
• Databricks Service Delivery Platform (SDP), auf der die Datentransformation stattfindet, sowie Datentransformations-Notebooks, die die Datentransformation ermöglichen
• Projektdokumentation im Azure DevOps-Wiki des Kunden

Itransition verband sich mit dem Datensatz von 5CA, inspizierte den Dateneingabeprozess, führte die Analysetools aus und überprüfte manuell den Quellcode der Anwendung. Wir bewerteten die technische Qualität von Power BI, schätzten die Erweiterbarkeit der Lösung ein und prüften das Datenmodell, die Datenspeicherung und die vom Datenteam des Kunden bereitgestellten technischen Artefakte. Außerdem bewerteten wir die Qualität des Entwicklungsprozesses und die eingerichteten Bereitstellungsumgebungen.

In enger Zusammenarbeit mit den technischen Experten von 5CA legte Itransition innerhalb von nur einer Woche die ersten Bewertungsergebnisse vor. Die Lösung erwies sich in Bezug auf Wartbarkeit, Technologieauswahl, Sicherheit und Skalierbarkeit als gut, aber ihre Zuverlässigkeit und Leistung waren verbesserungswürdig. Die Probleme wurden hauptsächlich durch den großen Umfang des Datenmodells verursacht:

• Unzureichender Arbeitsspeicher für die inkrementelle Aktualisierung auf der aktuellen Power BI Premium P1-Kapazität von 5CA
• Schwache Datenaktualisierungsleistung in Power BI, die sofortige Änderungen am Datenmodell erfordert
• Die Leistung der Goldschicht von Databricks könnte mit einer Datenpartitionierung verbessert werden, die sich am Datenverbrauch orientiert, z. B. die Organisation von Daten nach Datum, Thema usw., anstatt der Datenaufnahme, um die Notwendigkeit zu beseitigen, eine große Menge unstrukturierter Daten zu verarbeiten

Wir empfahlen nachdrücklich, die schwierigsten technischen Probleme anzugehen, und gruppierten alle Fragen in die folgenden Kategorien:

• Kritische Probleme, deren Behebung wir vor dem Produktionsbetrieb des Systems empfahlen
• Nicht kritische Probleme, die nicht sofort behoben werden mussten, die wir aber dennoch bei der Implementierung neuer Funktionen oder der weiteren Überarbeitung des Systems berücksichtigen sollten
• Andere Probleme, die zu den technischen Schulden hinzugefügt werden könnten, bis genügend Entwicklungszeit für ihre Lösung zur Verfügung steht

Empfehlungen

Itransition erstellte eine umfassende Dokumentation mit einer Liste von Empfehlungen für die identifizierten Probleme, um dem Kunden zu helfen, die Größe des Power BI-Datenmodells zu verringern und die Datenaktualisierungszeit zu verbessern. Außerdem berieten wir 5CA bei der optimalen Zusammensetzung des Teams zur Umsetzung dieser Empfehlungen.

Lösung der kritischen Probleme

• Entfernen großer Spalten im Datensatz des Kunden, die nicht für die Berichterstattung verwendet wurden, um Datenbankplatz freizugeben. Wir markierten solche Spalten, teilten sie nach Tabellen auf und ordneten sie nach ihrer Größe.
• Die im Tabellenmodell verfügbare Hash- oder Value-Kodierung wurde von Fall zu Fall festgelegt, da unterschiedliche Komprimierungsalgorithmen verwendet werden, die sich auf die Größe und Leistung des Modells auswirken können. Wir haben Anweisungen für die Verwendung von Kodierungshinweisen und vorgeschlagene Spalten für Kodierungsänderungen bereitgestellt.
• Verbesserung der Einstellungen für die inkrementelle Aktualisierung:
  • Änderung des standardmäßigen inkrementellen Aktualisierungszeitraums für alle Entitäten von 30 Tagen auf 1 Tag für vorgeschlagene Entitäten, die nicht rückwirkend aktualisiert werden.
  • Rundung der Zahlen in der Spalte für die inkrementelle Aktualisierung, um die Anzahl der kardinalen (eindeutigen) Werte zu reduzieren, was die Leistung von Power BI verbessert, aber keinen Einfluss auf die Korrektheit der Werte hat.
• Die Spalten mit Zeit und Datum für verschiedene Zeitzonen zu eigenständigen Tabellen machen. Dies kann dazu beitragen, den benötigten Speicherplatz für den Datensatz zu reduzieren, während die bestehende Funktionalität erhalten bleibt.

Lösung unkritischer Probleme

• Deaktivierung von MDX, einer Abfragesprache, die über Power BI Service für die Suche in Spalten bei der Verbindung von Excel-Dateien mit Datenwürfeln verwendet wird, in definierten Spalten. Dadurch würde die Spaltengröße erheblich verringert, ohne dass dies für den Kunden zu Unannehmlichkeiten führt. Wir schlugen vor, die Liste der Spalten für MDX-Abfragen zu deaktivieren.
• Änderung der Partitionierung bei großen Tabellen mit Fakten in Übereinstimmung mit der Power BI-Partitionierung (basierend auf dem Datum zuerst), um die Aktualisierungszeit zu verbessern.
• Aufteilung großer Einzelwerte in Dauer-Spalten in mehrere Teile (Stunden, Minuten, Sekunden), da numerische Spalten mit hoher Kardinalität viel Platz beanspruchen. Wir haben auch eine Liste solcher Spalten erstellt.
• Verbesserung der Arbeit mit Tags:
  • Nur häufig verwendete Tags in der Tag-Tabelle behalten. Ersetzen einzelner Ticket-Tags durch die Suche nach Ticket-IDs oder Anwendung von Kategorien anstelle von exakten Werten auf sie. Dies würde die Größe der Tabelle erheblich verringern und die Leistung der Berichte und die Aktualisierungszeit verbessern.
  • Vermeiden Sie den Import der großen Tag-Tabelle, die nur für bestimmte Filter verwendet wird, in Power BI und greifen Sie stattdessen über Direct Query darauf zu. Dies würde Platz in der Datenbank freisetzen, ohne die Datenaktualisierung zu beeinträchtigen.
• Klärung und Implementierung von Sicherheitsanforderungen. Wir wendeten Sicherheit auf Zeilenebene auf den Datensatz an, um den Zugriff auf die Kundendaten zu beschränken, bevor die Berichte an die Endbenutzer verteilt werden.

Lösung anderer Probleme

• Entfernen großer Spalten mit Feedback-Nachrichten, die lange HTML-Zeichenfolgen enthielten, die in Power BI-Berichten unangemessen aussahen, oder Hinzufügen einer separaten Tabelle für jeden Kommentar und Verwendung von Direct Query für den Zugriff auf solche Tabellen. Wir haben eine Liste solcher Spalten zusammengestellt, die entfernt oder in Direct Query verschoben werden sollten.
• Anwendung von eindeutigen IDs auf einige Schlüsselspalten in Delta-Tabellen, anstatt sie automatisch zu generieren, um extrem große Werte aus kleinen Tabellen zu eliminieren und viel Platz im Power BI-Modell freizugeben.
• Aufteilung des großen Modells in mehrere kleinere Modelle, um seine Größe zu verringern und die Aktualisierungszeit zu verbessern, da einige Fakten weniger voneinander abhängig waren und einen anderen Aktualisierungszeitplan erfordern konnten. Wir identifizierten mehrere Kandidaten für ein separates Modell, wiesen aber darauf hin, dass dies zu einem zusätzlichen Wartungsaufwand führen könnte.

Schulung

Nach Abschluss des Audits führte Itransition mehrere Schulungen für das Power BI-Team des Kunden durch. Wir erklärten, wie man die Leistung und Kosteneffizienz von Power BI unter Berücksichtigung der Probleme, die der Kunde zuvor hatte, optimieren kann. Während der Schulung beschrieben wir auch die Tools von Drittanbietern, die wir zur Überprüfung von Systemfehlern verwendeten. Wir demonstrierten dem Power BI-Team von 5CA, wie man Datensatzmetriken abruft, bestimmte Systemparameter einstellt und ändert, Fehler behebt und in Zukunft vermeidet, und gaben schließlich einige nützliche Tipps.