Modernisierung des BI-Systems für die Auftragsverwaltung

Lösung

Das modernisierte System analysierte Anomalien und Ausreißer und lieferte Prognosen zu Lieferspitzen und -einbrüchen, benötigter Lagerfläche, Anzahl der Mitarbeiter und anderen wichtigen Tendenzen.

ETL-Prozess-Einrichtung

Um die Lösung zu aktualisieren, analysierten wir das bestehende BI-System und seine Nutzungsmuster und untersuchten die Dokumentation, die Datenbank und die Kundenberichte des Kunden. Unser Team entwickelte den ETL-Prozess des Kunden, baute ein Data Warehouse auf und stellte das System von SEKO von Avora auf Power BI um. Um Hunderte von SEKO-Kunden mit Dutzenden von Analysten zu bedienen, die Daten konsumieren und analysieren, implementierten wir Power BI Premium mit einer Kapazität für 1000+ Benutzer und richteten RLS ein, um Zugriffsebenen für verschiedene Benutzer zu erstellen. Neben der Erstellung von Dutzenden von intuitiven analytischen Dashboards haben wir SEKO auch zu zukunftssicheren BI-Funktionen und modernen BI-Trends beraten. Außerdem erstellten wir eine Projektdokumentation, um Informationen zu zentralisieren und die Einarbeitung zu erleichtern.

SEKO verfügte über ein OLTP-System (Online Transaction Processing), das Daten in konstanten Schritten exportierte. Alle Auftragsdaten wurden im OLTP-System gespeichert, während alle Datenanalysen und Berichte im OLAP-System (Online Analytical Processing) in Avora durchgeführt wurden. Wir entschieden uns für den Aufbau eines separaten DWH (Data Warehouse) und entwickelten einen ETL-Prozess für das OLAP-System, um eine Überlastung zu vermeiden. Der ETL-Prozess kopiert inkrementell Daten aus dem OLTP-System von SEKO in das OLAP-System. Wir haben den ETL-Prozess mit Azure Data Factory und einem einzigen Power BI-Datensatz erstellt, der als Datenquelle für alle Power BI-Berichte dient.

Wie vom Kunden gewünscht, erhielten wir stündlich Aktualisierungen für das letzte Inkrement und versuchten, Datenaktualisierungen für 1000+ Benutzer mit der Möglichkeit, unbegrenzt viele Benutzer hinzuzufügen, nahezu in Echtzeit zu erreichen. Dank der neuen Lösung beträgt die Verzögerung bei der Datenlieferung vom OLTP- zum OLAP-System nicht mehr als eine Stunde. Normalerweise bedeutet eine solche Aktualisierungsgeschwindigkeit dreifach höhere Infrastrukturkosten, aber unsere Entwickler haben die Größe des Datensatzes optimiert und von mehr als 25 auf 9 GB reduziert, um die Kosten im Rahmen des Power BI Premium P1-Plans zu halten und gleichzeitig zahlreiche erweiterte Funktionen zu ermöglichen.

Nach der Analyse des Geschäftsmodells von SEKO schlugen wir vor, einen dreimonatigen Zeitraum für inkrementelle Aktualisierungen zu verwenden, da alle Auftragslebenszyklen die gleiche Zeit in Anspruch nehmen und die mit einem bestimmten Auftrag verbundenen Daten unverändert bleiben.

Migration der Berichte

Vor der Migration von 150 Berichten von Avora nach Power BI analysierte Itransition diese und konzentrierte sich dabei auf visuelle Elemente wie Tabellen, Diagramme, KPIs und Karten, um das richtige Datenmodell für komplexe Analysen auszuwählen. Wir erstellten eine katalogisierte Liste von Berichten, gruppierten sie nach Ähnlichkeit und sammelten Anforderungen für zukünftige Berichte. Auf Wunsch des Kunden haben wir auch doppelte Berichte ausfindig gemacht und eliminiert. Anstatt mit mehreren Berichten zu arbeiten, wenden die Benutzer nun Filter an, um die benötigten Daten zu erhalten.

Dann erstellten wir ein optimales DWH-Modell, das Daten an Power BI liefert. Wir verschoben und transformierten Daten, erstellten ein Data Warehouse und verwendeten SQL-Skripte zur Vorbereitung von Data Marts, die von Power BI zur Datenaktualisierung genutzt werden. Um die Auswirkungen von Datenfehlern auf das Geschäft zu minimieren, führte unser BI-Team Qualitätsprüfungen ein, die die Korrektheit der in den Datensatz eingehenden Daten verfolgen. Tritt eine Diskrepanz auf, korrigiert das Team diese und behebt den Vorfall. Darüber hinaus haben wir Push-Benachrichtigungen und automatische Berichte darüber eingerichtet, ob die Datenprüfung bestanden wurde, die an die zuständigen Stellen weitergeleitet werden. Dieses Verfahren ermöglicht es uns, Probleme zu erkennen, bevor sie sich auf die Lösung auswirken.

Da der Kunde die Migration beschleunigen wollte, haben wir vorübergehend zwei zusätzliche Power BI-Entwickler an Bord geholt, um die knappe Frist einzuhalten.

Microsoft-Ökosystem

Die Vereinheitlichung der Tools im Rahmen des Microsoft-Ökosystems führte zu einer Reduzierung der genutzten Dienste, nahtlosen Integrationen mit anderen Systemteilen und automatisierten System-Updates. Wir haben auch die Benutzerverwaltung mit Azure AD vereinheitlicht, so dass kein separates Avora-Benutzerkonto mehr erstellt und verwaltet werden muss.

Sicherheit auf Reihenebene

In Avora hatte der Kunde Datenzugriffsrechte für verschiedene Benutzergruppen, und mit dem Wechsel zu Power BI richtete unser Team Row-Level Security (RLS) ein, um die Datensichtbarkeit für verschiedene Benutzer einzuschränken. Der Zugriff auf verschiedene Berichte basiert auf der Region, der Abteilung, den Zuständigkeiten usw. und wird von Administratoren erteilt.

Power BI-Anwendungen

Vor dem Umzug waren die Hunderte von Berichten von SEKO schwer zu navigieren. Um die Berichte zu gruppieren, sie an einem Ort zu zentralisieren, eine leicht zu navigierende Hierarchie aufzubauen und den Zugriff auf Berichte und Arbeitsbereiche zu begrenzen, haben wir die Berichte in sechs Power BI-Apps verpackt und kategorisiert, die Berichte mit Arbeitsbereichen für eine bessere Benutzererfahrung kombinieren. Die Apps vereinfachen das Berechtigungsmanagement für Administratoren, da sie Zugriffsregeln festlegen können, die sich von denen des Arbeitsbereichs unterscheiden. Wir verwenden PowerShell-Skripte, um Berichte an Arbeitsbereiche zu liefern.

Bereitstellungspipelines

Um die ständige Verfügbarkeit und den zuverlässigen Betrieb der neuen Power BI-Lösung zu gewährleisten, effektiv zusammenzuarbeiten und den Lebenszyklus der Inhalte zu verwalten, verwendete unser Team ein Tool für Bereitstellungspipelines. Es ermöglichte uns, Berichte und Datensätze im Power BI-Dienst zu entwickeln und zu testen, bevor diese Inhalte von den Benutzern abgerufen werden. Die Pipelines sind in Entwicklungs-, Test- und Produktions-Workspaces unterteilt. Die Entwickler entwerfen und überprüfen die Inhalte im Entwicklungsarbeitsbereich und stellen sie dann in der Vorproduktionsumgebung zum Testen und zur Vorschau bereit, wo wir sie überprüfen und für die Verteilung an den Produktionsarbeitsbereich vorbereiten. Die Inhalte in der Produktionsumgebung stehen den Endbenutzern zur Verfügung.

Dynamische Dashboards

Nach dem Umzug der Lösung starteten wir ein Teilprojekt, um die alten Tabellenberichte zu modernisieren und sie in intuitive Dashboards mit intuitiven Diagrammen und Karten umzuwandeln.

Um intuitive Dashboards zu entwerfen und zu entwickeln, entschieden wir uns gemeinsam mit dem Kunden für fallweise Verbesserungen von Visualisierungen und Berichten, die tiefere Einblicke und informativere Entscheidungen ermöglichen, ohne das Design drastisch zu verändern, um die Benutzer zufriedenzustellen. Die verbesserten Dashboards enthalten Diagramme, Diagrammtafeln, Grafiken und Karten, um die Dynamik von Leistung, Lieferströmen und Speditionsstatistiken darzustellen.

Sonstige Verbesserungen

Unser Team hat auf der Grundlage der Rücksprache mit dem Kunden auch die folgenden Verbesserungen der Lösung umgesetzt:

Die Daten der Webanwendungen des Kunden wurden in Power BI integriert
Der Kunde hatte Web-Apps zur Automatisierung des Dokumentenflusses und manueller Vorgänge. Wir haben die Web-Apps in unsere Power BI-Lösung eingebunden, um zusätzliche Berichte für sie zu erstellen. Für die erste Webanwendung führten wir die Daten aus all diesen Quellen zusammen und betteten sie in ein gemeinsames Datenmodell ein, um eine systemübergreifende Datenanalyse durchzuführen. Dadurch konnte SEKO den Web-App-Entwicklern Zeit und Aufwand für das manuelle Laden von CSV-Berichten ersparen. Der Einsatz der Power BI-Lösung ist effektiver, flexibler und schneller und gewährleistet eine bessere Datenqualität, einfache Skalierbarkeit und bequemen Support. Für die zweite Webanwendung fügten wir Datenverarbeitungs-, Berichts-, Visualisierungs- und Analysefunktionen hinzu und skalierten die Webanwendung, um automatisierte BI-Berichte zu unterstützen.

Automatisierung paginierter Berichte
Das Team nutzte Power Automate, um geplante paginierte Berichte an den FTP-Server des Kunden und per E-Mail zu liefern. Um eine schnelle Weitergabe und einen schnellen Druck zu gewährleisten, entwickelten wir einseitige Berichte, die alle erforderlichen Daten in einer Tabelle anzeigen, auch wenn die Originalberichte mehrere Seiten umfassen.

Vollständige wöchentliche Datenaktualisierung
Die Daten in der entwickelten Lösung werden stündlich aktualisiert, aber die schrittweise Aktualisierung betrifft nur die Daten der letzten drei Monate. Aufgrund der geschäftlichen Besonderheiten von SEKO gab es Fälle, in denen alte Daten geändert wurden, die Änderungen aber von der regelmäßigen Aktualisierung ausgeschlossen waren. Um dieses Problem zu lösen, haben wir eine automatische vollständige Datenaktualisierung einmal pro Woche (jeden Sonntag) eingeführt, die alle Daten aktualisiert und das Risiko von Fehlern und ungültigen Daten im System minimiert.

Benutzungsstatistikberichte
Unser Team richtete die Erstellung von konsolidierten Berichten zur Benutzermetrik in Power BI ein, die detaillierte Berichtsansichten und Download-Statistiken enthalten. Jetzt kann der Kunde die Beliebtheit der Berichte anhand von Kennzahlen wie der Anzahl der geöffneten und heruntergeladenen Berichte verfolgen. Außerdem können sie die Berichtsleistung anhand von Metriken wie Öffnungs- und Ladegeschwindigkeit, Fehler usw. messen. Die Benutzer können die Berichtsleistung und die Datennutzung während der Hochlastzeiten verfolgen, z. B. während der Saison- und Feiertagsverkaufszeiten. Leistungsschwache Berichte, die über einen längeren Zeitraum ungenutzt bleiben, können von der Lösung ausgeschlossen werden.

ABCD-Kundenklassifizierung
Mit der Einführung der ABCD-Kundenklassifizierung haben die BI-Entwickler von Itransition auch den ersten Schritt in Richtung Predictive Analytics und intelligente Entscheidungsfindung getan. Sie kategorisiert alle Aufträge und Sendungen und hilft dabei festzustellen, welchen Anteil jede Produktgruppe am Verkehrsaufkommen hat. Unsere BI-Ingenieure haben die Daten gesammelt und in einer dynamischen Tabelle zusammengeführt, um ein vollständiges, konsolidiertes Bild zu erhalten. Auf diese Weise kann SEKO die Top-Kunden verfolgen, die den Großteil der Sendungen ausmachen, sowie die Anzahl der Sendungen nach Jahr, Monat, Kunde, ABCD usw. Sie können auch die Nachfrage nach verschiedenen Produkten vorhersagen und so sicherstellen, dass keine Waren unverkauft bleiben.

Schulungen
Das Team führte sechs Online-Schulungen zu den Themen Datenmodelle, Berichte, Sicherheit, Versionsquellenkontrolle und Power BI FAQs durch. Unsere Entwickler zeichneten kurze Schulungsvideos mit Anleitungen und Abkürzungen für die Ausführung verschiedener Arbeitsaufgaben auf. Wir verwendeten Confluence, um Schritt-für-Schritt-Anleitungen, Handbücher und andere wichtige Projektdokumente zu speichern.

Technologien und Werkzeuge

Itransition stellte die Lösung unter Verwendung der Microsoft Azure-Dienste in der folgenden Tabelle bereit:

Dienstleistung	Feature	Projektfall	Ergebnis
Azure Data Factory	Vollständig verwalteter serverloser ETL-Dienst Flexibel und skalierbar Einfache Anpassung an die Leistungsanforderungen des Kunden	Ermöglichte es uns, auf die Nutzung tatsächlicher Server zu verzichten und einen nutzungsabhängigen Plan zu abonnieren	Serverlose ETL-Lösung mit automatischer Skalierung und zahlreichen Funktionen
Azure SQL Server	Vollständig verwaltete Datenbank Automatische Updates, Bereitstellung und Backups Flexibel und reaktionsschnell Speicher, der sich schnell an neue Anforderungen anpassen lässt Intelligente Erkennung von Bedrohungen Eingebaute KI	Gemeinsames Data Warehouse für alle BI-Systeme, das auch von anderen Teams genutzt wird Keine Belastung für das Haupt-OLTP-System Vollständige Entkopplung der OLTP- und OLAP-Verarbeitung	Hohe Verfügbarkeit Spitzenleistung und Haltbarkeit
Azure AD (Active Directory) B2B-Zusammenarbeit	Einladung von Gastbenutzern zur Teilnahme an einer kontrollierten und hochsicheren Zusammenarbeit Sichere gemeinsame Nutzung von Anwendungen und Diensten Selbstbedienungsanmeldung Erstellung von Authentifizierungs- und Autorisierungsrichtlinien für den Schutz von Unternehmensinhalten Onboarding externer Partner	EKO arbeitet sicher mit seinen externen Partnern zusammen, indem es Gäste hinzufügt, auch wenn diese nicht Azure AD verwenden oder ein Entwicklungsteam haben	Sichere Authentifizierung
Azure DevOps	Smarte Planung Nahtlose Zusammenarbeit Schnelle Lieferung	Automatisierte Bereitstellungspipelines Einbindung von Power BI in den Automatisierungsprozess des Kunden	Automatisierte Implementierung von Berichten Automatisierte Bereitstellung von Änderungen