Cloud-Business-Intelligence-System für Fahrzeughersteller
Migration zu einer Microservices-basierten Architektur mit einem 15-20-fach höheren Systemdurchsatz, Aufbau eines skalierbaren BI-Portals und Erreichen einer 100%igen Vorhersagbarkeit von Prozessen über 3 Remote-Teams hinweg.
Kunde
Der Kunde liefert weltweit BI für die Automobilindustrie. Mit seiner jahrzehntelangen Erfahrung in der Erstellung von BI-Lösungen für die Automobilindustrie auf der Grundlage von Primär- und Sekundärforschungsdaten unterstützt der Kunde Fahrzeughersteller bei der Planung und Entwicklung von Fahrzeugen und zugehörigen Produkten sowie bei deren Einführung und Positionierung auf lokalen Märkten.
Das Unternehmen bietet auch Forschungsdienstleistungen für den Einzelhandel an und stellt Toolkits für Kreditunternehmen und Banken, Fahrzeugleasingunternehmen und andere Datenkonsumenten bereit. Die Lösungen des Kunden werden auch in Händler- und Flottenmanagementsystemen, Händler-Websites, Showroom-Tools und Autolokalisierungssystemen eingesetzt.
Herausforderung
Der Kunde hatte seit mehr als 30 Jahren eine Suite von BI-Produkten für global verteilte Datenkonsumenten im Einsatz.
Innerhalb der Suite durchliefen die Daten aus verschiedenen Quellen in einem halbautomatischen Modus ETL-Pipelines, die von den Forschern des Kunden in verschiedenen Teilen der Welt überwacht wurden. In der nächsten Phase wurden die Daten in Data Marts gepackt und über FTP und Datenbank-Updates an die Verbraucher gesendet. Die Endnutzer konnten die verarbeiteten Daten abrufen und sie mit ihren eigenen Daten integrieren, um genaue Analysen zu erhalten und umfassende Berichte zu erstellen.
Mit der Zeit geriet das System ins Hintertreffen, was zu erheblichen technischen Schulden führte, während das Unternehmen gleichzeitig hohe Arbeitskosten für die beteiligten Forscher hatte, die die Daten manuell verarbeiteten. Die Datenqualität litt unter den unterschiedlichen Lebenszyklusphasen der verarbeiteten Datensätze. In einigen Fällen waren die Daten inkonsistent und enthielten Fehler. Alles in allem verschlang die Wartung des Altsystems etwa 70 % des Jahresbudgets des Unternehmens.
Schlimmer noch, die komplizierte Datenerfassung, ungenaue Eingangsdaten und damit verbundene Eingabefehler führten zu erheblichen Verlangsamungen bei den Dienstleistungen des Unternehmens. Oberste Priorität hatte daher die Umstellung auf das Software-as-a-Service (SaaS)-Modell und die Migration der BI-Suite auf eine Cloud-first, mobilfähige, Microservices-basierte Architektur.
Das Unternehmen plante außerdem die Einführung eines neuen BI-Portals, das mit maßgeschneiderten Cloud-Business-Intelligence-Tools ausgestattet sein sollte. Um die am besten geeigneten BI-Lösungen zu planen und zu entwickeln, benötigte das Unternehmen ein F&E-Zentrum, um potenzielle BI-Software zu testen. Leider war es unmöglich, die neuen Ziele mit der alten BI-Suite zu erreichen, da es immer wieder zu Leistungsproblemen kam und sie insgesamt nicht in der Lage war, neue Funktionen und Produkte bei Bedarf zu skalieren.
Um von dem Altsystem auf eine neue SaaS-Suite umzusteigen, suchte das Unternehmen nach Automobilsoftware-Experten, die auf Analytik und Cloud-Migration spezialisiert sind. Da Itransition bereits Projekte mit Business Intelligence in der Automobilindustrie durchgeführt und Cloud-Business-Intelligence-Lösungen in großem Umfang entwickelt hatte, entschied sich das Unternehmen für uns.
Lösung
Zunächst empfahl Itransition den Wechsel zu einer neuen, auf Microservices basierenden Architektur, um das neue BI-Portal aufzubauen, alle Daten zu migrieren und Tools zur Datenvalidierung und -visualisierung zu entwickeln. Außerdem unterstützten wir die Idee des Kunden, ein F&E-Zentrum einzurichten, um Cloud-Business-Intelligence-Tools zu entwickeln, die den sich ständig ändernden Anforderungen der Endbenutzer gerecht werden und gleichzeitig dem Kunden und seinen Zielgruppen einen zusätzlichen geschäftlichen Nutzen bringen.
Zu den wichtigsten Zielen des Projekts gehörten:
- Automatisierung der Datenerfassung und -bereinigung
- Mapping von Metadaten
- Gewährleistung der höchsten Datenqualität für genaue Analysen und Berichte
- Integration von Unternehmensdaten mit den Daten des Kunden in einem zentralen System
- Bereitstellung der API für andere Unternehmen zur Anbindung ihrer eigenen Anwendungen
- Erweiterung und Verbesserung der aktuellen Dienstleistungen
Diese Schritte würden es Analysten ermöglichen, vorverarbeitete Daten in Analysemaschinen und Algorithmen für maschinelles Lernen einzuspeisen, um sie für eine Vielzahl von Geschäftsanforderungen zu nutzen.
Microservices-basierte Architektur
Itransition analysierte das Altsystem des Kunden, das aus fünf geografisch verteilten Datenbanken bestand. Das System stellte eine Desktop-Applikation dar, deren Rechenzentrum auf einem Datenbankserver installiert war. Das System wurde aktualisiert, sobald das Enterprise Data Warehouse neue Daten erhielt. Für die Umstellung auf eine SaaS-Umgebung bereiteten wir einen Plan mit Systemverbesserungen vor und implementierten die kritischen Verbesserungen vor der Migration. Dann entwickelten wir eine neue Architektur, um den Anforderungen des Kunden gerecht zu werden.
In der neuen Architektur ermöglicht Azure Search eine schnelle Suche in verschiedenen Sprachen und dient als Proxy für semantische Datenabfragen über Graph API. Cosmos DB hostet die Kerndaten. Die semantischen Datensätze sind spezifisch für das von jedem Kunden aus der Automobilindustrie verwendete Vokabular, mit eigenen Indizes und Übersetzungen, wie unten dargestellt.
Die neue Architektur gewährleistet eine hohe Suchgeschwindigkeit und Kontrolle über die Benutzerabfragen. Sie unterstützt auch die automatische Übersetzung von Begriffen aus der Automobilindustrie in eine Vielzahl von Sprachen. Dank der überarbeiteten Architektur liefert der Übersetzungsmechanismus sofortige Antworten.
Datenmigration
Da die Daten in der Quelldatenbank schlecht strukturiert und in unterschiedlichen Formaten gespeichert waren, war es unmöglich, einen Transformationsalgorithmus für alle Datensätze zu implementieren. Daher hat das Team von Itransition Transformationsregeln aufgestellt, die die Forscher bei der Eingabe neuer Daten anleiten sollen.
Wir erstellten mehrere ETL-Pipelines für die Migration von Datensätzen, die in Kategorien wie Ausstattung, Farbe, Verkleidung, Händler, Preisanreize, Verkäufe usw. zusammengefasst waren.
Datenbereinigung, -transformation und -deduplizierung waren Teil der Migration. Die Forscher des Kunden überprüften die migrierten Daten während jeder Iteration und wiesen auf aufgedeckte Probleme hin. Wir migrierten nur die geprüften Daten, die genau und präzise waren.
Das Team von Transition war in der Lage, 15 % der historischen Daten (etwa 5 TB) in 10 Stunden zu migrieren. Da nach der Migration Datenungenauigkeiten und Transformationsprobleme auftraten, änderten wir unsere Transformationsregeln und schrieben den Code für die nächste Iteration neu, um eine kontinuierliche Verbesserung der migrierten Daten zu gewährleisten.
Als Teil der Qualitätssicherungsphase haben wir außerdem ein Tool zur Datenvalidierung und -visualisierung mit der Graphdatenbank (GDB) entwickelt. Durch die Implementierung von Validierungsregeln und -prüfungen stellten wir sicher, dass die Daten, die in das System gelangen, homogen, genau, zuverlässig und konsistent sind.
F&E
Um ein einheitliches Portal mit Cloud-Business-Intelligence zu erstellen, mussten die Projektteams die Anwendungen evaluieren, die von den Datenkonsumenten stark nachgefragt werden, sich entwickeln lassen und aus geschäftlicher Sicht rentabel sind.
Mit der Unterstützung von Itransition richtete der Kunde ein Forschungs- und Entwicklungszentrum ein, in dem Forscher verschiedene Lösungen mit den Schwerpunkten Big Data, maschinelles Lernen, BI und Analytik analysierten.
Die F&E-Spezialisten testeten potenzielle Anwendungen an echten Nutzern, um nur die relevantesten und gefragtesten Cloud-Business-Intelligence-Lösungen auszuwählen. Das Zentrum arbeitete in schnellen Zyklen, in denen die Forscher die Testprodukte den Datenkonsumenten vorführten, ihr Feedback einholten und MVPs erstellten.
Das erste Produkt, das vom F&E-Zentrum entwickelt wurde, war eine App für den Austausch von Händlerwerten zur Analyse von Fahrzeugkäufen. Die App wurde in Power BI integriert, um statistische Verkaufsberichte anzuzeigen.
Prozessaufbau
SAFe und verteilte Zusammenarbeit
Neben der Unterstützung des Kunden bei der technologischen Transformation setzte unser Team seine Expertise in der Business-Intelligence-Beratung ein, um die Prozesse des Kunden zu analysieren und das Scaled Agile Framework (SAFe) einzurichten. Auf diese Weise konnten alle Teams synchronisiert und die internen Entwickler des Kunden geschult werden, um sich schnell an geschäftliche Veränderungen anzupassen.
Der Kunde hatte sich bereits für SAFe entschieden, um sein Geschäft und die Entwicklung zu verknüpfen und unternehmensweit Transparenz in Bezug auf Ziele, Fortschritte, Probleme, Engpässe und Abhängigkeiten zu schaffen. SAFe half dem Unternehmen auch dabei, die Zusammenarbeit zwischen verteilten Teams, die an der Entwicklung von Business-intelligence in der Cloud beteiligt sind, zu vereinheitlichen.
Da an den Projekten drei große Teams beteiligt waren, die sich in unterschiedlichen Zeitzonen befanden, bat der Kunde Itransition um Unterstützung bei der Organisation einwandfreier Software-Lieferprozesse und der Synchronisierung entfernter Teams.
Der SAFe Programmberater von Itransition führte zusammen mit den Agile Delivery Managern des Kunden SAFe Injection Workshops durch. Sie halfen dem gesamten Team, den Arbeitsprozess in Agile Release Trains (ARTs) zu reorganisieren, in denen die Beteiligten Lösungen in kurzen Iterationen entwickeln, testen und ausliefern.
PI-Planung und Projektstrukturierung
Die Transition führte auch gemeinsame Product Increment (PI)-Planungsveranstaltungen ein, die alle zehn Wochen stattfanden, um die Interaktion zwischen den Teams zu fördern. Die PI-Planungstreffen ermöglichten es den Teams, Ziele zu planen, Risiken zu kalkulieren sowie Probleme und Abhängigkeiten während der nächsten sieben zweiwöchigen Sprints aufzuzeigen, zu diskutieren und zu lösen.
Der Entwicklungsprozess wurde in Epen unterteilt, die das Projektmanagementteam in Features aufteilte. Jedes Feature bestand aus einer bestimmten Anzahl von User Stories. Die Stories enthielten eine Liste von Aufgaben, die auf der Grundlage des WSJF-Modells (Weighted Shortest Job First) priorisiert wurden.
Wir arbeiteten auch an neuen und wiederkehrenden Problemen, wiesen SAFe-Aktionspunkte zu, definierten Rollen und diskutierten die Geschäfts-, Technologie- und Produktvision. Die Visualisierung aller Teams und der neuen Feature-Release-Prozesse ermöglichte es, das Projekt vorhersehbar und transparent zu machen.
Um die jeweils folgenden zehnwöchigen Phasen des Projekts zu planen, analysierten wir die geplanten Funktionen in Portfolio Kanban. Auf diese Weise überprüften, implementierten und veröffentlichten wir Produktinkremente und visualisierten neue Funktionen von ihrer Idee bis zur Markteinführung. Ein solcher Ansatz war für uns auch nützlich, um Ideen im Hinblick auf Geschäftsmöglichkeiten, Kosten, Marktschwankungen und Risiken zu bewerten.
Ergebnisse
Itransition unterstützte einen globalen Anbieter von BI-Systemen für die Automobilindustrie bei der Umwandlung seines veralteten BI-Systems in eine robuste Suite, die von Fahrzeugherstellern und anderen kommerziellen Datenkonsumenten weltweit genutzt wird.
Während des gesamten Projekts hat das Team von Itransition:
- Erstellte eine sichere, moderne und skalierbare Architektur, die optimal für Cloud-basierte Business Intelligence in der Automobilindustrie geeignet ist
- Erzielung eines 15-20fach höheren Systemdurchsatzes im Vergleich zum Altsystem
- Erreichen einer 100%igen Vorhersagbarkeit und Transparenz der Arbeitsprozesse über drei geografisch verteilte Teams hinweg
- Durch die Einführung von SAFe konnte die Motivation der Mitarbeiter um 50 % gesteigert, die Markteinführungszeit um 70 % verkürzt, die Produktivität um 50 % erhöht und die Fehlerquote um 70 % gesenkt werden
