Pharmazeutische Datenanalysesuite für ein multinationales US-Unternehmen

Lösung

Seit mehr als 10 Jahren arbeitet das Team von Itransition als Engagierte-entwicklungszentren mit dem Kunden an einer Reihe von Aufgaben zusammen. Der Einfachheit halber gliedern wir den Umfang unseres Engagements in mehrere Phasen.

Neuentwicklung der BI-Plattform

Wir begannen mit der Neuentwicklung der wichtigsten Plattform des Kunden für die Analyse von pharmazeutischen Marktdaten, die eine Reihe von Tools zur Erstellung strukturierter und anpassbarer Berichte aus Hunderten von Datenquellen in verschiedenen Formaten umfasste. Die alte Plattform reichte nicht mehr aus, um die Anforderungen von Pharmaunternehmen zu erfüllen und sich flexibel an neue Marktanforderungen anzupassen. Die Aufgabe von Itransition bestand darin, die Plattform auf allen Ebenen zu überarbeiten und zu verbessern, einschließlich der Benutzeroberfläche, der Datenverarbeitung und der Berichterstellung.

Itransition lieferte die neue BI-Lösung auf Basis des ASP.NET MVC-Frameworks und nutzte Microsoft SQL Server als Datenbank-Engine. Unsere Spezialisten entwickelten die Funktionalität der Plattform neu und sorgten dabei für Codequalität, Wartungsfreundlichkeit, Skalierbarkeit und Flexibilität, die das Altsystem nicht bot. Unsere Arbeit an der Verbesserung der Lösung führte zu einer 3 bis 5 Mal schnelleren SQL-Abfrage mit weniger Zeitaufwand für die Anzeige der Berichte durch die Kunden sowie zu einer geringeren RAM- und CPU-Auslastung.

Seit der Erstveröffentlichung kamen mehrere Versionen der Plattform heraus, darunter zwei Hauptversionen. Die gelieferte Lösung wird nun von vielen der weltweit führenden Pharmaunternehmen genutzt, die von der standardisierten und gut organisierten Verarbeitung von Daten aus mehreren Quellen und in mehreren Formaten profitieren.

 

Die neuen Funktionen im Einzelnen

Die überarbeitete Lösung ist in der Lage, pharmazeutische Marktdaten automatisiert zu verarbeiten und enthält eine Vielzahl von Funktionen für die Berichterstattung und den Datenaustausch.

Zu den neuen Berichtstypen und Funktionen gehören:

• Marktanteilsberichte mit Angabe des prozentualen Anteils am Umsatz
• Launch-Berichte, die die Verkaufsdynamik seit der Produkteinführung aufzeigen
• Demografische Berichte für den offenen Zugang auf der Grundlage demografischer Statistiken nach Ländern
• Wöchentliche Berichte zusätzlich zu den monatlichen und vierteljährlichen Berichten
• Kartenunterstützung für die Anzeige von Berichten nach Ländern und Regionen
• Erweiterte Metriken für Berechnungen (z.B. Wachstum im Vergleich zum vorherigen Zeitraum)
• Hervorhebung von Meilensteinen in Datentabellen und Diagrammen
• Die rechte Achse zur Anzeige einer zusätzlichen Art von Kennzahlen (z.B. Umsatz in Zahlen und in Prozent)
• Berichtsaggregation für den Export im Präsentationsformat

Zu den implementierten Modulen gehörten solche für:

• Nutzungsanalyse zur erleichterten Verwaltung
• Verwaltung von Datenbeschränkungen zur Verwaltung der Datensichtbarkeit, z.B. nach Ländern, Produkten, etc.
• Berechtigungsverwaltung für den Datenupload für autorisierte Benutzer, die autorisierte Datentypen selbständig hochladen können
• Unterstützung von Fragebogendaten für die Erfassung von Daten aus Umfragen (z.B. zur Beliebtheit und Effizienz bestimmter Medikamente) und deren Abgleich mit Verkaufsdaten
• Prognosen für die Erstellung von Prognosen und die Abgabe von Empfehlungen in Übereinstimmung mit den festgelegten Parametern
• Datenextraktion zur Anzeige von Daten in Form von archivierten CSV-Dateien über eine alternative Datenvisualisierungs-App

Später wurde die Lösung Teil der neuen modularen Suite des Kunden und wurde in zwei Teile aufgeteilt - eine Datenmanagement-App und eine Datenvisualisierungs-App - die beide von Itransition von Grund auf entwickelt wurden. Diese Anwendungen können als eine einzige BI-Lösung oder separat als eigenständige Tools verwendet werden.

Eine Anwendung zur Datenverwaltung

Die alte BI-Plattform nutzte Microsoft SQL Server Integration Services (SSIS) als ETL-Engine, was einige Probleme mit sich brachte, die sich auf die Häufigkeit der Produktfreigabe auswirkten. Erstens war die Konfiguration der ETL-Prozesse veraltet und verlangsamte die Datenverarbeitung. Zweitens unterstützte das Tool mehrere Datenquellenformate nicht und erforderte eine individuelle Implementierung. Infolgedessen konnte die Datenverarbeitung Tage dauern, während einige Quellen überhaupt nicht verarbeitet werden konnten. Außerdem bestand Bedarf an einer eigenständigen Weboberfläche, um ETL-Prozesse für Nicht-Entwickler zu erleichtern.

Unsere Ingenieure wurden mit der Entwicklung einer Datenmanagement-App beauftragt, um diese Probleme zu entschärfen. Die resultierende Lösung ermöglichte eine 10-fach schnellere Datenverarbeitung und eine geringere Nutzung von RAM, CPU und Festplattenspeicher, wodurch die Hardwarekosten gesenkt wurden. Da es sich um eine kundeneigene Anwendung handelt, konnten auch die Kosten für Softwarelizenzen erheblich gesenkt werden.

Datenmanagement für nicht-technische Benutzer zugänglich gemacht

Die neue Datenverwaltungsanwendung gab Benutzern mit minimalen technischen Kenntnissen die Möglichkeit, Daten innerhalb von Minuten zu laden, umzuwandeln und für die Visualisierung und Berichterstattung vorzubereiten.

Die Lösung verarbeitet die Quelldateien der Endkunden in zahlreichen Formaten (CSV, XLS, TXT), bereinigt und transformiert Daten, erstellt und wendet Geschäftsregeln an und bereitet verschiedene Formen der Ausgabe vor, bei denen es sich um Datenbanken oder flache Dateien handeln kann. Die Benutzer können die Daten dann an andere Ziele wie Cloud-Speicher und FTP-Server sowie an andere Teams weitergeben.

Die Anwendung verfügt über eine eigene Weboberfläche und ein Bedienfeld im Frontend, während im Backend Dienstinstanzen auf den Microsoft SQL-basierten Servern laufen. Ein Benutzer konfiguriert und startet ETL-Prozesse, während virtuelle Maschinen, die als Knoten arbeiten, diese Prozesse ausführen und die aktuellen Statusinformationen an das Kontrollpanel zurückgeben. Die Knoten verarbeiten Daten und erzeugen Datenbanken für den SQL-Server.

Integrationen von Drittanbietern

Wir integrierten die Datenverwaltungsanwendung mit Salesforce über die kostenlose Salesforce Bulk-API anstelle des kostenpflichtigen Tools, das die Teams für die Verbindung zum SQL-Server verwendet hatten.

Außerdem haben wir die Lösung mit verschiedenen Datenbank-Engines (Oracle, Microsoft SQL) und Apache Hadoop integriert, um die verteilte Speicherung und Verarbeitung großer Datenmengen zu gewährleisten.

Kontinuierliche Verbesserung

Unser Team arbeitet kontinuierlich an der Erweiterung der Anwendungsfunktionalität. In den letzten Jahren haben wir Folgendes implementiert:

• Eine Marktdefinitions-Engine, um eine codierungsfreie Bearbeitung von Marktdefinitionen zu ermöglichen
• Ein Trigger für geplante Aufgaben, um geplante Aufgaben auszuführen und automatisch E-Mails mit Berichten zu versenden
• Neue Dateiformate, einschließlich Flat Files, Parkettdateien, archivierte Dateien als Quellen (zip, rar, 7z, tar, gz)
• Archivierung und Auslieferung der Datenausgabe an FTPs der Endkunden und Cloud-Speicher (Amazon S3, Azure Blob Storage)
• Automatische Datenanalyse und -erkennung aus hochgeladenen CSVs und XLSs
• QC-Berichte für automatische Datenvaliditätsprüfungen
• Geteilte Berechtigungen zwischen dem Entwicklungsteam und den Kunden für die Autorisierung des Inhaltszugriffs
• Horizontale Skalierbarkeit für die Skalierung nach oben, wenn die Kapazität der Server steigt, und für die Skalierung nach unten, wenn die Anzahl der Server wächst

Eine Anwendung zur Datenvisualisierung

Itransition war auch für die komplette Neugestaltung und das Rebranding des Web-Teils der alten BI-Lösung verantwortlich und schuf die Grundlage für eine neue Datenvisualisierungsanwendung.

Diese Lösung kann Daten aus den Datenbanken anzeigen, die von der Datenmanagement-App des Kunden generiert werden, oder separat in Verbindung mit alternativen Datenmanagement-Engines verwendet werden.

Wir haben die App mit der React-Bibliothek erstellt, die eine benutzerfreundliche Schnittstelle für die Datenanalyse und Berichterstattung mit der Möglichkeit, die Ergebnisse zu exportieren, bietet und die Gesamtzahl der erforderlichen Schritte für maximale Leistung reduziert. Wir haben auch eine neue Engine für die Darstellung von Diagrammen und Karten (Highcharts/Highmaps) implementiert.

Das Storyboard

Wir haben Storyboards implementiert, um die gleichzeitige Anwendung und Anzeige von Parametern und Metriken zu ermöglichen, die zuvor nicht unterstützt wurden (z.B. Länder, Währungen, Produkte, Maßeinheiten, Umsatzwachstum, prozentuales Wachstum usw.).

Benutzer können jetzt eine beliebige Anzahl von Diagrammen oder Tabellen als Widgets speichern und eine unbegrenzte Anzahl von ihnen in einem Storyboard anzeigen. Die Benutzer müssen lediglich einen Bericht auswählen, Einstellungen vornehmen und das erzeugte Diagramm in einem Storyboard speichern. Wir haben auch die Option eingeführt, Datenvisualisierungen als PPT, PDF und XLS zu exportieren, indem wir vorinstallierte Vorlagen in denselben Formaten verwenden.

Das Standardmenü wurde durch eine kachelbasierte Navigation mit einer hierarchischen Ansicht ersetzt. Die Storyboards wurden mit dynamischen Konfigurations- und Filtermöglichkeiten ausgestattet. Wir erweiterten die Liste der Filter für die Anzeige von Daten nach Ländern mit Statistiken für am schnellsten wachsende Unternehmen, Top-Unternehmen nach Volumen/Wert usw. Unser Team ermöglichte auch die Hervorhebung besonderer Ereignisse (z. B. das Erreichen eines bestimmten Umsatzes) in Diagrammen mit einer begleitenden Textnachricht.

Damit die Benutzer über alle Änderungen an den Berichten auf dem Laufenden bleiben, haben wir eine neue Abonnement-Option hinzugefügt, die E-Mail-Benachrichtigungen ermöglicht. Außerdem gibt es spezielle Hilfe- und Ressourcenbereiche mit Anleitungen und Videos.

Migration in die Cloud

Um mit der wachsenden Zahl von Nutzern der Plattform Schritt zu halten und die Leistung der Lösung aufrechtzuerhalten, haben wir dem Kunden geraten, seine Lösung von seinem On-Premises-Server in die Cloud zu migrieren.

Als ausgewählter Amazon Consulting Partner und DevOps-Praktiker hatten wir Zugriff auf das Fachwissen und die Ressourcen, um Amazon Web Services (AWS) als die vom Kunden gewählte Cloud-Migrationsplattform zu nutzen. Diese Projektphase begann im Jahr 2018.

Unsere DevOps-Ingenieure prüften und bewerteten die bestehende Infrastruktur des Kunden und erstellten einen Migrationsfahrplan für die eine AWS-Cloud-Migrationsstrategie. Dann entwarfen wir eine skalierbare und sichere Cloud-Infrastruktur und stellten sie mit Terraform in AWS bereit.

Unser Team erstellte eine virtuelle private Cloud mit privaten und öffentlichen Subnetzen, definierte Netzwerk-Gateways und konfigurierte Sicherheitseinstellungen. Die Subnetze sind miteinander verbunden und umfassen eine Entwicklungsumgebung, eine Produktionsumgebung und CI/CD-Server. Die Entwicklungs- und Produktionsumgebungen wurden über Amazon Elastic Compute Cloud (EC2) bereitgestellt. Zur Verwaltung und Steuerung der AWS-Arbeitslasten verwendeten wir AWS Elastic Load Balancing. Außerdem haben wir Amazon RDS für Konfigurations-DB- und Client-Daten-DB-Server genutzt.

Für die Serverüberwachung verwendete unser Team AWS CloudWatch, das Protokolle, Metriken, Ereignisse usw. sammelt und so eine einheitliche Sicht auf alle AWS-Ressourcen bietet. Um die Leistung der Lösung zu verbessern und eine schnelle Übertragung zu gewährleisten, haben wir Amazon CloudFront (CDN) eingesetzt.

Datensicherheit

Um die Sicherheit der großen Mengen an sensiblen Daten zu gewährleisten, mit denen die Kunden arbeiten, haben wir Amazon Simple Storage Service (Amazon S3) für eine skalierbare und sichere Datenspeicherung genutzt. Alle wichtigen Daten werden mit AWS-Tools gesichert, darunter Data Lifecycle Manager und S3-Versionierung. Wir haben auch Amazon RDS verwendet, das automatische Sicherungen von Datenbankinstanzen erstellt und speichert. Unser Team hat außerdem AWS-Lambda-Funktionen erstellt, die die Archivierung, Sicherung und Wiederherstellung bestimmter, auf RDS oder S3 gehosteter Datenbanken ermöglichen.

Für mehr Sicherheit verwendeten wir den AWS Systems Manager Parameter Store, der wichtige Daten wie Passwörter und Lizenzcodes als verschlüsselte Parameter speichert. Für die sichere Konfiguration von verwalteten Instanzen und das Zurücksetzen von Passwörtern haben wir AWS Systems Manager-Dokumente (SSM-Dokumente) und AWS Systems Manager Run Command verwendet.

Migration zahlt sich aus

Die Migration half dem Kunden, die Benutzerbasis zu erweitern und die Infrastrukturkosten zu senken, während gleichzeitig hohe Verfügbarkeit, Skalierbarkeit und Sicherheit gewährleistet wurden. Sie ermöglicht es dem Kunden auch, neue Umgebungen schnell bereitzustellen (innerhalb von 20-30 Minuten) sowie die Serverwiederherstellung innerhalb von 30-60 Minuten zu optimieren, wenn 1 oder 2 Server ausfallen, und innerhalb von 60-120 Minuten, wenn das gesamte System wiederhergestellt werden muss.

Die KPI-Management-Plattform

Seit 2018 arbeitet Itransition gemeinsam mit den engagierten Teams des Kunden in den USA, Großbritannien, Indien und Bangladesch an einer neuen KPI-Management-Plattform. Die Plattform liefert umsetzbare Erkenntnisse und ist Teil der modularen pharmazeutischen Datenanalyse-Suite des Kunden neben den Anwendungen für Datenmanagement und Visualisierung.

Die KPI-Management-Plattform ist in der Lage, Datenstrukturen zu verarbeiten, die über die von der zentralen Datenvisualisierungsanwendung unterstützten hinausgehen. Sie richtet sich an Unternehmen mit heterogenen Datenquellen unterschiedlicher Struktur und erleichtert die Verarbeitung dieser Quellen innerhalb einer einzigen Datenbank.

Die Plattform erleichtert auch die Datenbankgenerierung, ohne dass Entwickler VBA-Skripte für die Datentransformation erstellen müssen, so dass alles vom App-Nutzer oder Admin konfiguriert werden kann. Dies senkt die Ausgaben des Kunden für die Datenbankerstellung und den Support.

Die Lösung basiert auf .NET und Angular und wird als SaaS bereitgestellt, mit der Möglichkeit, abwärtskompatible Funktionen zur Unterstützung kundenspezifischer Konfigurationen zu veröffentlichen.

Die Teilsysteme

1. Eine Anwendung zur Anzeige von Daten, angepassten Dashboards und Diagrammen. Jedes Dashboard kann durch die Einrichtung von Modulen in Gruppen von Diagrammen unterteilt werden.
2. Zwei Admin-Panels: Eines für die Konfiguration von Daten-Widgets, die auf einem Dashboard angezeigt werden sollen; das andere für die Verwaltung von Benutzern, Zugriffsebenen, Berechtigungen, Authentifizierung und Lokalisierungsparametern sowie für die Anpassung der Lösung an die Bedürfnisse der Kunden.
3. Eine Service-Anwendung für:

• Konfiguration von Datenbankverbindungsstrings.
• Prüfen der Integrität der angeschlossenen Datenbanken sowie der Funktionsfähigkeit anderer Systemkomponenten mit vollständiger Information darüber, ob der Dienst mit allen erforderlichen Einstellungen und Dateien läuft.
• Zurücksetzen des Benutzer-Caches für Dashboards, um den Start zu beschleunigen und Verzögerungen zu vermeiden.
• Verwalten, Importieren und Exportieren von Systemeinstellungen.

Wesentliche Merkmale:

Datenmanagement über den gesamten Zyklus, von der Erfassung von Daten aus verschiedenen Quellen über die Erstellung von Datenbanken bis hin zur Konfiguration von Diagrammen für die Datenvisualisierung.

Anpassbare Konfigurationsoptionen, um die spezifischen Anforderungen jedes Endkunden zu erfüllen, mit der Möglichkeit, für jeden Benutzer unterschiedliche Berechtigungen festzulegen.

Eine skalierbare Data-Warehouse-Engine für die Verarbeitung großer Datenmengen in Unternehmensqualität. Beispiele hierfür sind pharmazeutische Daten über Umsätze und Gewinne, die Arten von Krankheiten zusammen mit der Anzahl der Personen, die in einem bestimmten Zeitraum daran leiden, Besuche bei Ärzten bestimmter Fachrichtungen usw.

Eine eingebaute Liste von Datenvisualisierungsformeln wie Marktanteil, Wachstum, Bewertungsindex, Reichweite und Häufigkeit, mit der Möglichkeit, diese anzupassen und neue hinzuzufügen.

Kennzahlen und Leistungsberechnung für Vertriebsleiter, einschließlich des prozentualen Anteils eines Managers am Umsatz im Vergleich zu allen anderen Vertriebsleitern, des Anteils eines bestimmten Produkts am Gesamtumsatz eines bestimmten Managers usw.

Vorhersage- und Risikobewertungsalgorithmen, die auf den verfügbaren Daten laufen und potenzielle Risiken pro Gebiet anzeigen. Die Lösung liefert zusammenfassende Daten über ein Produkt in einem bestimmten Land, wobei die Zellen, die besonderer Aufmerksamkeit bedürfen, farblich hervorgehoben werden - je heller die Zelle, desto mehr Aufmerksamkeit erfordert sie. Für die Berechnung des Farbindexes stehen mehrere Algorithmen zur Verfügung.

Versand von Berichten an Endkunden, entweder geplant oder ausgelöst durch eine Datenabweichung wie z.B. einen Umsatzrückgang. Die Benutzer können verschiedene Benachrichtigungsalgorithmen konfigurieren, zum Beispiel für die Erfassung von Verkaufsdaten für eine bestimmte Marke. Die Berichte sind wiederkehrend und anpassbar, d.h. sie können für einen bestimmten Fall eingerichtet werden, z.B. wenn ein Bericht nur gesendet werden soll, wenn der Umsatz im Vergleich zum Vormonat gesunken ist.

Die Ingenieure von Itransition waren für die Entwicklung der meisten architektonischen Komponenten der Lösung verantwortlich, darunter Data Service, Export Service und Gateway Service, und schrieben den Serverteil der Anwendung, der in Verbindung mit der UI-App verwendet wird. Itransition war auch federführend bei der Erstellung des Quellcodes für neue Funktionen.

Ergebnisse

In der Zusammenarbeit mit dem Kunden seit 2008 bietet Itransition eine Reihe von Dienstleistungen an, die Technologieberatung, UX/UI-Design, Entwicklung, Datenmigration, QA und Testing sowie AWS DevOps umfassen.

Wir entwickelten und verbesserten die Lösungen des Kunden, die Teil seiner Flaggschiff-Suite für pharmazeutische Datenanalyse sind, die von Unternehmen auf der ganzen Welt genutzt wird, und führten neue Verfahren ein, die den Entwicklungsprozess rationalisierten und effizienter machten.

In seiner Rolle als engagiertes Entwicklungsteam des Kunden hat Itransition folgende Beiträge geleistet:

• Neuentwicklung der zentralen Marktanalyseplattform und Ermöglichung einer 10x schnelleren Datenverarbeitung.
• Migration der Kundeninfrastruktur in die Cloud, was zu einem Benutzerwachstum, reduzierten Infrastrukturkosten und der Möglichkeit führte, neue Umgebungen in 20-30 Minuten bereitzustellen.
• Entwicklung einer neuen KPI-Management-Lösung, die die Erstellung von Datenbanken weiter verbessert und erleichtert, Einblicke in die Mitarbeiterleistung bietet und Algorithmen für Marktprognosen einführt.
• Einführung von CI/CD-Praktiken, die die Bereitstellungshäufigkeit verdoppelten, Bereitstellungen mit fünfmal weniger Fehlern ermöglichten und den Projektaufwand um Hunderte von Personenstunden reduzierten.
• Ermöglichung einer bedarfsgerechten Auf- und Abwärtsskalierung des Teams je nach Geschäftsanforderungen, wobei die Einarbeitungszeit auf 1-3 Monate reduziert wurde.