Data Warehouse-Modernisierung: Ein Leitfaden
6. Juli 2023
- Home
- Business Intelligence
- Data-Warehousing-Dienstleistungen
- Modernisierung des Datenlagers
von Sergej Rybalkin,
BI-Lösungsarchitekt
überprüft von
Sergej Sinkewitsch, Leiter der BI-Praxis & BI-Lösungsarchitekt
Die Modernisierung von Data Warehouses (DWH) beinhaltet ein architektonisches Überdenken traditioneller, typischerweise vor Ort betriebener Data Warehouses. Sie befasst sich mit den Herausforderungen und Anforderungen der modernen Datenverwaltung und -analyse, einschließlich Skalierbarkeit, Informationssilos, Verarbeitungslasten und Kosteneffizienz.
Um Ihren Modernisierungsprozess zu rationalisieren, sollten Sie sich auf das ganzheitliche Fachwissen und die Data-Warehousing-Services von Itransition verlassen.
Die Rolle der Data-Warehouse-Modernisierung
Untersuchungen von BARC und TDWI zeigen die häufigsten Gründe, Ansätze und Ergebnisse der Data-Warehouse-Modernisierung auf.
der Organisationen streben eine größere Kapazität zur Skalierung von Daten, Nutzern und Analysen an
TDWI
der Befragten wählen DWH-Automatisierung als wichtigsten Modernisierungsansatz
BARC
der Unternehmen, die ihre Lösung modernisieren, erreichen eine breitere Nutzung des Data Warehouse
BARC
Die 10 wichtigsten Aspekte der Modernisierung von Data Warehouses
Bevor wir uns mit spezifischen Anwendungsfällen und Strategien befassen, wollen wir kurz die allgemeinen Eckpfeiler des DWH-Modernisierungsprozesses betrachten.
Fähigkeit, jede Art von Daten zu verarbeiten
einschließlich strukturierter (z. B. Finanztransaktionen), halbstrukturierter (E-Mails) oder unstrukturierter (Bilder).
Datenverarbeitung in Echtzeit
um aus kontinuierlichen Datenströmen verwertbare Geschäftseinblicke zu gewinnen und operative Business Intelligence zu ermöglichen.
Kompatibilität mit den wichtigsten Datenverarbeitungssystemen
auf dem Markt erhältlich, darunter Spark, Flink, Hadoop, Samza und Storm.
Abhängigkeit von Cloud-Technologien
um von verbesserter Skalierbarkeit, Verarbeitungsleistung, schnellerer Bereitstellung und verwalteter Infrastruktur und Sicherheit zu profitieren.
Unterstützung für verschiedene Bereitstellungsmodelle
einschließlich On-Premises, Multi-Cloud oder Hybrid-Cloud sowie Interoperabilität zwischen verschiedenen Cloud-Umgebungen.
Selbstbedienungsabfragen
um den Zugang zu Daten für Benutzer mit unterschiedlichen Rollen und Bedürfnissen zu erleichtern, darunter Datenwissenschaftler, Datenanalysten und Berichterstatter.
Integration von Daten
zwischen dem Data Warehouse und anderen Datenverwaltungsplattformen, um ein einheitliches Ökosystem zu schaffen und Informationssilos oder Inkonsistenzen zu minimieren.
Automatisierung von zahlreichen Aufgaben
wie Dateneingabe, -umwandlung und -verwaltung, um Analysen zu beschleunigen und die Genauigkeit zu verbessern.
Einführung von KI und Algorithmen des maschinellen Lernens (ML)
für automatisierte Datenintegration, -bereinigung und -stromverarbeitung.
Schwerpunkt auf Einhaltung der Vorschriften
durch die Implementierung von Cybersicherheitsfunktionen und Data-Governance-Richtlinien, die sicherstellen, dass die Unternehmensdaten ordnungsgemäß gespeichert und gemeinsam genutzt werden.
10 Anwendungsfälle für die Modernisierung von Data Warehouses
Ein Unternehmen sollte eine Data Warehouse-Modernisierung in Betracht ziehen, wenn es um die folgenden Szenarien geht:
Schematitel: Top 10 der wichtigsten Treiber für die Data-Warehouse-Modernisierung
Datenquelle: cloudera.com - The Modernization of the Data Warehouse
Anpassung an neue Analysetrends
Bedarf an Echtzeit-Einblicken
Überarbeitung einer alten Architektur
Hohes Geschäftsrisiko
Streben nach Demokratisierung der Daten
Probleme mit Datensilos
Strenge gesetzliche Anforderungen
Cyber-Bedrohungen
Ausrichtung auf Unternehmensziele
Aktualisieren Sie Ihr Data Warehouse mit der Anleitung von Itransition
Wichtige Strategien zur Modernisierung von Datenlagern
Je nach den Prioritäten und Anforderungen Ihres Unternehmens gibt es verschiedene Möglichkeiten, die Modernisierung des Data Warehouse anzugehen.
Automatisierung von Datenlagern
- Azure Datenfabrik
- Azure-Synapse
- Microsoft SSIS
- Microsoft SQL-Server
- AWS-Kleber
- AWS-Schrittfunktionen
- Intelligente Datenverwaltungs-Cloud von Informatica
- Das autonome Data Warehouse von Oracle
Scheme title: Automated ETL workflow through AWS solutions
Data source: aws.amazon.com — Orchestrate an ETL process using AWS Step Functions for Amazon Redshift
Cloud Data Warehousing
Multi-cloud
umfasst die Verteilung von Anwendungen und Cloud-Assets auf mehrere Cloud-Dienste verschiedener Anbieter, um die Kosten zu optimieren, von einer größeren Auswahl an Funktionen zu profitieren oder die lokalen Gesetze zur Datenverwaltung einzuhalten.
Hybride Wolke
kombiniert lokale und Cloud-Ressourcen oder öffentliche und private Cloud-Umgebungen, um Rechenressourcen nach Bedarf zu skalieren und das Beste aus beiden Welten in Bezug auf Anwendungen und Data-Warehousing-Funktionen zu erhalten.
Scheme title: Hybrid cloud data warehouse architecture
Data source: smartbridge.com — The Path Towards Modern Cloud Data Warehousing with Snowflake resources.enterprisetalk.com — The Definitive Guide to Data Warehouse Modernization
Betriebliche Data Warehouses
Im Gegensatz zu traditionellen Data Warehouses, die für historische Analysen optimiert sind, unterstützt diese Art von DWH Echtzeit-Analysen und -Berichte und ermöglicht operative business intelligence.
Ein operatives Data Warehouse verfügt in der Regel über intuitive Self-Service-Abfragefunktionalitäten, die es auch nicht-technischen Mitarbeitern ermöglichen, auf aktuelle Informationen zuzugreifen. Ausgestattet mit speziellen Funktionen oder integriert mit Monitoring-Tools kann es kontinuierliche Datenströme aufnehmen und analysieren.
- Azure Stream Analytics für Synapse
- Amazon Kinesis für Redshift
- Datenstrom von BigQuery
Integration in einen Datensee
- Data Warehousing außerhalb des Data Lake: Eingehende Daten landen im Data Lake und werden dann per ETL in das DWH übertragen.
- Data Warehousing innerhalb des Data Lake: Das DWH ist eine Teilmenge des Data Lake, aus dem es Rohdaten und teilweise veredelte Daten bezieht.
- Data Warehousing vor dem Data Lake: Das DWH nimmt zunächst Daten auf und bezieht dann eine zusätzliche Kopie aus dem Data Lake.
- Data Warehouse und Data Lake inside/outside hybrid: Analytics-fokussierte DWHs werden im Data Lake zusammengeführt, während diejenigen, die für das Reporting genutzt werden, außerhalb bleiben.
Ein weiterer Schritt wurde mit dem so genannten Data Lakehouse unternommen. Dieses neue architektonische Konzept kombiniert die Funktionen beider Plattformen, um verschiedene Arbeitslasten zu ermöglichen, die Palette der Speicherformate zu erweitern und Echtzeit-Streaming zu unterstützen.
Scheme title: Reference architecture involving data warehouse and data lake integration
Data source: informatica.com — 5 Steps to a Modern Data Warehouse with Cloud-Native Data Management
Top-Plattformen für die Modernisierung von Data Warehouses
Das Angebot an cloudbasierten Lösungen auf dem Markt ist recht umfangreich. Hier sind einige beliebte Optionen, die Sie bei der Modernisierung Ihres Data Warehouse in Betracht ziehen können.
Wesentliche Merkmale
Preisgestaltung
Wesentliche Merkmale
Preisgestaltung
Wesentliche Merkmale
Preisgestaltung
Wesentliche Merkmale
Preisgestaltung
Vorteile der Modernisierung von Datenlagern
Unternehmen, die ihr Data Warehouse modernisieren, können mit den folgenden Vorteilen rechnen.
Überlegene Leistung
Moderne Data Warehouses können dank schnellerer Verarbeitungszeiten große Datenmengen und komplexe Abfragen effizient verarbeiten.
Verbesserte Skalierbarkeit
Cloud-basierte DWHs lassen sich je nach Geschäftsbedarf vergrößern oder verkleinern, ohne dass zusätzliche Investitionen in Hardware oder Infrastruktur erforderlich sind.
Kostenoptimierung
Unternehmen können die Infrastruktur- und Wartungskosten senken, indem sie auf ein von einem Dienstleister verwaltetes Cloud-basiertes Data Warehouse umsteigen.
Analysen in Echtzeit
Moderne DWHs bieten Echtzeit-Analysefunktionen, die schnellere Berichts- und Analysezyklen sowie laufende betriebliche Anpassungen ermöglichen.
Größerer Datenbestand
Ein modernes Data Warehouse unterstützt viele Datentypen und -formate und ermöglicht es Unternehmen, Informationen aus zahlreichen Quellen zu sammeln.
Verbesserte Sicherheit
Moderne DWHs verwenden Datenverschlüsselung und Multi-Faktor-Authentifizierung, um sensible Daten vor unbefugtem Zugriff zu schützen.
Bessere Zusammenarbeit
Moderne Data Warehouses verbessern die teamübergreifende Zusammenarbeit, indem sie eine einzige Quelle der Wahrheit bieten und die gemeinsame Nutzung von Daten erleichtern.
Einhaltung von Vorschriften
Die DWH-Automatisierung kann die Einhaltung von Vorschriften fördern, indem sie Datenverwaltungs- und Berichterstattungsaufgaben automatisch und genauer ausführt als Menschen.
Fahrplan für die Modernisierung des Data Warehouse
Die Modernisierung von Data Warehouses ist ein komplexer Prozess, der eine sorgfältige Planung und Ausführung erfordert. Dies sind die wichtigsten Schritte, um Ihre bestehende Infrastruktur zu aktualisieren und eine flexiblere und skalierbarere Umgebung zu schaffen:
1
Entdeckung
2
Festlegung von Zielen
3
Planung der Migration
4
Entwurf und Entwicklung
Abhängig von dem gewählten Modell und der Strategie können Sie ein neues Data Warehouse von Grund auf neu aufbauen. Dies erfordert die Gestaltung der Architektur und der Datenmodelle, die Entwicklung von ETL/ELT-Pipelines, die Einrichtung von Integrationen, die Definition von Datenbereinigungs- und Sicherheitsrichtlinien und die Erstellung einer Benutzeroberfläche.
5
Durchführung der Migration
Hindernisse bei der Modernisierung von Datenlagern und bewährte Verfahren
Die Modernisierung von Data Warehouses ist oft mit verschiedenen technischen und geschäftlichen Herausforderungen verbunden. Hier sind einige Empfehlungen zur Bewältigung der Probleme:
Integration
Integration
Bindung an den Lieferanten
Bindung an den Lieferanten
Sicherheit der Daten
Sicherheit der Daten
Beginnen Sie mit der DW-Modernisierung
Die durch die Massendigitalisierung ausgelöste Datenflut ebnet den Weg für neue, unerwartete Geschäftsmöglichkeiten. Sie belastet jedoch auch die Datenmanagement- und Business-Intelligence-Ökosysteme, einschließlich Data Warehouses, die mit Hilfe von Cloud-Technologien, Automatisierung und operativer BI einer radikalen Überarbeitung unterzogen werden müssen. Ein erfahrener Partner wie Itransition hilft Ihnen dabei, das Beste aus Ihrer Investition in die Modernisierung Ihres Data Warehouses herauszuholen und gleichzeitig mögliche Herausforderungen zu meistern.
Nutzen Sie unsere Lösungen, um einen Mehrwert aus Ihren Daten zu ziehen
FAQ
Was sind die gängigsten Strategien zur Modernisierung von Data Warehouses?
- Migration eines Unternehmensdatenlagers in die Cloud mit Plattformen wie Amazon Redshift, Azure Synapse Analytics oder Google BigQuery.
- Verbesserte Datenverwaltung und -analyse durch DWH-Automatisierungstools, die ETL und andere Prozesse schneller und genauer durchführen können.
- Implementierung von operativer Business Intelligence zur Erfassung und Verarbeitung von Datenströmen in Echtzeit bei gleichzeitiger Bereitstellung von Self-Service-Datenabfragefunktionen.
Welches sind die wichtigsten Modelle für die Implementierung von Cloud Data Warehouses?
- Bring Your Own License (BYOL)
Unternehmen stellen ihre lokalen Data-Warehouse-Plattformen auf eine Cloud-basierte Infrastruktur um, wodurch sie ihre bevorzugten Funktionen beibehalten und gleichzeitig die Vorteile der Cloud nutzen können. Diese Option wird jedoch nicht von allen Anbietern angeboten, weshalb sie bei der Auswahl einer geeigneten Lösung berücksichtigt werden sollte. - Data Warehouse as a Service (DWaaS)
Hierbei handelt es sich um das Abonnement einer Cloud-nativen DWH-Plattform, die von einem Dienstleister angeboten wird, was eine einfache Nutzung und schnellere Implementierung gewährleistet. Dies kann jedoch mit versteckten Kosten für den Zugriff auf zusätzliche Funktionen und Dienste (z. B. Datensicherung, -wiederherstellung und -sicherheit) sowie mit Problemen der Anbieterbindung aufgrund verschiedener benachbarter Dienste verbunden sein, die nicht mit anderen Cloud- oder lokalen Umgebungen kompatibel sind.
Wie hoch sind die Kosten für die Modernisierung eines DWH durch Cloud-Migration?
- Kosten für die Durchführung des Migrationsprozesses, die von der Anzahl der Server, der Menge der Datenbestände, den erforderlichen Integrationen und den beteiligten Fachleuten (Cloud-Ingenieure, Datenbankadministratoren, Datenmodellierer, ETL-Entwickler usw.) abhängen. Nach Angaben des ODSC liegen diese in der Regel zwischen 1.000 und 3.000 US-Dollar pro Server, wobei komplexere Migrationen bis zu 15.000 US-Dollar pro Server kosten können.
- Kosten für die Wartung der Lösung, abhängig vom Implementierungsmodell (BYOL vs. DWaaS) und der gewählten Cloud-Plattform. Eine Cloud-Lösung kann zwischen 18 und 84 US-Dollar pro Terabyte und Monat kosten.
Einblicke
Data Warehousing für Unternehmen: Architektur, Typen, beste Tools und Auswahl
Erfahren Sie mehr über die besten Data-Warehouse-Lösungen für Unternehmen, ihre Funktionen und Vorteile, und wählen Sie die optimale Technologie für Ihren Fall.
Einblicke
Business Intelligence-Architektur: Schlüsselkomponenten, Vorteile und BI-Team
Erfahren Sie, was eine Business-Intelligence-Architektur (BI-Architektur) ist und welche Komponenten für eine leistungsstarke BI-Lösung erforderlich sind.
Dienst
Dienstleistungen der Datenverwaltung
Delegieren Sie das Datenmanagement an Itransition und verwandeln Sie Ihre Daten in eine einheitliche, saubere und sichere Quelle der Wertschöpfung. Buchen Sie jetzt Ihre Beratung.
Einblicke
Data Fabric vs. Data Lake: Kampf der Titanen
Vergleichen Sie die Konzepte von Data Fabrics und Data Lakes, die wichtigsten Komponenten, gängige Anwendungsfälle, Vorteile und Herausforderungen, und erfahren Sie, welche Lösung für Sie geeignet ist.
Fallstudie
Cloud-Business-Intelligence-System für Fahrzeughersteller
Erfahren Sie, wie Itransition eine BI-Suite in die Cloud migriert und brandneue Cloud-Business-Intelligence-Tools für die Automobilindustrie bereitgestellt hat.
Einblicke
Was ist OLAP in einem Data Warehouse?
Erfahren Sie mehr über die Rolle des Online Analytical Processing OLAP in einem Data Warehouse und wie es Unternehmen hilft, ihre Entscheidungsfindung zu verbessern.