Ein paar Jahrzehnte früher war die Datenmigration eine einfache und unkomplizierte Aufgabe - man musste Ordner aus dem alten Schrank in einen neuen mit mehr Fächern verschieben. Vielleicht musste man sich ein ausgeklügeltes Ablagesystem einfallen lassen, aber das war es auch schon.
Datenmigration scheint heute eher einfach zu sein und beinhaltet die Übertragung von Daten von einem System oder Repository in ein anderes. In den meisten Fällen sind die Daten jedoch so vielfältig, dass sich ihre Migration zu einem viel komplizierteren Prozess entwickelt. Leider kann eine schlecht gemanagte Datenmigration zu schwerwiegenden Datenverlusten und Leistungseinschränkungen führen, vor allem, wenn die Datenmigrationsstrategie vernachlässigt oder zu sehr vereinfacht wird.
Lassen Sie uns über Situationen sprechen, in denen Unternehmen eine Datenmigration benötigen und ein Beispiel für eine effektive Datenmigrationsstrategie betrachten.
Warum brauchen Unternehmen eine Datenmigration?
Eine einfache Antwort auf diese Frage lautet: um die Leistung zu steigern und einen Wettbewerbsvorteil zu erzielen. In der Praxis steht die Datenmigration meist zur Debatte, wenn Unternehmen neue Systeme einführen:
- Datenbankmigration ist erforderlich, wenn sich ein Unternehmen für einen anderen Datenbankanbieter entscheidet, der fortschrittlichere Datenverwaltungsfunktionen, schnellere Leistung und mehr Möglichkeiten zur kosteneffizienten Skalierung bietet.
- Speichermigration ist nicht immer auf einen Mangel an Speicherplatz zurückzuführen. Sie ist in der Regel erforderlich, wenn ein Unternehmen fortschrittlichere Technologien einführt oder sein bestehendes System aufrüstet und seine Daten auf ein anderes Speichersystem migrieren muss, zum Beispiel von On-Premises- auf Cloud-Server.
- Anwendungsmigration wird benötigt, wenn Daten von einer Anwendung oder Plattform zu einer anderen verschoben werden sollen, und zwar innerhalb des Ökosystems desselben Anbieters oder zwischen verschiedenen Anbietern.
Die Datenmigration wird jedoch zu einer wirklich dringenden Angelegenheit, wenn die gesamte Infrastruktur überholt werden muss, indem von einer veralteten Lösung, die langsam, schwerfällig und unzureichend geworden ist, in die Cloud oder zwischen verschiedenen Cloud-Umgebungen verschoben wird (wie in diesen Beispielen der EHR-Migration). In den meisten Fällen umfasst die Cloud-Migration die gleichzeitige Migration von Datenbanken, Speichern und Anwendungen.
Um zu verstehen, in welchen Fällen Unternehmen eine Datenmigration benötigen, haben wir Business-Intelligence-Berater von Itransition gebeten, ein paar Beispiele aus ihrer Erfahrung zu nennen.
Migration von E-Mail-Archiven
Ein Unternehmen, das im Bereich der E-Mail-Verwaltung tätig ist, hat sich mit uns zusammengetan, um eine Lösung für die Migration von E-Mail-Archiven zu entwickeln und sie mit mehreren Plattformen kompatibel zu machen. Im Rahmen des Projekts lieferten wir ein Tool, das die reibungslose Migration älterer E-Mail-Archive von/zu 25+ Archivsystemen, sowohl vor Ort als auch in der Cloud, ohne Beeinträchtigung der Datenintegrität unterstützt.
Wir stellten sicher:
- Die Systemzugänglichkeit und die Kontinuität der Geschäftsprozesse während der Migration.
- Möglichkeiten, den Archivinhalt zu analysieren, Profile zu erstellen, eine selektive Migration durchzuführen, Aufbewahrungsrichtlinien zu definieren, Duplikate zu entfernen und veraltete Daten herauszufiltern.
- Mechanismen zur Datenbereinigung.
- Berichterstellung für die Rückverfolgbarkeit von Daten.
Im Ergebnis verschaffte das Tool dem Unternehmen einen Wettbewerbsvorteil, indem es große Datenmengen verarbeitete und eine 10-mal schnellere Leistung als vergleichbare Produkte bot.
Migration der pharmazeutischen Datenanalyse in die Cloud
Ein in den USA ansässiges multinationales Unternehmen, das Analyse-, Technologie- und Forschungsdienstleistungen für die pharmazeutische Industrie anbietet, wandte sich an uns, um mit der wachsenden Nutzerbasis seiner Pharmazeutische-daten-analytik-Plattform Schritt zu halten und ihre hohe Leistungsfähigkeit zu erhalten. Die Datenbestände des Kunden umfassten über 500 Millionen Patientendatensätze zu mehr als 50 Tausend Patenten. Wir unterstützten ihn bei einer Cloud-Migrationsstrategie und verlegten seine Lösung von einem lokalen Server in die Cloud.
Als Ergebnis konnte der Kunde die Nutzerbasis erweitern und die Infrastrukturkosten senken, während er gleichzeitig hohe Verfügbarkeit, Skalierbarkeit und Unternehmens-cybersicherheit sicherstellte.
Sie suchen einen Partner für die Durchführung Ihrer Datenmigration?
Nehmen Sie Kontakt auf, um die Zusammenarbeit zu besprechen
Die richtige Strategie für die Datenmigration in 6 Schritten
Da Unternehmen in der Regel großzügige Investitionen und Anstrengungen in neue Plattformen stecken, kann die Datenmigration als eine weitere Aufgabe behandelt werden. In der Praxis ist die Datenmigration ein komplexes Unterfangen, bei dem minderwertige Daten den Betrieb des Kernsystems beeinträchtigen und zu unzureichenden Erfahrungen führen können. Der Prozess erfordert Aufmerksamkeit und eine eigene Strategie.
Natürlich ist jede Strategie auf die Besonderheiten und Bedürfnisse des Unternehmens zugeschnitten, aber sie folgt in der Regel einem gemeinsamen Muster:
Phase 1. Planung
Diese Phase ist bei weitem eine der wichtigsten auf Ihrem Weg zur Datenmigration. Sie programmiert Ihre Erwartungen für die gesamte Projektdauer, gibt eine klare Route vor und legt die Erfolgskennzahlen fest.
Abschätzung des Projektumfangs
Zuallererst müssen Sie einen umfassenden Vergleich von Quell- und Empfängersystemen durchführen. Ermitteln Sie gemeinsam mit dem IT-Team und den von der Datenmigration betroffenen Nutzern die Punkte, die im neuen System angepasst werden müssen, und legen Sie fest, welche Datenmenge mindestens erforderlich ist, damit das neue System effizient arbeiten kann. In vielen Fällen ist es selten notwendig, den gesamten Datenbestand auf einmal zu verschieben, sondern man kann Daten in Sequenzen verschieben oder einige Teile ganz archivieren.
Wählen Sie einen Migrationsansatz
Daten können nach dem "Big Bang"-Ansatz (auf einen Schlag in einem begrenzten Zeitraum) oder nach dem "Trickle"-Ansatz (Migration in Phasen, während Quell- und Zielsystem nebeneinander laufen) migriert werden. Wenn Sie große Datenmengen verschieben müssen, kann der erste Ansatz attraktiv erscheinen, da er verspricht, die Migration in kurzer Zeit zu bewältigen. In Wirklichkeit ist sie jedoch für die meisten Unternehmen (außer für die ganz kleinen) keine beliebte Wahl, da sie zu massiven Ausfallzeiten geschäftskritischer Systeme führen kann, während mögliche Fehler den Betrieb noch länger lahm legen können.
Die meisten Unternehmen migrieren ihre Daten daher schrittweise, obwohl es sich dabei um einen viel komplizierteren Prozess handelt, der ein gut durchdachtes Konzept erfordert. Es erfordert auch mehr Aufwand für die Datennutzer, die während der Migration zwischen den beiden Systemen wechseln müssen, und für die Dateningenieure, die überwachen müssen, welche Daten migriert wurden, und die im Falle von Datenänderungen eine Aktualisierung der Migration veranlassen müssen. Der Vorteil dieses Ansatzes besteht darin, dass er bei richtiger Durchführung keine schwerwiegenden Ausfallzeiten oder Betriebsunterbrechungen mit sich bringt und das Erkennen und Beheben von Fehlern und Problemen in einem frühen Stadium des Prozesses erleichtert. Wenn Sie mehr über die Wahl des richtigen Migrationsansatzes erfahren möchten, lesen Sie unseren Blogbeitrag über AWS-Cloud-Migrationsstrategien.
Festlegen eines realistischen Projektbudgets und Zeitplans
Eine Schätzung des Zeitplans und des Budgets hilft Ihnen zu verstehen, ob Ihr Projekt durchführbar ist.
Der Zeitplan für das Projekt wird auf der Grundlage einiger Variablen berechnet. Wenn Sie die Menge der zu migrierenden Daten kennen, können Sie die für die Übertragung dieser Daten benötigte Zeit unter Berücksichtigung der Netzwerkbandbreite abschätzen.
Es ist wichtig zu wissen, ob die Durchführung der Datenmigration Ausfallzeiten verursachen wird und wie man diese so gering wie möglich halten kann (z. B. durch Planung nach Feierabend oder am Wochenende, um eine Unterbrechung der Geschäftskontinuität zu vermeiden), und diese Zeit zum Projektzeitplan hinzuzufügen.
Beraten Sie sich mit Ihrem Datenmigrationsteam, um die Zeit für die Entwicklung oder Anpassung des Datenmigrationstools, die Durchführung der Datenmigration, das Testen, das Datenaudit nach der Durchführung und die Wartung zu schätzen. Planen Sie einen Sicherheitszeitraum für mögliche Unwägbarkeiten ein.
Beim Entwurf Ihres Budgets sollten Sie die Kosten für die Datenmigrationslösung, die Zahlungen an ein internes oder ausgelagertes Team während der Projektphasen, die Überprüfung der Einhaltung der Vorschriften und mögliche Ausfallzeiten berücksichtigen. Beachten Sie, dass die Projektkosten umso höher sind, je mehr Daten migriert werden sollen. Aus diesem Grund ist es nicht sinnvoll, alle Daten auf einmal zu migrieren. Prüfen Sie stattdessen die Daten, um zu verstehen, was warten kann und was zuerst verschoben werden sollte.
Planen Sie die Ausmusterung des alten Systems
Wenn Sie nicht vorhaben, die beiden Systeme nach dem Umzug gleichzeitig zu nutzen und Ihre alte Umgebung vollständig zu migrieren, sollten Sie deren Stilllegung planen, um finanzielle und personelle Ressourcen zu sparen:
- Kündigen Sie alle aktiven Softwarelizenzen
- Entsorgen Sie überflüssige Hardware
- Kündigen Sie den Support und die Wartung des alten Systems
- Planen Sie die Umschulung Ihrer Mitarbeiter
Wählen Sie ein Migrationstool
Wenn Sie Petabytes von Daten unterschiedlicher Formate und Empfindlichkeitsstufen bewegen, benötigen Sie ein Werkzeug zur Automatisierung der Datenmigration. Um ein Instrument zu erhalten, das genau auf Ihre Bedürfnisse zugeschnitten ist, müssen Sie es wahrscheinlich von Grund auf neu entwickeln. Planen Sie diese Entwicklungszeit in Ihren Projektzeitplan ein. Wenn Sie eine plattformbasierte Lösung verwenden möchten, prüfen Sie, ob diese über die erforderlichen Funktionen verfügt, z. B. einfaches Daten-Mapping mit Drag-and-Drop-Tools, umfassende ETL-Funktionen und Workflow-Orchestrierung.
Bilden Sie ein Datenmigrationsteam
Entscheiden Sie, wen Sie zu Ihrem Projekt hinzuziehen wollen. Idealerweise sollten Sie sowohl Geschäftsanwender als auch IT-Berater zur Mitarbeit einladen. Datenanwender, die sich mit datengestützter-entscheidungsfindung beschäftigen und die Struktur und Bedeutung der Quelldaten verstehen, sollten ihr Fachwissen mit dem IT-Team teilen, wenn es darum geht, welche Datentypen für die Migration priorisiert werden, welche Formatierungen geändert werden können und welche nicht, und welche Workflows benötigt werden und welche wegfallen können. Gleichzeitig können die Entwickler die Besonderheiten des neuen Systems erläutern und erklären, welche Daten benötigt werden, um es zum Laufen zu bringen.
Wenn Sie ein maßgeschneidertes Datenmigrationswerkzeug benötigen, können Sie mit Ihrem internen IT-Team zusammenarbeiten, sofern es über die erforderlichen Kompetenzen verfügt und für die Dauer des Projekts zur Verfügung steht, oder Sie können Softwareentwicklungsberater mit der Entwicklung und Erstellung dieses Werkzeugs beauftragen.
Phase 2. Aufbereitung der Daten
Nachdem Sie den Projektumfang abgeschätzt, Ihr Datenmigrationsteam zusammengestellt und die erforderliche Infrastruktur eingerichtet haben, ist es an der Zeit, Ihre Daten für die Übertragung vorzubereiten.
Prüfung
Die für die Migration ausgewählten Daten sollten in ein einziges Repository gezogen und auf granularer Ebene auf Konflikte, Inkonsistenzen, Duplikate, fehlende Chunks und Qualitätsprobleme untersucht werden. Diese Phase ist extrem arbeitsaufwändig und wird daher in der Regel durch Automatisierungswerkzeuge abgedeckt. Alle gefundenen Probleme müssen vor der Migration behoben werden.
Backup
Sie können nicht alle möglichen Probleme vorhersehen, die während der Durchführung der Migration zu Datenverlusten oder -beschädigungen führen können. Legen Sie deshalb eine zusätzliche Schutzschicht an und sichern Sie alle Ihre Daten, insbesondere die zu migrierenden Dateien. Wenn etwas schief geht, können Sie die notwendigen Daten wiederherstellen.
Verwaltung
Finden Sie heraus, wer das Recht hat, auf Daten zuzugreifen, sie zu bearbeiten und zu löschen, und ordnen Sie diese Rollen und Zugriffsebenen dem neuen System zu, um so die Struktur für Big-Data-Governance zu schaffen. Auf diese Weise kennt Ihr Team seine Rollen und Verantwortlichkeiten während und nach der Datenmigration, wodurch Missverständnisse, Verzögerungen und Sicherheitslücken vermieden werden können.
Phase 3. Entwurf der Migration
Vor den ETL-Operationen sollten ETL-Entwickler und Datennutzer für eine entscheidende Aufgabe zusammenkommen - das Daten-Mapping. Dazu müssen detaillierte Mapping-Regeln erstellt werden, die die Felder des Quellsystems mit denen des Zielsystems abgleichen.
Das Datenmapping wird schwierig, wenn Sie entscheiden müssen, ob die Migration metadaten- oder inhaltsorientiert sein soll. Metadaten beschreiben in der Regel den Speicherort der Quelldaten, z. B. einen Datei-/Feld-/Spalten-/Tabellennamen, und die Merkmale jedes Speicherorttyps, z. B. Zeichen, Zahlen oder Datum. Der Inhalt wird in diesen Feldern und Spalten gespeichert.
Der metadatengesteuerte Ansatz geht davon aus, dass der Inhalt seine Beschreibung widerspiegelt, aber das ist nicht immer so. Die Spalte, die als "E-Mail" beschrieben wird, kann einige E-Mails enthalten, aber E-Mails können auch in einer anderen Spalte unter einem anderen Namen gespeichert werden, wie "Kontaktinformationen". Dies führt zu allgemeinen Annahmen und damit zu Fehlern bei der Erstellung von Mapping-Regeln und Spezifikationen. Um Mapping-Fehler und mehrfache Iterationen zu vermeiden, wird empfohlen, die Inhaltsanalyse in der Phase des Datenaudits und der Profilerstellung durchzuführen.
Benötigen Sie ein Werkzeug zur Datenmigration?
Wir sind hier, um sie auf Ihre Anfrage hin zu erstellen
Phase 4. Ausführung
In dieser Phase müssen Sie Daten aus dem Quellsystem extrahieren, sicherstellen, dass die Daten von hoher Qualität sind, sie in das richtige Format umwandeln und sie schließlich in das Zielsystem laden. Für diese Phase benötigen Sie ETL-Ingenieure und eine ETL-Lösung, um den Prozess zu automatisieren. Lassen Sie uns diese Phase anhand eines Projekts von Itransition veranschaulichen, bei dem wir ein maßgeschneidertes ETL-System für die Migration von Big Data entwickelt haben.
Wir arbeiteten mit der größten Vertriebsgenossenschaft in den USA zusammen, die landesweit über 270 Tausend Kunden mit Energiedienstleistungen versorgte. Das Unternehmen verfügte über eine ständig wachsende Datenbank mit technischen und regulatorischen Unterlagen, die in einem alten ECM-System gespeichert waren. Irgendwann begann die überlaufende Datenbank die Systemleistung zu beeinträchtigen, was zu erheblichen Ausfallzeiten und geringer Produktivität führte. Itransition wurde ausgewählt, um das Unternehmen bei der Migration seines umfangreichen Dokumentenspeichers auf eine besser skalierbare ERP-Plattform zu unterstützen.
Wir waren an den beiden Phasen beteiligt:
- Wir haben alle Daten sicher und präzise aus dem Altsystem mit so wenig Ressourcen wie möglich abgerufen.
- Wir aggregierten, strukturierten und transformierten die Daten nach den Regeln des Zielsystems.
Um mehr als 24 Millionen Dateien in verschiedenen Formaten für die Migration vorzubereiten, entwickelten wir eine robuste ETL-Lösung, die den nahtlosen und präzisen Export und die Indizierung von Millionen heterogener Dokumente sowie das Mapping, die Transformation und die Speicherung der Daten in geeigneten Formaten für das Zielsystem ermöglichte. Darüber hinaus implementierten wir einen effizienten Protokollierungsmechanismus, der Fehler während des Exports aufzeichnete und so die Genauigkeit und Konsistenz der Daten sicherstellte.
Wir konnten die Datenbank in einer Rekordzeit konvertieren - zehnmal schneller als in der Projektdokumentation angegeben - und haben während des Exports und der Konvertierung keine Geschäftsprozesse unterbrochen.
Phase 5. Testen und in Betrieb nehmen
Das Testen sollte eigentlich in dem Moment beginnen, in dem Sie mit der Datenmanipulation beginnen, und in allen weiteren Phasen fortgesetzt werden, sei es beim Entwurf, bei der Ausführung oder beim Audit nach der Migration. Wenn Sie einen stufenweisen Migrationsansatz verfolgen, müssen Sie jeden Stapel migrierter Daten testen, um Probleme frühzeitig zu erkennen und die Datenqualität sicherzustellen. Sobald die Fehler behoben sind, testen Sie erneut. Wenn die Migration abgeschlossen ist, überprüfen Sie die migrierten Daten, indem Sie Unit-, System-, Full-Volume- und Batch-Applikationstests durchführen, bevor Sie live gehen.
Wenn Sie das migrierte System in seiner Gesamtheit testen, können Sie eine Reihe unerwarteter Probleme aufdecken, die bei isolierten Tests nie aufgetreten sind. Wenn alles behoben und erneut getestet wurde und alle Beteiligten mit den Ergebnissen zufrieden sind, ist es an der Zeit, das System in Betrieb zu nehmen.
Phase 6. Audit und Wartung
Die Produktivsetzung ist zwar der Höhepunkt der Datenmigration, aber nicht das endgültige Ziel eines Datenmigrationsprojekts. Wenn das neue System in Betrieb geht, ist es wichtig, die Projektergebnisse zu validieren und die Systemleistung langfristig zu überwachen. Führen Sie eine umfassende Prüfung des Systems durch, um sicherzustellen, dass alles korrekt ist, die Datenqualität hoch ist und keine Daten fehlen. Führen Sie regelmäßige und Ad-hoc-Audits durch, um sicherzustellen, dass das System den Datenumfang abdeckt, die Daten nach wie vor von hoher Qualität sind, es keine Anzeichen für eine Datenverschlechterung gibt und die Benutzer zufrieden sind.
Erstellen Sie jetzt Ihre Datenmigrationsstrategie
In Anbetracht von Big-Data und-seine-auswirkungen-auf-die-geschaeftstaetigkeit werden Daten auch in Zukunft als ein Vermögenswert behandelt, den Unternehmen, auch kleine, anhäufen und mit sich führen, wenn sie in eine andere technologische Umgebung wechseln. Bei jedem Umzug müssen sie sicherstellen, dass sie nur wertvolle Daten von hoher Qualität übertragen. Hier sorgt eine bewährte Datenmigrationsstrategie in Verbindung mit einem erfahrenen Team und fortschrittlichen Werkzeugen dafür, dass die Unternehmen einen Schritt nach vorn machen, anstatt weitere Herausforderungen zu schaffen.
