In einer digitalisierten Welt, in der alles Informationen erzeugt und Unternehmen von Daten angetrieben werden, gleicht der Umgang mit unzähligen Wissensquellen und die Gewinnung wertvoller Erkenntnisse daraus der mühsamen Arbeit eines Barkeepers.
Die typischen Datenbestände in Unternehmen sind nämlich alles andere als homogen und lassen sich - erlauben Sie uns eine fantasievolle Metapher - mit "Datencocktails" vergleichen. Die Zutaten kommen aus verschiedenen Flaschen (Datenquellen), müssen geschüttelt und gerührt werden (Datentransformation und Datenintegration) und werden in einem geeigneten Glas (Data Warehouse oder einem anderen zentralen Repository) serviert.
In diesem Artikel konzentrieren wir uns auf den schüttelnden Teil und finden heraus, wie diese "Datengeister" zu einem guten Getränk für Business Intelligence-Analysten zusammengeführt werden können. Wir werden auch erklären, warum Cloud-Technologien, insbesondere Cloud-Datenintegrationsplattformen, für die meisten Geschäftsszenarien die besten Cocktailshaker sein können und ein potenzieller Aspekt, den man bei Investitionen in Business-Intelligence-Dienste priorisieren sollte.
Was ist Cloud-Datenintegration?
Die Cloud-Datenintegration stellt eine Reihe von Werkzeugen und Praktiken dar, bei denen Cloud-Technologien zum Einsatz kommen, um mehrere Systeme miteinander zu verbinden und einen kontinuierlichen Datenaustausch zwischen ihnen sowohl für betriebliche als auch für analytische Zwecke zu ermöglichen. Sie kann in einer Vielzahl von Szenarien eingesetzt werden, darunter:
- Anwendung-zu-Anwendung-Integration zur gemeinsamen Nutzung und Synchronisierung von Daten (um sie zwischen verschiedenen Datentypen konsistent zu machen) zwischen Software-as-a-Service- und On-Premises-Anwendungen.
- Plattformintegration für die Kommunikation zwischen mehreren Plattformen, die über mehrere Umgebungen verteilt sind, einschließlich On-Premises, Hybrid Cloud und Multi-Cloud.
- B2B-Integration, um geeignete Kommunikationsprotokolle einzurichten und Daten mit Geschäftspartnern auszutauschen, auch mit unterschiedlichen APIs (Application Programming Interfaces).
- Microservices-Integration, um APIs zu konfigurieren, die als Brücke zwischen mehreren kleinen Services fungieren, die unabhängig voneinander laufen und bestimmte Prozesse abwickeln.
- IoT-Integration, um Datenströme von Sensornetzwerken und anderen Geräten zu Cloud-Plattformen zu leiten.
- Multi-Cloud-Integration zur Verbindung mehrerer öffentlicher Cloud-Umgebungen, die von verschiedenen SaaS-Anbietern bereitgestellt werden.
- Big-Data-Integration zur Ermöglichung der ETL-Pipeline (Extract-Transform-Load), die Daten aus ausgewählten Quellen in Data-Warehouses überträgt und sie gleichzeitig für Business Intelligence- und Datenanalyse-Abfragen vorbereitet.
Vorteile der Datenintegration in der Cloud
Datenintegration an sich ist nichts Neues, aber ihre Cloud-basierte Variante stellt aus einer Reihe von Gründen einen Schritt nach vorn dar.
Synergie mit Cloud-Umgebungen
Die Verbreitung ziemlich komplexer technischer Ökosysteme, die Softwareanwendungen und Datenspeicher kombinieren, die auf Cloud-basierte und On-Premise-Umgebungen (hybride Cloud), private und öffentliche Clouds oder sogar verschiedene Cloud-Dienste (Multi-Cloud) verteilt sind, hat mehrere Unternehmen zu einem stärker Cloud-zentrierten Datenintegrationsansatz getrieben.
In diesem Zusammenhang wies Gartner darauf hin, dass 81 % der Public-Cloud-Nutzer auf mehr als einen Cloud-Anbieter zurückgreifen.
Bessere Skalierbarkeit
Ein weiterer Katalysator für diese Verlagerung hin zur Cloud als Schlüssel zur Datenintegration sowie für andere wichtige datenbezogene Trends wie Data-Warehouse-Modernisierung ist ihre immense Skalierbarkeit.
Angesichts der schieren Menge an Unternehmenssystemen, die in typische Geschäftsprozesse involviert sind, sowie der unzähligen externen Datenquellen, mit denen Unternehmen in Kontakt treten sollten, um relevante Informationen zu sammeln (z. B. soziale Medien, IoT-Sensoren oder Finanzplattformen), kann sich die Verwaltung dieses wachsenden Datenvolumens, das zwischen ihnen fließt, als Herausforderung erweisen. Ganz zu schweigen von den saisonalen Schwankungen bei der Datenverarbeitung und -archivierung, die sich nur schwer rechtzeitig vorhersagen lassen.
Anstatt in neue Hardware vor Ort zu investieren, greifen immer mehr Unternehmen auf Cloud-Dienste zurück, um mit den ständigen Marktveränderungen Schritt zu halten und ihre operativen und Business-Intelligence-Anforderungen zu erfüllen.
Ein umfassendes Instrumentarium
Die meisten Cloud-Service-Anbieter bieten spezielle Datenintegrations-Tools und vorgefertigte Konnektoren an, um neue Datenintegrationsflüsse nahtlos zu gestalten und durchzuführen. Doch wie kann man diese Tools nutzen und die Cloud erfolgreich in seinem Unternehmen einsetzen?
Auf der Suche nach einem Datenintegrationsansatz, der kürzere Implementierungszeiten, Kostenoptimierung und Benutzerfreundlichkeit gewährleistet, haben sich mehrere Unternehmen in den letzten Jahren dem Modell der so genannten Integrationsplattform als Service (iPaaS) zugewandt.
Verlassen Sie sich auf die Datenintegrationskompetenz von Itransition
Was ist iPaaS?
iPaaS umfasst den Einsatz von Cloud-basierten Plattformen, die von einem Drittanbieter auf Abonnementbasis lizenziert und zentral gehostet werden und über eine Reihe automatisierter Tools zur Integration von Daten und Softwareanwendungen verfügen, die über mehrere Cloud- und On-Premises-Umgebungen verteilt sind. Darunter finden wir in der Regel:
- Data Ingestion Tools zum automatischen Sammeln von Daten aus unterschiedlichen Quellen und zum Leiten dieses Flusses in einen einzigen Datenspeicher.
- ETL-Tools zum Entwerfen und Verwalten der oben erwähnten Extraktions-Transformations-Lade-Pipelines.
- Datenbereinigungstools zum Erkennen, Ersetzen, Ändern oder Entfernen beschädigter Daten und Duplikate.
- Datenkataloge, um Datenbestände mit Metadaten zu versehen, zu inventarisieren und über geeignete Suchfunktionen zu finden.
- Werkzeuge für die Datenmigration, um Daten von einem Speichersystem auf ein anderes zu übertragen und dabei die Formatkompatibilität mit dem neuen Speicherort sicherzustellen.
- Vorgefertigte Datenkonnektoren zum Verschieben, Filtern und Umwandeln von Daten in ein geeignetes Format für Abfragen und Analysen.
- Data-Governance-Tools zur Einrichtung von Verfahren und Protokollen, die festlegen, wie Datenbestände verwaltet und innerhalb eines Unternehmens gemeinsam genutzt werden.
Diese reichhaltige Auswahl an Funktionen, die eine virtuelle Drehscheibe für die Verbindung von Unternehmensanwendungen und -ressourcen schaffen, entlastet Unternehmen und ihre IT-Abteilungen von all den Datenverwaltungs- und Governance-Aufgaben, die typischerweise mit dem Datenintegrations-Workflow verbunden sind, indem sie diese an den Plattformanbieter delegiert.
Außerdem verfügen Datenintegrationsplattformen in der Regel über solide, integrierte Sicherheits- und Überwachungsfunktionen, und die von ihnen angebotenen Dienste lassen sich bei Bedarf problemlos auf- und abwärts skalieren, um Ihren Integrationsanforderungen gerecht zu werden, ohne dass Sie in zusätzliche Ressourcen vor Ort investieren müssen.
Wie wählt man eine Cloud-Datenintegrationsplattform aus
Nachdem wir das Wesen von Cloud-Datenintegrationsplattformen und ihre Hauptmerkmale definiert haben, wollen wir die verschiedenen Kategorien und einige Auswahlkriterien näher erläutern, um Ihnen bei der Auswahl einer geeigneten Lösung für Ihr Unternehmen zu helfen.
Plattformtypen
Heutzutage ist das Angebot an Datenintegrationsplattformen auf dem Markt sogar noch größer als die Bandbreite an Tools und Funktionen, die sie bieten. Wir können dieses riesige Angebot an Dienstleistungen in drei Untergruppen aufteilen:
- Große Cloud-Computing-Plattformen, die ihre eigenen Integrationslösungen anbieten, um verschiedene Anwendungen zu verbinden, die in ihren umfangreichen Ökosystemen eingesetzt werden, einschließlich Cloud Data Fusion, Azure Logic Apps und Amazon EventBridge.
- Vorexistierende Datenintegrationsplattformen, die von langjährigen Technologieunternehmen entwickelt und neu konzipiert wurden, um Cloud-Technologien vollständig einzubeziehen, wie Informatica iPaas, IBM DataStage, SAP Data Hub und Oracle DIPC.
- Cloud-native Datenintegrationsplattformen, die von kleineren, aber dynamischen Unternehmen entwickelt wurden und sich auf aktuelle Technologietrends wie Echtzeit und augmented analytics konzentrieren. Dazu gehören Boomi AtomSphere, Jitterbit Harmony und Talend Data Integration.
Auswahlkriterien
Ob Sie sich für die umfassenden Software-Ökosysteme der ersten Gruppe von Anbietern, die unbestreitbare Stabilität und Erfahrung der zweiten oder den innovativen Ansatz der dritten Gruppe entscheiden, berücksichtigen Sie die folgenden Parameter, um die Plattform zu wählen, die Ihren Anforderungen am besten entspricht:
- Vollständige Unterstützung für Ihre Unternehmenssoftwareanwendungen und Betriebsumgebungen, unabhängig davon, ob sie als SaaS oder lokal gehostet werden.
- Spitzenleistung bei der Datenverarbeitung, insbesondere bei der Verarbeitung großer Datenmengen und bei der Ausführung mehrerer Datenintegrationen, kombiniert mit Überwachungswerkzeugen zur Überwachung und Optimierung der Ressourcenauslastung der Plattform.
- Benutzerfreundlichkeit in Bezug auf die Bereitstellung der Plattform und das Mapping von Quelle zu Ziel sowie die Gestaltung des Integrationsworkflows, im Allgemeinen durch eine intuitive grafische Benutzeroberfläche (GUI).
- Fähigkeit zur Verarbeitung und Interaktion mit einer Vielzahl von Datentypen (strukturiert und unstrukturiert), Datenquellen (CRM, ERP und andere Unternehmens- oder externe Systeme), Datenspeichern (OLAP, zentralisierte, relationale, NoSQL-Datenbanken usw.) und Protokollen (HTTP, FTP usw.).
- Unterstützung des gesamten Spektrums an Datenerfassungsmethoden (Echtzeit-Dateneingabe, ereignisgesteuerte Datenerfassung, Massenimport usw.), Transformation (Datentypkonvertierung, Aggregation usw.) und Mapping (STTM, Datensuche usw.)
- Ein breites Spektrum an vorgefertigten Datenkonnektoren und anderen Integrationswerkzeugen, wie OData, HTTP und FTP.
- Einhaltung aller wichtigen Sicherheitsstandards und Datenschutzbestimmungen, die für Ihre Branche gelten, gewährleistet durch solide Cybersicherheitsmaßnahmen wie Zugriffsmanagement und Datenverschlüsselung.
Neben solchen rein technischen Kriterien müssen Sie natürlich auch die Preis- und Lizenzbedingungen jedes potenziellen Anbieters prüfen. Bedenken Sie zum Beispiel, dass große Anbieter eher längerfristige SLAs und restriktivere Lizenzierungsoptionen anbieten, die jedoch durch ein grundsolides Angebot an Dienstleistungen ausgeglichen werden.
Eine weitere relevante Kennzahl ist der Ruf des Anbieters, der sich allerdings aufgrund seiner immateriellen Natur nur schwer erfassen lässt. Peer-Review-Plattformen und große Beratungsunternehmen können uns jedoch helfen, diese Variable zu entmystifizieren und die Vor- und Nachteile der wichtigsten Datenintegrationsplattformen auf dem Markt zu beleuchten.
Die besten Plattformen für die Datenintegration in der Cloud
Wenn es darum geht, aufschlussreiches Feedback über die Zuverlässigkeit und das Angebot von Cloud-Plattformanbietern zu erhalten, ist Gartner sicherlich eine verlässliche Quelle, auf die man sich verlassen kann. Im Folgenden finden Sie einen kurzen Überblick über die Cloud-Datenintegrationsplattformen für Unternehmen, die im Magic Quadrant 2021 als Marktführer ausgezeichnet wurden.
Informatica
Profis: Informatica ist derzeit der unangefochtene Marktführer im Bereich Cloud-Datenintegration. Sein Angebot kombiniert KI- und ML-gestützte Automatisierung, End-to-End-Integration in hybriden und Multi-Cloud-Umgebungen, skalierbare Data-Engineering-Tools und einen Cloud-Integrations-Hub, der verschiedene Datenintegrationsmodalitäten unterstützt.
Nachteilig: Die DataOps-Funktionen sind nicht besonders brillant, das neue Preismodell erschwert die Vorab-Nutzungsprognose, und die Workload-Migration zwischen einigen der Tools erwies sich als schwierig.
Boomi
Profis: Die Stärke von Boomi ist das breite Angebot an flexiblen Programmen und Dienstleistungen, die sich leicht an die spezifischen Geschäftsanforderungen von Unternehmen verschiedener Größen und Branchen anpassen lassen, einschließlich Ad-hoc-Integratoren, Datenaufbereitungsfunktionen und vertikalen Beschleunigern.
Gegenargumente: Die jüngste Übernahme durch Francisco Partners und TPG Capital gibt Anlass zur Sorge über den künftigen Fahrplan von Boomi und mögliche Preiserhöhungen.
Workato
Profis: Unternehmen, die sich für Workato entscheiden, zeigen sich sehr zufrieden mit der Benutzerfreundlichkeit, den umfangreichen Funktionen und dem ausgezeichneten Kundensupport, was zu einem entsprechenden Umsatz- und Kundenwachstum führt.
Nachteile: Workato leidet unter einem generellen Mangel an umfassenden EDI-Funktionen. Auch die Dokumentation zu den Funktionen der Plattform und die Kommunikation über Updates und Änderungen sind noch verbesserungswürdig.
Oracle
Profis: Oracle verfügt über ein vielfältiges Produktportfolio und brillante Fähigkeiten in Bezug auf B2B- und API-orientierte Integration, Automatisierung, Streaming-Analyse für operative Intelligenz, Managed File Transfer, RPA und Datenvirtualisierung, zusammen mit einem soliden Community-Support und einem breiten Partnernetzwerk.
Nachteilig: Bestimmte Supportbereiche bedürfen weiterer Verbesserungen, das Lizenz- und Preismodell ist recht komplex und die Integration von Drittanbietersoftware kann eine Herausforderung sein, wenn man nicht auf das Partnernetzwerk von Oracle zurückgreifen kann.
SAP
Profis: Der Eckpfeiler von SAP ist die Flexibilität, da die Plattform mehrere Datenintegrationsoptionen in lokalen und Cloud-Umgebungen sowie solide API-Management-Funktionen bietet, ergänzt durch ein reichhaltiges Angebot an prozessorientierten, vorgefertigten Integrationspaketen, die branchenspezifische Szenarien abdecken.
Nachteilig: Einige Kunden berichteten von komplexen Einrichtungsabläufen und Verzögerungen, Kompatibilitätsproblemen mit Nicht-SAP-Lösungen und relativ hohen Lizenzkosten.
Microsoft
Profis: Unternehmen, die auf die Azure Integration Services von Microsoft setzen, profitieren von dem globalen Netzwerk kommerzieller Partner, der reibungslosen Integration mit anderen Microsoft-Technologien, soliden Funktionen für die hybride Bereitstellung und der Unterstützung einer Vielzahl von Integrationsanwendungen, die Apps, Daten und APIs umfassen.
Nachteilig: Die Budgetplanung für Azure-basierte Datenintegrationsprojekte ist nicht immer einfach und der Microsoft-zentrierte Ansatz der Azure Integration Services kann für potenzielle Kunden ein Stolperstein sein.
MuleSoft
Pros: Die Anypoint-Plattform von MuleSoft, die 2018 von Salesforce übernommen wurde, gilt als breiter und effizienter Werkzeugkasten, der iPaaS, B2B und ereignisgesteuerte Integration, API-Management, ESB-Software und Microservices-Entwicklung umfasst.
Nachteile: Die Plattform zielt hauptsächlich auf die Unterstützung von Integrationsspezialisten in komplexen Integrationsanwendungsfällen ab, ist aber möglicherweise nicht die beste Option für technisch nicht versierte Benutzer, ganz zu schweigen von ihrem relativ hohen Preis im Vergleich zu anderen Alternativen.
TIBCO-Software
Profis: Die Cloud-Datenintegrationsplattform von TIBCO wird für ihre modulare Nutzung und Skalierbarkeit, die Leistungsoptimierung, die Funktionen zur Verwaltung von Bulk- und Stream-Daten und den eingebetteten Marktplatz mit einer großen Auswahl an wiederverwendbaren Artefakten gelobt.
Nachteilig: Nach mehreren Übernahmen ist das Portfolio von TIBCO nicht nur größer, sondern auch komplexer geworden, was die Toolauswahl erschwert. Ein weiteres Problem ist der Mangel an Experten, die diese Plattform beherrschen, was durch das Fehlen von Selbstbedienungsfunktionen noch verschlimmert wird.
Neben den Daten aus der Tiefe
In den letzten Jahren haben mehrere Beratungsunternehmen wie Forrester und Gartner die Tatsache hervorgehoben, dass die meisten Unternehmensdaten in den dunkelsten Ecken ausufernder Tech-Ökosysteme schlummern, bewacht von Gollum und anderen einsamen Kreaturen. Einer der plausibelsten Gründe für diesen Zustand ist die mangelhafte Datenintegration über mehrere Anwendungen und Repositories hinweg.
Wie auch immer, Cloud-Technologien, zusammen mit KI-basierter Automatisierung und anderen innovativen Werkzeugen, könnten sich als schnelle und geräumige Minenkarren erweisen und das Gold des 21.
