BI-Plattform mit KI und Computer Vision für einen Modeeinzelhändler

Lösung

Nachdem unser Team bereits mehrere erfolgreiche BI-Lösungen für den Einzelhandel rund um den Globus geliefert hat, nutzte es sein Fachwissen, um eine zentralisierte BI-Plattform aufzubauen. Die Lösung sammelt und analysiert Daten nahezu in Echtzeit und liefert genaue Kundendaten für die weitere Personalisierung von Websites und mobilen Apps. Die gelieferte Lösung verarbeitet Clickstream-Daten, mobile Daten, Server-Ereignisse und Daten zum Engagement bei E-Mail-Kampagnen.

Plattformlast
10 TB an verarbeiteten Daten	8 Millionen verfolgbare Ereignisse auf der Website und in der mobilen Anwendung	3,5 Millionen E-Mails im System	30 Tausend Ereignisse pro Minute auf der Website (im Durchschnitt)

* Disclaimer: Gemäß der Geheimhaltungsvereinbarung können wir die Screenshots des echten Systems nicht veröffentlichen. Wir stellen hier ähnliche Screenshots zur Verfügung, um eine Vorstellung von der von Itransition entwickelten Lösung zu vermitteln

Lösungsarchitektur

Grundzüge der Architektur
Ereignisverfolgungsebene	Verfolgung von Ereignissen aus verschiedenen Quellen (Web, Mobile, Server, etc.)
Ereignissammelschicht	Sammeln von verfolgten Ereignissen und Betriebsdaten aus den Backend-Systemen (ecommerce, CRM, usw.)
Ereignisverarbeitungsschicht	Laden, Normalisieren, Filtern, Validieren und Umwandeln von gesammelten Daten
Datenspeicherschicht	Speichern von Daten, die für statistische Analysen und maschinelles Lernen optimal sind
Datenverbrauchsschicht	Aufbau von Data Marts mit Ansichts- und Integrations-APIs für den Zugriff auf die Daten
Integrationsschicht	Das Sammeln von Daten aus Drittquellen über Konnektoren, Adaptoren und ETL-Jobs

Die Plattform unterstützt zwei Hauptnutzer: das Marketingteam des Einzelhändlers und die angemeldeten Mitglieder.

Das Marketingteam kann:

• Daten über Nutzeraktivitäten in jedem Kanal (Website, mobile Anwendung, E-Mails, Umfragen usw.)
• Mehr als 100 Arten von benutzerdefinierten Berichten über die Nutzung und die Ansichten der Website, Produktbestellungen usw.
• Erstellen Sie bei Bedarf Ad-hoc-Abfragen auf der Grundlage der gesammelten Daten

Abonnierte Mitglieder können:

• Ihre eigenen personalisierten Versionen der Website, der Webanwendung, der E-Mails und der Push-Benachrichtigungen genießen, komplett mit Bannern, Website-Kategorien und Produkttypen, die auf der Grundlage früherer Ansichten und Käufe auf ihre Vorlieben zugeschnitten sind

KI-gestützte Empfehlungsmaschine

Um unserem Kunden dabei zu helfen, seinen Online-Besuchern ein personalisiertes Erlebnis zu bieten und die Genauigkeit der Empfehlungen zu verbessern, haben wir eine Empfehlungsmaschine mit kollaborativer Filterung entwickelt. Der Algorithmus der kollaborativen Filterung arbeitet mit implizitem Nutzerfeedback wie Käufen, Ansichten, Klicks und anderen Metriken, die von der Website, der mobilen App oder E-Mails stammen.

Wir haben uns für diese Methode entschieden, da sie sich leicht skalieren lässt, um Terabytes von Daten zu verarbeiten, so dass wir sie auf mehr als zehn Rechnern gleichzeitig laufen lassen konnten.

Unser Team entschied sich für den ALS-Algorithmus (Alternating Least Squares), der ursprünglich beim Netflix Prize eingesetzt wurde, da er die Skalierbarkeits- und Leistungskriterien des Projekts erfüllte. Außerdem verwendeten wir einen Random-Forest-Regressor zur Vorhersage von Produktbewertungen, die als Kombination von Artikelklicks, Klicks auf die Schaltfläche "In den Warenkorb" und Käufen berechnet wurden.

Unter Berücksichtigung von mehr als 20 Millionen Plattformnutzern und 9 Millionen SKUs wählten wir Apache Spark als wichtigste ETL-Plattform und Spark MLLib, basierend auf dem ALS-Algorithmus, um ML-Pipelines in der Produktion auszuführen.

Computer-vision für die Bilderkennung von Produkten

Unser Team hat die Computer Vision auch für eine Reihe von internen Aufgaben eingesetzt:

• Automatisierte Erkennung von Produktattributen in Produktbildern, einschließlich Farbe, Kleidungsart, Muster, Ausschnitt, Ärmellänge usw.
• Automatisierte Farberkennung auf der Grundlage einer Vorfilterung zur Entfernung irrelevanter Bildteile wie Hintergrund und Haut. Wir haben Kantenerkennung, adaptive Schwellenwerte und Clustering im CIELAB-Farbraum verwendet, um die Anzahl der in den Grundfarben verwendeten Farbtöne zu reduzieren.
• Klassifizierung von Bildern mit mehreren Attributen. Wir haben ein vorgefertigtes ResNet-50 Faltungsneuronales Netzwerk verwendet, das mit Keras und TensorFlow erstellt wurde und auf ImageNet mit einem Satz von über 100.000 Produktbildern vortrainiert wurde.
• Bildähnlichkeitssuche wurde mit der gleichen Architektur wie die Multi-Attribut-Klassifikation entwickelt. Wir fügten dem CNN eine zusätzliche Einbettungsschicht hinzu, um die Suche nach dem nächsten Nachbarn (NNS) zu ermöglichen.

Technologien und Werkzeuge

Eines der Hauptziele des Projekts war es, die Lösung mühelos skalierbar zu machen und gleichzeitig die Gesamtkosten für die Infrastruktur zu senken. Ursprünglich basierte die Lösung auf dem Apache-Stack, einschließlich Kafka, Storm und Hive Streaming. Gemeinsam mit dem Kunden beschlossen wir, die Lösung auf den Amazon Web Services (AWS) zu hosten und mit einer serverlosen Architektur aufzubauen.

Dieser Ansatz ermöglichte es dem Entwicklungsteam, die Lösung leicht skalierbar und fehlertolerant zu machen sowie die automatische Skalierung der vorhandenen Ressourcen zu gewährleisten, ihre Leerlaufzeit zu minimieren und somit die Infrastrukturkosten zu senken.

Itransition entwickelte die Datenerfassungsschicht auf Basis der Hortonworks Data Platform (HDP).

Auch die Kosten für die Verwaltung der Amazon DynamoDB wurden optimiert. Da der Datenverkehr der Anwendung im Laufe des Tages stark schwankte, war es sehr schwierig, ihn vorherzusagen und zu kontrollieren, um den Modus der bereitgestellten Kapazität effektiv zu nutzen. Daher wechselten wir zum Amazon DynamoDB On-Demand Pricing ohne geplante Kapazitätsgrenzen. Dadurch konnte der Kunde Situationen vermeiden, in denen die Datenspeicherkapazität unter- oder überbelegt war. Durch die Abrechnung pro Anforderung konnte der Kunde die Kosten für die Datenbankverwaltung um fast 50 Prozent senken.

Eine weitere Herausforderung, mit der unser Team bei diesem BI-Projekt für den Einzelhandel konfrontiert war, bestand darin, die Kosten für das Training von dockerisierten Deep-Learning-Modellen (DL) zu senken. Die AWS ML-Plattform SageMaker ist beispielsweise teuer, um DL-Modelle auf GPU-Instanzen (Graphic Processing Unit) zu trainieren. Sie unterstützt keine Amazon EC2-Spot-Instanzen, die den Vorteil von freien Rechenkapazitäten in der AWS-Cloud bieten. Mit EC2-Instanzen ist es möglich, virtuelle Server (Instanzen) für die benötigte Zeit zu mieten und dann eine On-Demand-Instanz anzufordern. Um diesen Fallstrick zu überwinden, hat unser Team ein benutzerdefiniertes Framework entwickelt, das die Erstellung von TensorFlow-basierten Modellen, deren Dockerisierung und die Bereitstellung auf EC2 Spot ermöglicht. Dadurch konnten wir rund 50 Prozent der Kosten einsparen.

Itransition integrierte die Plattform auch mit Lösungen und Tools von Drittanbietern, darunter:

• Salesforce Marketing Cloud zur Verwaltung von E-Mail-Kampagnen
• LiveIntent zur Unterstützung von Echtzeit-Werbung
• SurveyGizmo zum Erstellen von Umfragen und Treffen fundierter Entscheidungen auf der Grundlage der Ergebnisse
• Evergage zum Erfassen und Analysieren des Nutzerverhaltens in Echtzeit