Benutzerdefinierte ML-Algorithmen für eine Versicherungsplattform

Lösung

Explorative Datenanalyse

Wir führten die anfängliche Projektuntersuchung durch, um die Geschäftsanforderungen und Projekterwartungen des Unternehmens zu verstehen, und begannen dann mit der EDA-Phase (Exploratory Data Analysis). In dieser Phase analysierten unsere ML-Ingenieure das vorherige Modell des maschinellen Lernens und stellten fest, dass es an Skalierbarkeit und Fähigkeiten für genauere Vorhersagen mangelte. Einer seiner Schwachpunkte war die strikte Bindung an die bestehenden Kunden, während der Kunde ständig neue Kunden akquirierte. Itransition erkannte auch, dass die derzeitige Lösung nicht nur durch ein erneutes Training des Modells mit relevanteren Daten in größeren Mengen, sondern auch durch eine Erweiterung der Liste der vom Modell verwendeten Merkmale verbessert werden könnte.

Wir erstellten einen Bericht mit unseren Ergebnissen für ISC, in dem wir erklärten, warum dies notwendig war:

• Ein neues Modell von Grund auf zu entwickeln

• Durchführen einer zusätzlichen Feature-Engineering-Phase zur signifikanten Erweiterung der bestehenden Funktionalität

• Trainieren Sie das Modell, um weniger abhängig von bestehenden Kunden zu sein

Feature Engineering

Vor der Entwicklung neuer Funktionen führte unser Team eine Datenvorverarbeitung und -aufbereitung durch. Wir analysierten die zu verwendenden Daten und bereinigten sie von Ausreißern und falschen Daten. Anschließend entwickelte unser KI-Team Funktionen, die Rohdaten in Funktionen umwandeln, die das zugrunde liegende Geschäftsproblem besser darstellen. Auf der Grundlage historischer Daten erstellten wir eine Reihe von Merkmalen, die die Kriterien für die Wahrscheinlichkeit des Abschlusses des Bewerbungsverfahrens durch die Nutzer umreißen.

Das KI-Team von Transition erstellte auf der Grundlage der verfügbaren Benutzerdaten Ist-Merkmale, wie z. B.:

• Soziodemografische Merkmale
• Historie der Kundeninteraktionen mit ISC (Zeit seit der ersten Registrierung, gekaufte Pläne, Anzahl der registrierten Anfragen usw.)
• Hintergrund des Kunden (z. B. der Geschäftsbereich des Nutzers)

Andere Merkmale mussten berechnet werden, wie z.B. der durchschnittliche Versicherungspreis, basierend auf der Anzahl der Käufe von Versicherungspolicen und den Policenkosten.

Wir entwickelten über 100 Merkmale in enger Zusammenarbeit zwischen unserem Team und den ISC-Spezialisten, wodurch wir unsere technischen Datenanalysefähigkeiten und -erfahrungen mit dem Fachwissen des ISC kombinieren konnten. Unser KI-Team trainierte das Modell, um unnötige Merkmale auszusondern und diejenigen auszuwählen, die für das Modell die wichtigsten Vorhersagefaktoren darstellen würden.

Wir experimentierten mit drei Arten von Datenmanipulationen:

• Filterung von Daten (Verwendung verschiedener Filter, Einführung verschiedener Datenfilterungsmethoden)
• Merkmalskonfigurationen (Änderung der Anzahl der Merkmale, Hinzufügen neuer Merkmale, unterschiedliche Gewichtung der Merkmale)
• Unterschiedliche Datenkombinationen (Datenpartitionierung, Entfernen irrelevanter Stichproben, Verwendung unterschiedlicher Datenkonfigurationen)

Itransition fand die optimalsten Merkmalsätze und gab jedem Merkmal die richtige Gewichtung für das Modell. Wir dokumentierten und präsentierten dem Kunden die Ergebnisse unserer Experimente zusammen mit unserer Interpretation der Vision der Lösung, um die Nachverfolgung und Reproduzierbarkeit der Experimente zu ermöglichen. Mit Hilfe eines ausgeklügelten Feature-Engineerings stellten wir so sicher, dass das Modell dynamische Marktbedingungen berücksichtigt.

Modellschulung

Nach der Erstellung der Merkmale begannen wir mit dem Modelltraining und der Entwicklung von ML-Lösungen. Unser Team probierte verschiedene auf Entscheidungsbäumen basierende Lösungen und neuronale Netze aus, aber die endgültige Version des Modells wurde mit CatBoost erstellt, da es die besten Ergebnisse zeigte.

Das KI-Team von Transition erstellte eine ML-Lösung mit 500.000 Datensätzen von Versicherungsanträgen, um das Modell zu trainieren und die Merkmalsauswahl zu perfektionieren. Wir haben außerdem 50.000 Datensätze für Tests verwendet, um die Genauigkeit des Modells zu überprüfen.

Während des Modelltrainings änderten wir einige Merkmale, um die Qualität des ML-Modells zu verbessern und Merkmale zu entfernen, die für das Modell bei der Entscheidungsfindung von geringer Bedeutung sind.

Wir verwendeten die folgenden Metriken, um die Qualität des Modelltrainings zu bewerten:

• AUC (Fläche unter der ROC-Kurve) misst die Qualität der Vorhersagen des Modells unabhängig von der gewählten Klassifizierungsschwelle. Sie misst auch, wie gut die Vorhersagen eingestuft werden, und nicht ihre absoluten Werte.
• F1 score misst die Modellgenauigkeit anhand der Anzahl der richtigen und falschen Vorhersagen in einem bestimmten Datensatz.

Unser Team verwendete auch die Modelldrift-Metrik PSI (Populationsstabilitätsindex), um zu messen, wie stark sich die Daten im Laufe der Zeit verändert haben, und um die Anwendbarkeit eines Modells auf die aktuelle Population zu überwachen. Die Überwachung der Datendrift hilft dabei, Probleme mit den Daten in einer funktionierenden Lösung zu erkennen und zuzuordnen.

Als Ergebnis des Modelltrainings und der Merkmalsauswahl lieferten wir ein Modell, das Entscheidungen auf der Grundlage von etwa 20 der wichtigsten Merkmale treffen kann. Durch die Auswahl des optimalen Merkmalssatzes konnten wir die Entscheidungsgeschwindigkeit erhöhen, Kosten für Rechenleistung einsparen und eine schnelle Iteration und Konfiguration ermöglichen.

Produktionsüberwachung und -unterstützung

Nachdem wir dem Kunden die Ergebnisse gezeigt und Integrationsstrategien besprochen hatten, stellten wir das Modell als Microservice bereit und übergaben es zusammen mit der technischen Dokumentation der Lösung an das Team des Kunden zur Integration. Das Modell wurde vom Team des Kunden als Microservice und Teil der ISC-Infrastruktur in die Produktion übernommen.

Itransition überwacht und trainiert das ML-Modell ständig, wenn es neue Daten oder Anwendungsfälle gibt. Mithilfe der von uns erstellten Dashboards verfolgen wir auch die Modelldrift, d. h. den Rückgang der Vorhersagekraft von Modellen, der durch Veränderungen in realen Umgebungen verursacht wird. Wenn der Kunde seine Vorhersagefähigkeiten verbessern möchte, aber nicht weiß, wie er vorgehen soll, arbeiten wir eng mit ISC zusammen, um seine Ziele zu verstehen. Anschließend führen wir Analysen durch, um potenzielle Anwendungsfälle zu identifizieren. Sobald wir die Anforderungen klar verstanden haben, entwickeln wir zusätzliche Funktionen für das Vorhersagemodell. Während dieses Prozesses pflegen wir eine offene Kommunikation mit dem Team von ISC und arbeiten gemeinsam an der Verfeinerung und Validierung des Modells.

Als technischer Berater und Partner unterstützt Itransition den Kunden bei der Verbesserung des erstellten Modells, indem wir seine Arbeit gründlich analysieren und Bereiche mit Verbesserungspotenzial identifizieren. Während der Zusammenarbeit legen wir gemeinsam mit dem Kunden Ziele fest und erstellen eine Roadmap für die Wertschöpfung des Unternehmens. Wir haben unsere eigene Herangehensweise und Interpretation von Strategien und Technologien, die für das Geschäft des Kunden am vorteilhaftesten sind.

Wir haben die folgenden Technologien und Tools für das Projekt eingesetzt:

• Streamlit - Demos und Ergebnisse Visualisierung und Analyse
• Flask - API-Entwicklung
• NumPy, PandasAI, Matplotlib/Seaborn - Frameworks zur Datenanalyse und -verarbeitung
• Population Stability Index - Entwicklung eines Mechanismus zur Analyse der Merkmalsverschiebung