Volle Kontrolle: Echtzeit-Analytics mit Monitoring 2.0

Viel hilft viel – aber nur, wenn es dabei auch schnell genug zugeht. Genau damit punktet Fast Data: Die Verbindung von Big Data und Echtzeit-Auswertung ermöglicht ganz neuartige Ansätze. Etwa Monitoring 2.0, woran Eddie in seinem Job als Projektleiter und Product Owner für die ING Deutschland arbeitet – eine der vielen spannenden IT-Stellen bei dieser digitalen Challenger-Bank. Worum geht es bei dem Projekt? Eddie nutzt Fast Data für das Monitoring von IT-Systemen, z.B. Status, CPU-Ressourcen, Speicher oder Prozess-Stabilität. Dabei werden Logdateien kontinuierlich ausgewertet, um den Systembetrieb zu verbessern. Die riesige Datenmenge wird derart schnell analysiert, dass beim Auftauchen relevanter Events sofort reagiert werden kann. Das zukunftsweisende Ziel: eine End-to-end-Lösung für Near-Time-Überwachung und Predictive Maintenance.

Überwachen, erkennen, voraussagen

Ärger durch plötzlichen Systemausfall – das kennt jeder ITler. Eddie: „Wir hatten zum Beispiel folgendes Problem. Ein Entwickler möchte vor dem Release sein Programm livestellen, und der Tester testet das dann entsprechend. Aber wenn ein Server ausfällt, bekommt der Tester das nicht mit. Er weiß dann gar nicht, was das Problem ist. Mit Monitoring 2.0 wollten wir deshalb eine Umgebung zur Verfügung stellen, wo alle relevanten Personen einen Überblick über den Systemstatus und andere Details haben.“ Bislang benötigte man oftmals mehrere Tage für die Ursachenforschung bei Ausfällen. „Dieser Zeitaufwand verkürzt sich jetzt auf Minuten bis Stunden,“ erklärt Eddie. Es können sogar Systemausfälle vorausgesagt und so verhindert werden. „Im nächsten Schritt wollen wir auch Prediction Machine Learning durchführen. Das ermöglicht dann z.B. eine Warnung, dass ein System in wenigen Tagen ausfallen könnte.“ Durch die große Datenbasis können dann trainierte Modelle Muster erkennen und Korrelationen ableiten, die ein menschlicher Beobachter nicht wahrnehmen würde. Und schon gar nicht so schnell. Dank Machine Learning lässt sich zukünftig prognostizieren, ob eine bestimmte Operation zu Problemen führen wird, schon bevor diese Operation überhaupt durchgeführt wurde – Predictive Maintenance in Perfektion.

Pionier-Architektur rund um den ELK-Stack

Für die Umsetzung dieses ambitionierten Projekts ist aber eine besondere Architektur notwendig, die eigens konzipiert werden musste. Damit betraten die IT-Experten der ING Neuland. Eine Voraussetzung war der Verzicht auf übliche Cloud-Lösungen aufgrund Bank-spezifischer regulatorischer Vorgaben. Eine andere der Zugriff auch auf Altsysteme – bei einem großen Konzern wie der ING ein wichtiger Aspekt. Es geht um eine Kombination von „normaler Welt“ und Cloud-Welt: „Wir monitoren alle Welten zusammen – auf einem Dashboard,“ erklärt Eddie. Die kreative Architektur besteht daher aus einer geschickten Orchestrierung geeigneter Komponenten, von denen viele – aber nicht alle – in der ING Private Cloud laufen. Das Austauschen der Daten erledigt dabei Apache Kafka. Der Vorteil dieser Event-Streaming-Plattform: Sie kann Daten aus vielen unterschiedlichen verteilten Applikationen und Quellen auf einmal verarbeiten – und das sehr schnell, im Bereich von Millisekunden. Kafka bietet hohe Ausfallsicherheit und integriert auch Legacy-Systeme wie traditionelle Datenbanken und Middleware. Die Monitoring-Prozesse selbst laufen im ELK-Stack ab, der die drei Open-Source-Komponenten Elasticsearch, Logstash und Kibana verbindet (auch Elastic Stack genannt). Logstash fungiert dabei als Pipeline, die Daten bei Bedarf aus Kafka zieht und somit die ELK-Ressourcen schont. Mit der Suchmaschine Elasticsearch wird die Datenanalyse selbst durchgeführt. Elasticsearch zeichnet sich durch schnelle NoSQL-Indexierung aus und unterstützt u.a. durch Parallelisierung und verteilte Struktur hohe Verfügbarkeit und Skalierbarkeit. Abgerundet wird der ELK-Stack von Kibana, einem Dashboard für Ergebnis-Visualisierung. Außerdem wird für den Einsatz von Maschinenlernen die Anwendungsumgebung Jupyter Notebook eingebunden.

Hauseigene Lösungen, agil entwickelt

Nicht nur die Architektur, auch viele Komponenten mussten von den IT-Experten der ING selbst entwickelt werden. Etwa eine S3-Speicherlösung für das Archivieren. Der Vorteil: „Unsere S3-Entwicklung verhindert, dass die Performance von Kafka durch zu umfangreiche Datenspeicherung ausgebremst wird. So können dann Daten z.B. nach einer Woche auf Kafka gelöscht werden,“ so Eddie. Programmiert werden mussten auch viele neue Schnittstellen (Konnektoren), die den Datenaustausch zwischen den Komponenten ermöglichen. Außerdem erarbeitet Eddie derzeit eine schlankere Variante der Analytics-Umgebung ohne Jupyter. Aber natürlich tut er all das nicht allein. Eddie leitet mehrere Teams zu verschiedenen Themen, in denen die Kollegen – wie alle ITler bei der ING – agil zusammenarbeiten: etwa den Fast Data Squad oder den Projekt-Squad für Monitoring 2.0. Je nach Thema arbeitet Eddie mit unterschiedlichen Agilitäts-Ansätzen – Sprints oder Kanban. „Bei der Entscheidung für einen Ansatz hat aber natürlich auch der Squad ein Wörtchen mitzureden. Am Anfang bespricht man immer erst einmal, wie eigentlich das Team selbst arbeiten möchte,“ ergänzt Eddie.

Kreativität gefragt: Die IT-Jobs bei der ING

Kreative Herausforderungen, zukunftsweisende Aufgabengebiete, agiles Arbeiten – das sind nur einige der Vorteile eines IT-Jobs bei der ING, die an den Standorten Frankfurt a.M. und Nürnberg ständig neue Kräfte sucht. Dazu kommen viel Freiraum zur Weiterentwicklung, ein großzügiges Bildungsbudget und nicht zuletzt eine weltweite IT-Community. Als Teil eines globalen Unternehmens hat die Arbeit bei der ING Deutschland schließlich immer auch eine internationale Dimension. „Mit Monitoring 2.0 leisten wir wirkliche Pionierarbeit im gesamten Konzern, aber auch in Deutschland, vielleicht sogar weltweit,“ erklärt Eddie. Eine Verwendung ist deshalb auch bei anderen Töchtern des niederländischen Mutterhauses geplant. Und auch für zukünftige Projekte kann Eddie weitere personelle Unterstützung gut gebrauchen. Z.B. in punkto Interface: Eddie leitet nämlich auch den Chatbot-Squad – und plant als weitere Komponente für Monitoring 2.0 eine natürlichsprachliche Abfrage per Chatbot und Natural Language Processing (NLP). Das ist heute zwar noch Zukunftsmusik. Doch bei der aktuellen Dynamik von Fast Data und Maschinenlernen könnte sie bald Wirklichkeit werden. Wer Interesse hat, an dieser spannenden Entwicklung mitzuarbeiten, erfährt alles Weitere über die IT-Chancen bei der ING auf unserer Karriere-Seite.