Hadoop – ganz nüchtern betrachtet

 
Hadoop ermöglicht Anwendungsfälle, die bisher nicht umgesetzt werden konnten

Anwender sehen Hadoop vor allem als (potentielle) Technologie zur Umsetzung neuartiger Anwendungsfälle, die mit den bestehenden Systemen nicht umgesetzt werden können. Kosteneinsparungen spielen eine nachgelagerte Rolle, wie auch der Einsatz als technisch bessere Plattform.

Die größten Herausforderungen sind fehlendes Know-how und Unsicherheit in den Nutzungsmöglichkeiten von Hadoop. Seit der letzten Hadoop-Umfrage scheint nicht viel geschehen zu sein! Fehlendes fachliches und technisches Know-how führen klar die Liste der Herausforderungen an. Europäische Unternehmen sind darüber hinaus noch unklar über den richtigen Einsatz und die Nutzung, während nordamerikanische Firmen eher fehlende Benutzerfreundlichkeit, mangelnde Reife des Systems sowie hohe Kosten für Schulung und Entwicklung bemängeln.

Dem Hype folgt die Ernüchterung und damit wächst die Erkenntnis, dass Hadoop und Data Lakes nicht das Allheilmittel für analytische Aufgaben sind. Auf der anderen Seite steckt aber auch viel Potenzial in der Technologie und in dem Konzept. Es bleibt einzufordern, dieses Bild weiter zu schärfen und Einsatz und Nutzen von Hadoop und Data Lakes anhand realer Erfahrungen transparenter und greifbarer zu machen. Denn dies scheint nach wie vor eine der größten Herausforderungen in der Diskussion zu sein. Um der Unsicherheit ein Stück weit entgegenzuwirken, hat BARC im Vorfeld der Umfrage einige provokante Thesen zu Hadoop und dem Data-Lake-Konzept gesammelt, diese wurden dann zum einen mit den Ergebnissen der Umfrage verglichen und durch Kommentare der BARC-Analysten bewertet.

Insbesondere für den Aufbau neuartiger Anwendungen im Kontext der Digitalisierung scheint es ratsam, das Für und Wider von Hadoop zu untersuchen. Am Anfang stehen die analytischen Anwendungsfälle. Erst diese definieren die Anforderungen an Daten, Architektur, Funktionen und Organisation und geben den Bewertungsrahmen für Technologien vor. Eine schnelle, effiziente Aufnahme und Strukturierung potenzieller Anwendungsfälle bietet BARC mit dem bewährten Beratungs-Standardprodukt „Use Case Identifizierung“. In diesem Verfahren werden die Use Cases des Unternehmens erfasst, priorisiert und Anforderungen an die Umsetzung entlang der genannten Dimensionen festgelegt um daran Technologien wie Hadoop besser bewerten zu können.

Nach wie vor ist die Diskussion um Hadoop topaktuell. Das Hadoop-Ökosystem gilt als technologischer Wegbereiter, der es Unternehmen ermöglicht, die Früchte der Big-Data-Revolution ernten zu können. Das zentrale Versprechen lautet: fast beliebig große Datenmengen aus unterschiedlichsten Systemen, mit beliebiger Struktur, schnell, effizient und kostengünstig verwalten, nutzen und auswerten zu können. Eine Quelle für alle Formen analytischer Aufgabenstellungen, eine Art technologisches Rückgrat der Digitalisierung – quasi ein Wundermittel der modernen Zeit.
Auch wenn die Technologie Hadoop noch mit vielen Fragezeichen behaftet ist, sehen wir erste Anwendungsfälle und Erfahrungsberichte am Markt im Umgang mit der Technologie. Die Use Cases helfen, zwischen medialer Überhöhung, tatsächlich realisierbarem Mehrwert und Herausforderungen zu unterscheiden.
Einen wertvollen Einblick liefert die von BARC erst kürzlich veröffentlichte Anwenderbefragung „Hadoop und Data Lakes: Use Cases, Nutzen und Grenzen“, (www.barc.de/hadoop-data) die den Status quo von Hadoop-Initiativen und Erfahrungen aus Hadoop Use Cases weltweit untersucht hat. Die Kernergebnisse sind die Folgenden:

Hadoop - Trendtechnologie mit hohem Potenzial

Die produktive Nutzung von Hadoop nimmt vor allem in Europa zu, aber auch gleichzeitig die Anzahl der Unternehmen, die Hadoop nicht nutzen wollen. Mit wachsendem Verständnis des möglichen Nutzens eines Hadoop-Einsatzes können Unternehmen offensichtlich klarer entscheiden, ob sie die Technologie einsetzen möchten oder nicht. Das Profil der produktiven Hadoop-Systeme ist überraschend breit: Hadoop wird unabhängig von Unternehmensgröße, Datenvolumen, Datentypen oder auch Aktualitätsanforderungen eingesetzt. Damit ist es für alle Unternehmen eine potentiell geeignete Technologie mit breitem Einsatzspektrum. Hadoop entwickelt sich dabei immer mehr vom einfachen Dateisystem zur Ablaufumgebung für analytische Anwendungen.

Abbildung 1: Generierter/geplanter Nutzen durch eine Hadoop-Initiative
Quelle: BARC-Anwenderstudie: Hadoop und Data Lakes 2016, n=144