Hadoop-Projekte wachsen, auch in der Komplexität

Umfrageergebnisse von mehr als 250 Hadoop-Anwendern

15.12.2016, BI Scout Redaktion

Eine aktuelle Umfrage des Datenmanagement-Spezialisten Syncsort unter mehr als 250 Hadoop-Anwendern zeigt, dass Größe und Umfang von Hadoop-Projekten zunehmen. Die Ergebnisse wurden im Rahmen des Syncsort-eBooks "Hadoop Perspectives for 2017" veröffentlicht (Download hier).


Einige Kernergebnisse:

  • Kapazitätssteigerungen ihrer Data Warehouses und Kosteneinsparungen sind für die Umfrageteilnehmer die wichtigsten Effekte des Hadoop-Einsatzes (62% der Befragten). Außerdem setzen immer mehr Unternehmen Hadoop für Analytics ein (2016:49,4%  - 2015: 45,5%).

  • Traditionelle Datenquellen sind beliebter für die Befüllung der Data Lakes, aber neuere Datenquellen werden immer wichtiger. Je mehr Hadoop-Projekte es gibt, desto mehr Datenquellen müssen unterstützt werden – zum Beispiel Mainframes oder NoSQL-Datenbanken. Legacy-Systeme bleiben für die Befüllung von Data Lakes unverzichtbar, die Top-3-Quellen sind: Enterprise Data Warehouses (69%), relationale Datenbanken (61%) und Mainframes (40%). Neuere Quellen wie Streaming-Daten, Smart Devices und Sensoren gewinnen an Bedeutung (53,5%).

  • Data Governance wird unverzichtbar und Mainframe-Daten sind der Schlüssel. Mehr als zwei Drittel der Befragten von Unternehmen mit Mainframes halten den Zugriff auf diese kritischen Daten in Hadoop für Echtzeit-Analyse wertvoll oder sehr wertvoll (70%).

  • Komplexitäten müssen reduziert werden – Wie in den Vorjahren ist die größte Herausforderung in Hadoop-Projekten erschwingliche Hadoop-Programmierer zu finden (58%), gefolgt von der Schwierigkeit mit der Entwicklung von Compute-Frameworks mitzuhalten (53%) und der Integration vorhandener Datenquellen und Anwendungen (48%). Werkzeuge, die Komplexitäten reduzieren und Prozesse optimieren werden eine hohe Nachfrage genießen.

Abbildung: Einsatz von Compute-Frameworks aktuell und künftig (Quelle: Syncsort eBook "Hadoop Perspectives for 2017")