Ein See voller Informationen: der richtige Umgang mit Data Lakes

ITGAIN - Analytics - ein Interview mit Jens Lehmann - Consultant der ITGAIN

(PresseBox) - Wer große Mengen unterschiedlicher Datenformen für Analytics nutzen will, kommt an Data Lakes kaum vorbei. Doch um die richtigen Daten zum Fließen zu bringen, ist beim Einrichten einiges zu beachten. Ansonsten kann aus dem See durchaus ein nutzloser Tümpel werden. IT Consultant Jens Lehmann erklärt, wie ein Data Lake strukturiert sein sollte.

Herr Lehmann, parallel zu Data Warehouses nutzen immer mehr Unternehmen Data Lakes. Was ist eigentlich der Unterschied?

In einem Data Lake werden große Mengen angelegt ? also Big Data, die man so in einem Data Warehouse nicht speichern kann. Denn Data-Lake-Daten können im Rohzustand verbleiben. Und sie können aus unterschiedlichen Quellen stammen. Um im Bild zu bleiben: Ein Data Lake ist ein großes Gewässer, gespeist aus mehreren Zuflüssen. Ein Data Warehouse besteht eher aus vielen befüllten Behältern mit bereits gedruckten Etiketten.

In welchen Anwendungsfällen ist Analytics per Data Lake denn sinnvoll?

Vor allem wenn große Massen an Informationen mit herkömmlichen Mitteln nicht analysiert werden können. Viele Unternehmen haben Millionen von Sensordaten, Verkaufsinformationen oder Social-Media-Inhalten, die ein Data Lake gemeinsam speichern kann.

Ok. Und wie sorge ich dafür, dass diese Daten zusammen nutzbar sind? Wie strukturiere ich einen Data Lake richtig?

Man muss die Rohdaten mit zusätzlichen Merkmalen anreichern. Zum einen mit Metadaten, die verraten, von welchem Ort aus jemand auf eine Website zugegriffen hat. Zum anderen mit Metaprozessinformationen ? sprich Infos darüber, wann und wo Daten generiert wurden. Bei einem Hersteller für Dichtungen heißt das: Welche Maschine hat die Dichtung um 14 Uhr hergestellt? Außerdem braucht es Kontextdaten, die Texteingaben von Kunden in Formularen oder E-Mails strukturieren. Denn ein Computer kennt zum Beispiel nicht den Unterschied, wann mit dem Wort ?Bank? das Geldinstitut oder die Sitzgelegenheit gemeint ist. Zu guter



Letzt beschreiben Zuordnungshinweise die Beziehung zwischen Daten, also ob Abhängigkeiten zwischen Merkmalen bestehen.

Reicht das, oder braucht es noch mehr Struktur?

Es reicht nicht ganz. Viele Unternehmen häufen aus verschiedenen Abteilungen verschiedene Daten an. Sie sollten daher den großen Data Lake in Data Ponds unterteilen ? also in kleinere Datenteiche, wenn man so will. Die Daten in den Teichen können aber dennoch durch die Metadaten miteinander verbunden werden.

Was heißt das genau?

Ausgehend von den beschriebenen Zusatzmerkmalen legt man Data Ponds an. Das heißt, analoge Daten, Textdaten und Prozessdaten bilden eigene Bereiche, Cluster genannt. Sie werden auch mit verschiedenen technischen Methoden zusammengefasst. Das ist Expertenarbeit. Aber am Ende sind die Daten nicht nur für Experten nutzbar, sondern für viele Mitarbeiter.

Haben Sie ein Beispiel?

Endanwender wie Verkaufspersonal oder Marketingexperten können Data Lakes nutzen. Sie finden schnell Zusammenhänge ? zum Beispiel zwischen allen produzierten Dichtungen in der eben angesprochenen Produktion. Ist eine Charge fehlerhaft, kann man anhand ihrer Zusatzdaten sehen, welche Maschine sie wann produziert hat ? und den Fehler finden. Oder man findet schnell eine Auflistung der häufigsten Kundenkommentare der letzten Monate zu einem Produkt.

Klingt rechenintensiv. Was braucht es an Hardware, um mit Data Lakes zu arbeiten?

Praktischerweise lässt sich ein Data Lake ohne aufwändige Rechnerarchitektur betreiben. Über das Open Source Framework Hadoop können in den Clustern viele Computer miteinander verbunden werden, die ihre Rechenleistung für den Data Lake zur Verfügung stellen.

Haben Sie noch generelle Hinweise für den Nutzen eines Data Lakes?

Es reicht nicht, den Data Lake mit Inhalten aus allen zur Verfügung stehenden Quellen zu fluten. Vielmehr sollte es darum gehen, die Möglichkeiten dieses

Konzeptes richtig zu nutzen. Ohne Vernünftiges Information Lifecycle Management und entsprechende Governance wird dies nicht gelingen. Daher ist eine Vorab-Analyse der Ziele enorm wichtig.

"Richtig angelegt sind die Daten aus Data Lakes nicht nur für Experten nutzbar, sondern für viele Mitarbeiter."

Jens Lehmann, IT Consultant bei ITGAIN.

Wir sind Konzeptdenker, Projektlenker und Umsetzer. Wir sind Kosten-Reduzierer und Zeit-Sparer. Wir sind Anwendungs-Modernisierer, IT-Architekten, Mainframe-Migrierer-Modernisierer. Service-Manager, Software-Ingenieure, Datenbank-Versteher, Daten-Modellierer und Analytics-Könner.

Kurz: Wir sind diejenigen, die Ihre Anforderungen verstehen ? und Ihre Anwendungen und Infrastruktur zukunftsfähig und qualitätssicher machen. Mit modernsten Technologien. Mit Wissen und Methode. Mit Kompetenz, Konstanz und Kreativität ? und immer mit Herz und Verstand.

Weitere Infos zu dieser Pressemeldung:
Unternehmensinformation / Kurzprofil:
Bereitgestellt von Benutzer: PresseBox
Datum: 04.04.2018 - 17:44 Uhr
Sprache: Deutsch
News-ID 1597116
Anzahl Zeichen: 5103

Kontakt-Informationen:
Stadt:

Hannover

Kategorie:

Softwareindustrie

Diese Pressemitteilung wurde bisher 404 mal aufgerufen.

Bewährtes mit Kafka in die Cloud bringen ...
Ein Elektrogroßmarkt will seinen Onlineshop technisch auf Vordermann bringen ? und das in sechs Wochen. Am Ende soll sich alles per Knopfdruck selbst installieren. Reinhold Farsch hilft dabei, das möglich zu machen und beweist im Anschluss, dass die Datenstromlösung Apache Kafka sehr gut mit klas

Was hat ein Moped mit Kafka zu tun- ...
Dass sich die Streaming-Software Kafka für riesige Datenmengen eignet, hat sich schon herumgesprochen. Wie vielseitig Kafka zugleich ist, konnte das Team von ITGAIN zeigen, als eine Versicherung neue Tarifrechner für ihre im Internet angebotenen Policen benötigte. Die Lösung bringt die Informati

Etwas für die IT-Wissenschaft tun und gleichzeitig dem NABU bei der Säuberung der Ozeane von Plastik unter die Arme greifen! ...
Klingt gut? Wir freuen uns über jede Teilnahme an der Software Engineering Studie 2020. Für jeden ausgefüllten Fragebogen spenden wir 25? an das Projekt ?Meere ohne Plastik? des NABU ? Naturschutzbund Deutschland. Wir zählen auf Ihre Teilnahme! https://bit.ly/39hAwrf #nabu #itgain #software #umf

Weitere Mitteilungen von ITGAIN Consulting Gesellschaft für IT-Beratung mbH

Genesis Vision startet Alpha-Version der Asset-Managementplattform ...
Am 1. April 2018 führte Genesis Vision https://genesis.vision die Alpha-Version seiner GV-Plattform ein, auf der Benutzer Transaktionen mit Krypto- und traditionellen Währungen, CFDs, Metallen und Rohstoffen tätigen, sich der Broker-Community anschließen und zwischen der Rolle des Manage

Auf Anspruch getrimmt - Lösungskompetenz von A bis Z ...
Unter dem Motto ?Lagerverwaltung weiter gedacht" präsentiert proLogistik auf der parallel zur Hannover Messe stattfindenden CeMAT 2018 ihr spezialisiertes Leistungsspektrum rund um das Thema Intralogistik. Der praxisbewährte Lösungsansatz fokussiert auch Applikationen, mit deren Hilfe der Ei

dataglobal und Covata kündigen strategische Allianz an ...
dataglobal, führender Anbieter von Enterprise Information Management- und Enterprise Information Archiving-Plattformen, gibt den Abschluß einer strategischen Allianz mit der australischen Covata bekannt. Covata ist ein weltweit führender Anbieter von Datenschutz- und Collaboration-Softwarelösung

So funktioniert das Talent Management mit der HR-Software von rexx systems ...
Zahlreiche Statistiken belegen: Der demografische Wandel ist real, und er betrifft heutzutage viele Unternehmen. Umso wichtiger ist deshalb das Talent Management, um qualifizierte Mitarbeiter zu binden und adäquat zu fördern. Mit der HR-Software von rexx systems wird dies spielend leicht. Der inno