Agile Data Engine entwirft hochleistungsfähiges Data-Vault-Modell mit Databricks
ID: 2157094
Auf der "Willibald Challenge" der Deutschsprachigen Data Vault User Group (DDVUG) e.V. hat der DataOps-Anbieter mit dem Modellierungsansatz ein Data Warehouse auf Databricks erstellt.
(© ) Agile Data Angine(firmenpresse) - Auf der Willibald Challenge der DDVUG können Anbieter von Data Warehouse Automation zeigen, wie sie allgemeine und fortgeschrittene Probleme im Zusammenhang mit dem Modellierungsansatz Data Vault lösen. Anhand eines zur Verfügung gestellten Beispieldatensatzes müssen sie verschiedene Aufgaben lösen. Dafür wurde eine fiktive Firma erschaffen: die Samen- und Pflanzenhandlung Willibald. Sie besteht aus zwei Datenbanken, die 13 typische Probleme bei der Erstellung eines Data Warehouse abbilden. Als siebter Anbieter hat sich - mit Databricks im Gepäck - vor kurzem das Solita-Tochterunternehmen Agile Data Engine (ADE) der Challenge gestellt. ADE präsentierte die kollaborative Lösung auch auf dem jüngsten Databricks Bootcamp am 20. Februar in Frankfurt am Main.
"Unsere Teilnahme an der Willibald Challenge hat sich als lohnende Erfahrung erwiesen, um die Fähigkeiten von Agile Data Engine in einem anspruchsvollen Umfeld zu testen", erklärt Matti Karell, Managing Director von Agile Data Engine. "Die Unterstützung von Databricks für SQL-basierte Abfragen, Data Lineage und BI-Integration passte perfekt zu den Fähigkeiten unserer Plattform und unseren Zielen bei der Challenge."
Die Kompatibilität zwischen Agile Data Engine und Databricks SQL ermöglichte es ADE, in kürzester Zeit ein stabiles, hochleistungsfähiges Data-Vault-Modell mit allen erforderlichen Komponenten einzurichten. Von multiaktiven und effektiven Satelliten bis hin zu transaktionalen und hierarchischen Verknüpfungen konnte Databricks fortschrittliche Data Vault-Komponenten problemlos verarbeiten, so dass Agile Data Engine komplexe Datenanforderungen ohne Engpässe unterstützen konnte.
Matti Karell: "Databricks' Unity Catalog Lineage Tracking brachte Transparenz und Effizienz in unsere Datenmanagement-Praktiken und machte es einfach, Datenflüsse und -transformationen über die gesamte Pipeline zu verfolgen. Resultat ist eine verbesserte Data Governance."
Agile Data Engine unterstützt Unternehmen beim Entwurf, der Automatisierung und der Orchestrierung ihrer Data Vault-Implementierung. Die Implementierung eines Data Vault-Modells im großen Maßstab erfordert allerdings einen gewissen technischen Aufwand, um das Datenlayout der wachsenden Objekte zu optimieren. Predictive Optimization (PO) in Databricks vereinfacht diesen Prozess durch die Automatisierung der Tabellenverwaltung über Unity Catalog und die Data Intelligence Platform. PO optimiert auf intelligente Weise das Datenlayout für von Unity Catalog verwaltete Tabellen, was zu einer verbesserten Abfrageleistung und geringeren Speicherkosten führt.
Beim Aufbau von Datenplattformen hat man es mit zwei häufigen Herausforderungen zu tun: der Sicherstellung qualitativ hochwertiger Daten und ihrer schnellen Bereitstellung für die User. Oft ist jedoch unklar, ob diese alle verfügbaren Daten vollständig für Erkenntnisse und Entscheidungen nutzen können. Hier kommt AI/BI Genie von Databricks ins Spiel, eine KI-gestützte Schnittstelle mit Datenintelligenz, die es Business Usern ermöglicht, selbständig Datenanalysen in natürlicher Sprache durchzuführen. Weitere Funktionen, die ein Databricks Lakehouse ideal für die Implementierung von Data Vault mit Agile Data Engine machen, sind das Serverless Warehouse, Variant Datatype und Autoloader von Databricks
Weitere Infos zu dieser Pressemeldung:
Themen in dieser Pressemitteilung:
Unternehmensinformation / Kurzprofil:
Agile Data Engine ist ein finnischer DataOps-Anbieter und Tochterunternehmen des Datenmanagementspezialisten Solita mit über 2.200 Beschäftigten. Kernprodukt von Agile Data Engine ist die gleichnamige All-in-One-Softwareplattform für die Entwicklung, Bereitstellung und den Betrieb von Datenprodukten und -Pipelines. Unternehmen können damit Cloud-Data-Warehouse-Prozesse automatisieren und ihr Data Warehouse optimal nutzen. Die erste Version der Plattform entstand 2016 im Rahmen von Solita-Datenprojekten. Bereits über 40 namhafte Kunden in den nordischen Ländern setzen das Produkt mittlerweile ein. Weiterentwicklung und Vertrieb der Plattform übernimmt seit 2022 die ausgegründete Agile Data Engine mit inzwischen mehr als 25 Beschäftigten. Die Unternehmenszentrale befindet sich in Helsinki, Deutschlandsitz ist München.
www.agiledataengine.com
Bergmannstr. 26, 80339 München
Datum: 07.03.2025 - 13:40 Uhr
Sprache: Deutsch
News-ID 2157094
Anzahl Zeichen: 3762
Kontakt-Informationen:
Ansprechpartner: Frank Zscheile
Stadt:
Helsinki
Telefon: +49-89-2622 4718
Kategorie:
IT & Hardware & Software & TK
Meldungsart:
Diese Pressemitteilung wurde bisher 310 mal aufgerufen.
Die Pressemitteilung mit dem Titel:
"Agile Data Engine entwirft hochleistungsfähiges Data-Vault-Modell mit Databricks"
steht unter der journalistisch-redaktionellen Verantwortung von
ADE Insights Oy (Nachricht senden)
Beachten Sie bitte die weiteren Informationen zum Haftungsauschluß (gemäß TMG - TeleMedianGesetz) und dem Datenschutz (gemäß der DSGVO).
