? ETL vs. ELT ? Effizientere und umfassende Datenintegration und Data Staging bzw. Datenaufbereitung ?
ID: 2031142
Data Preparation durch schnellere Datenbewegung und Datentransformation im Data Warehouse, im Data Lake, oder im Data Lakehouse?
Die Frage, ob die Datentransformation innerhalb oder außerhalb der Zieldatenbank stattfindet, ist aufgrund der damit verbundenen Leistungs-, Komfort- und finanziellen Auswirkungen zu einer kritischen Frage geworden.
ETL: Bei ETL-Vorgängen (Extrahieren, Transformieren, Laden) werden Daten aus verschiedenen Quellen extrahiert, separat transformiert und in eine DW-Datenbank und möglicherweise andere Ziele geladen. Bei ELT werden die Extrakte in eine einzige Staging-Datenbank eingespeist, die auch die Umwandlungen übernimmt.
ETL ist nach wie vor weit verbreitet, da der Markt mit bewährten Anbietern wie Informatica, IBM, Oracle - und IRI mit Voracity, das FACT (Fast Extract), CoSort- oder Hadoop-Transformationen und Bulk Loading in derselben Eclipse-GUI kombiniert - floriert, um Daten zu extrahieren und zu transformieren. Dieser Ansatz verhindert, dass Datenbanken, die für die Speicherung und den Abruf von Daten (Abfrageoptimierung) konzipiert sind, mit dem Overhead einer groß angelegten Datentransformation belastet werden.
ELT: Mit der Entwicklung neuer Datenbanktechnologien und Hardware-Appliances wie Oracle Exadata, die Transformationen "in a box" verarbeiten können, kann ELT jedoch unter bestimmten Umständen eine praktische Lösung sein. Die Isolierung der Staging- (Laden) und der semantischen (Transformieren) Schicht bietet zudem besondere Vorteile.
Sehen Sie in diesem Artikel alle Vorteile und Nachteile, differenziert gelistet nach ETL und ELT.
In der Folge entstehen hybride Architekturen wie ETLT, TELT und sogar TETLT, mit denen versucht wird, die Schwächen der beiden Ansätze zu beheben. Diese scheinen jedoch die ohnehin schon komplizierten Prozesse noch weiter zu verkomplizieren. Es gibt wirklich kein Patentrezept, und viele Datenintegrationsprojekte scheitern an der Last der SLAs, der Kostenüberschreitungen und der Komplexität.
Aus diesen Gründen wurde IRI Voracity entwickelt, um Daten über das CoSort SortCL-Programm in bestehende Dateisysteme oder Hadoop-Fabrics ohne Neucodierung zu integrieren. Voracity ist die einzige ETL-orientierte (aber auch ELT-unterstützende) Plattform, die beide Optionen für externe Datentransformationen bietet. Neben einem hervorragenden Preis-Leistungs-Verhältnis bei der Datenbewegung und -manipulation bietet Voracity:
erweiterte Datentransformation, Datenqualität, MDM und Reporting
Slowly Changing Dimensions, Change Data Capture, Datenföderation
Datenprofilierung, Datenmaskierung, Testdatengenerierung und Metadatenmanagement
einfache 4GL-Skripte, die Sie oder Eclipse-Assistenten, Diagramme und Dialoge erstellen und verwalten
nahtlose Ausführung in Hadoop MR2, Spark, Spart Stream Storm und Tez
Unterstützung für erwin Smart Connectors (Konvertierung von anderen ETL-Tools)
native MongoDB-Treiber und Verbindungen zu anderen NoSQL-, Hadoop-, Cloud- und Legacy-Quellen
eingebettete Reporting-, Statistik- und Vorhersagefunktionen, KNIME- und Splunk-Anbindungen sowie Datenfeeds für Analysetools.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
Weitere Infos zu dieser Pressemeldung:
Unternehmensinformation / Kurzprofil:
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
Datum: 26.01.2023 - 08:00 Uhr
Sprache: Deutsch
News-ID 2031142
Anzahl Zeichen: 6847
Kontakt-Informationen:
Ansprechpartner: Amadeus Thomas
Stadt:
Babenhausen
Telefon: 06073-711403
Kategorie:
Softwareindustrie
Diese Pressemitteilung wurde bisher 270 mal aufgerufen.
Die Pressemitteilung mit dem Titel:
"? ETL vs. ELT ? Effizientere und umfassende Datenintegration und Data Staging bzw. Datenaufbereitung ?"
steht unter der journalistisch-redaktionellen Verantwortung von
JET-Software GmbH (Nachricht senden)
Beachten Sie bitte die weiteren Informationen zum Haftungsauschluß (gemäß TMG - TeleMedianGesetz) und dem Datenschutz (gemäß der DSGVO).
Mit der IRI Workbench steht eine zentrale, plattformübergreifende Umgebung zur Verfügung, um Daten aus IBM Informix Informix effizient zu analysieren, zu integrieren, zu schützen und weiterzuverarbeiten. Die kostenlose Lösung läuft unter Windows, macOS und Linux und vereint alle relevanten Date
?Oracle Daten wirksam schützen? Echtzeit-Schutz durch intelligente, dynamische Maskierung in Oracle-Datenbanken ? ...
Oracle-Daten in Echtzeit schützen: Heben Sie Ihre Datensicherheit auf ein neues Niveau, denn IRI Ripcurrent kombiniert leistungsstarke Replikation mit intelligenter, dynamischer Datenmaskierung – speziell für Oracle-Datenbanken entwickelt. In Verbindung mit der zentralen IRI Workbench steuern Si
? Optimale Datenqualität ? Nachhaltige Datenqualität als Grundlage für verlässliche Entscheidungen ? ...
Hochwertige Daten sind ein zentraler Erfolgsfaktor für verlässliche Analysen, effiziente Geschäftsprozesse und eine nachhaltige Kostenkontrolle. Unzureichende Datenqualität führt häufig zu Fehlentscheidungen, redundanten Datenbeständen und ineffizienten Abläufen. Da Datenqualität in vielen
Weitere Mitteilungen von JET-Software GmbH
Avantpark stellt E-Ladesäulen mit integrierter Kontrollfunktion vor ...
Avantpark ist bereits Experte im digitalen Parkraummanagement mittels Kennzeichenerfassung. Jetzt hat die Münchner Firma eine neue Lösung speziell für E-Parkplätze entwickelt, genannt ParkEV. „Das Thema E-Mobilität ist einer der Trends, auch in der Parkbranche. Die Nachfrage an E-Fahrzeugen s
Realtime-Anbindung&Online Label– Ein Muss für 2023 ...
Eine wesentliche Rolle bei der Bewältigung der aktuellen und zukünftigen Herausforderungen in der Logistikbranche und dem Transportmanagement im Jahr 2023 spielen digitale Lösungen – nicht zuletzt aufgrund der Auswirkungen der Covid-Pandemie und des Ukraine-Kriegs. SAP-Anwender dürfen sich üb
Gebietsoptimierung für den Vertrieb: portatour® präsentiert „Territory Optimization“ ...
portatour®, der Field-Sales-Experte der Solvares Group, hat seine Lösung um ein Add-on zur Gebietsoptimierung erweitert: Mit „Territory Optimization“ können Vertriebsorganisationen ihre Vertriebsgebiete planen, optimieren und direkt mit der automatischen Routenplanung verbinden. Die Gebiets
Controlling und Management– so intuitiv, mobil und klar wie nie zuvor ...
PROJEKT PRO stellt auf der BAU 2023 eine neue Produktgeneration vor. Die neue Generation PROJEKT PRO verbindet bekannte Stärken mit einem neuen Maß an Usability und ist nun in einem flexiblen Lizenzmodell im Abonnement nutzbar. So erhalten Architekten und Ingenieure auch in unsteten Zeiten und b
