Cloudera will Apache Spark mit Apache Hadoop vereinen

Neue?One Platform?-Initiative soll Spark weiterentwickeln und die nächste Generation von Analyse-Anwendungen ermöglichen

(PresseBox) - Cloudera hat heute seine ?One-Platform?-Initiative angekündigt, mit der die Entwicklung von Apache Spark für Unternehmensanwendungen beschleunigt werden soll. Spark ist bereits jetzt das beliebteste Open-Source-Projekt im Hadoop-Ökosystem. Mit der Initiative soll es in die Lage versetzt werden, Nachfolger von Hadoops ursprünglichem MapReduce-Framework für die allgemeine Hadoop-Datenverarbeitung zu werden. Durch die tief gehende Integration von Spark quer durch die Plattform, unter anderem in den Bereichen Verwaltung, Sicherheit, Skalierbarkeit und Streaming, wird diese Initiative dabei helfen, die nächste Generation analytischer Anwendungen möglich zu machen.
In den letzten 18 Monaten wurde Spark weiträumig eingeführt. Mehr als 200 Kunden von Cloudera ? darunter Avvo, Barclays, Concur, DigitalGlobe, RelayHealth, und Santander UK ? nutzen Spark in unterschiedlichen Branchen und Anwendungsbereichen. Cloudera hat früh erkannt, dass Spark aufgrund seiner für Entwickler leichten Bedienbarkeit, seiner modularen Flexibilität und seiner Leistungsfähigkeit das Potenzial dazu hat, zum nächsten generellen Verarbeitungsframework für Hadoop zu werden. Daher hat Cloudera als erster im Markt in Core-Engineering, Support, Dienstleistungen und Training investiert, um Kunden zum Erfolg mit Spark zu verhelfen.
?Spark entwickelt sich rasant zu einer beliebten Ergänzung zu Hadoop, weil Unternehmen eine benutzerfreundliche, schnelle und vielseitige Engine verlangen, um den Analysebedarf rund um Streaming, Diagramme und sogar maschinelles Lernen zu decken?, sagte Nik Rouda, Senior Analyst der Enterprise Strategy Group ESG. ?Cloudera investiert viel in die Entwicklung von Spark als vollwertige Komponente seines Angebots. Der Big-Data-Markt wird sich weiter rasend schnell entwickeln. Dieser Schritt stellt sicher, dass Cloudera auch in Zukunft nicht nur relevant, sondern ein Vorreiter bleiben wird.?


Cloudera war der erste Hadoop-Anbieter, der Spark vertreibt und unterstützt. Damit ist Cloudera ein Vorreiter in der Spark-Community, insbesondere auch bei der Integration von Spark und Hadoop. Weil Cloudera fünfmal mehr Spark-Techniker beschäftigt als andere Hadoop-Distributoren, konnte das Unternehmen mehr als 370 Patches und 43.000 Zeilen Code zu Spark beitragen und dessen Entwicklung mit seinem Partner Intel zu einer Schlüsselinitiative machen. Im Ergebnis ist Spark eine tief integrierte und weitläufig verwendete Komponente der Cloudera Hadoop-Plattform. Diese produktive Erfahrung lieferte erhebliche Einblicke in die Herausforderungen, die beim großflächigen Einsatz von Spark in Kundenumgebungen entstehen. Außerdem entstand so umfangreiches Wissen über die Anforderungen von Techniker- und Analyseteams.
?Spark ist auf einem guten Weg, MapReduce zu ersetzen, wenn es darum geht, Jobs mit Hunderten von Exekutoren simultan auf riesigen, mandantenfähigen Clustern mit Zehntausenden von Knotenpunkten laufen zu lassen. Es gibt aber auch noch viel zu tun?, so Mike Olson, Gründer und Chief Strategy Officer von Cloudera. ?Es ist ein ambitioniertes Ziel, aber mit der Community von Anwendern und Unterstützern und unserer Führung denken wir, dass es gut erreichbar ist.
Damit Spark sein Potenzial ausreizen kann, muss jedoch noch an mehreren Kernbereichen gearbeitet werden. Die One-Platform-Initiative wird die Anstrengungen der Community auf die vier wichtigsten Anforderungen konzentrieren: Sicherheit, Skalierbarkeit, Verwaltung und Streaming.
Die Sicherheit von Spark stärken
Viele Unternehmen, vor allem in stark regulierten Branchen wie Finanzdienstleistungen, Verwaltung oder Gesundheitswesen, haben umfangreiche Sicherheits- und Compliance-Bedürfnisse, wenn sie neue Tools wie Spark einführen und nutzen. Als Anbieter der einzigen Distribution, die einen PCI Compliance Audit bestanden hat, ist Cloudera schon seit langem auf umfassende Sicherheit konzentriert. Es gab bereits Fortschritte darin, Spark zu sichern, unter anderem durch Kerberos-Integration zur Authentifizierung und rollenbasierte Zugriffskontrolle durch HDFS-Sync mit Apache Sentry. Die One-Platform-Initiative wird sicherstellen, dass Spark strenge regulatorische Richtlinien einhält und voll in die Hadoop-Sicherheitsfunktionen integriert ist. Die Entwicklungsanstrengungen konzentrieren sich dabei auf Governance, Verschlüsselung einschließlich Integration mit den Intel Advanced Encryptoin Bibliotheken, und feinmaschige Sicherheitskontrollen.
Spark im Hadoop-Maßstab
Damit Spark MapReduce ablösen kann, muss es die Menge von MapReduce-Aufgaben, die heute laufen, erreichen oder übertreffen. Das betrifft oft Petabyte an Daten über Tausende von Knotenpunkten. Cloudera unterstützt bereits die größten Spark-Einsätze der Welt, und diese müssen weiter wachsen. Die One-Platform-Initiative wird gewährleisten, dass Spark Aufgaben quer durch Tausende Knotenpunkte in mandantenfähigen Clustern bewältigen kann, was verbesserte Verlässlichkeit, Stabilität und Leistung verlangt.
Spark verwalten
Es ist notwendig, die Verwaltung von Spark zu vereinfachen, damit es breite Anwendung in Unternehmen findet und erfolgskritische Produktionsanwendungen unterstützen kann. Cloudera hat diese Initiative vorangetrieben, indem es Spark mit Hadoop YARN für gemeinsames Ressourcenmanagement integriert, mit anderen Hadoop Frameworks wie Impala und Apache Solr verbunden und nützliche Metriken für Diagnostik hinzugefügt hat. Die One-Platform-Initiative wird Spark durch automatisierte Konfigurationen, verbesserte Mandantenfähigkeit, Leistung, und Benutzerfreundlichkeit für Spark-on-YARN, mehr Sichtbarkeit des Ressourcenverbrauchs und eine verbesserte PySpark-Installation für Python-Zugriff noch einfacher verwaltbar machen.
Streaming
Streaming-Workloads zählen zu den beliebtesten Anwendungsgebieten für Spark, besonders angesichts des exponentiellen Wachstums bei Internet of Things (IoT)-Daten und dem Bedarf nach Echtzeitanalyse. Um den Anforderungen seiner Kunden im produktiven Einsatz gerecht zu werden, hat Cloudera bereits daran gearbeitet, sicherzustellen, dass es keinen Datenverlust mit Spark Streaming gibt, und Integrationen mit den beliebtesten Dateneinspeisungs-Tools Kafka und Flume entwickelt. Zukünftig soll auch sicher gestellt werden, dass Spark Streaming die meisten üblichen Streamverarbeitungs-Workloads unterstützen kann. Dazu wird der Hauptaugenmerk auf Leistung sowie auf dem Zugriff auf Streaming-Kapazitäten durch neue Nutzergruppen durch hochwertigere Spracherweiterungen liegen .
Für weitere Informationen über die One-Plattform-Initiative und wie man sich beteiligen kann, melden Sie sich bitte an für das Webinar ?Unifying Spark and Hadoop: The One Platform Initiative? mit Doug Cutting, Mitschöpfer von Hadoop und Chefarchitekt bei Cloudera, am Donnerstag, 24. September um 19 Uhr deutscher Zeit.
Lesen Sie unsere Blogs: http://www.cloudera.com/blog/ und http://vision.cloudera.com/
Folgen Sie uns auf Twitter: http://twitter.com/clouderade
Besuchen Sie uns auf Facebook: http://www.facebook.com/...

Mit der ersten integrierten Big Data-Plattform auf Basis des Apache Hadoop?-Frameworks gestaltet Cloudera die Datenverwaltung im Unternehmen von Grund auf neu. Cloudera bietet Unternehmenskunden integriertes Speichern, Bearbeiten und Analysieren all ihrer Daten und ermöglicht ihnen damit nicht nur eine effizientere Nutzung ihrer Systemlandschaft, sondern auch völlig neue Methoden der Datenverwertung. Nur Cloudera liefert sämtliche für den Aufbau eines internen Daten-Hubs erforderlichen Komponenten, einschließlich der Software für geschäftskritische Kernfunktionen wie Speicherung, Zugang, Verwaltung, Analyse, Schutz und Suche von Daten. Als führender Anbieter hat Cloudera weltweit bereits mehr als 27.000 Hadoop?-Experten geschult. Darüber hinaus sorgen über 1.400 Partner und ein erfahrenes Serviceteam für den schnellstmöglichen Einsatz neuer Software. Nur Cloudera bietet den dynamischen und zukunftsorientierten Support, der Unternehmen darin unterstützt, ihren Enterprise Data Hub effizient einzusetzen. Führende Unternehmen aller Wirtschaftsbereiche, sowie staatliche Institutionen setzen bei der Verarbeitung und Analyse großer Datenvolumen auf Cloudera.

Unternehmensinformation / Kurzprofil:
Bereitgestellt von Benutzer: PresseBox
Datum: 16.09.2015 - 14:00 Uhr
Sprache: Deutsch
News-ID 1263295
Anzahl Zeichen: 8819

Kontakt-Informationen:
Stadt:

München/ Palo Alto (Kalifornien)

Kategorie:

Softwareindustrie

Diese Pressemitteilung wurde bisher 235 mal aufgerufen.

Daten in modernen KI-Umgebung brauchen Leitplanken und keine Schranken ...
IT-Führungskräfte müssen verstehen, dass heutiges Datenmanagement als Basis für KI einen ganzheitlichen Datenschutzansatz erfordert, sei es durch eine moderne Data Lakehouse-Architektur oder eine Multi-Cloud-Datenmanagementstrategie. Da KI immer stärker in Geschäftsprozesse integriert wird, re

Daten sind die stärkste Waffe im Kampf gegen Cyberkriminelle ...
Der Aufstieg von Cloud Computing und die gestiegene Popularität von Remote Work durch die Corona-Pandemie haben die Verwaltung der Sicherheit von Informationssystemen komplexer gemacht. Betrugsversuche, Ransomware und andere Cyberangriffe nehmen zu: Laut dem Bundesamt für Sicherheit in der Informa

Informationsfreiheit - ein Kommentar von Alexander Zschaler ...
Zugang zu Informationen ist bei Behörden wichtig für die Verwaltungsabläufe, aber auch für die demokratische Meinungs- und Willensbildung der Bürger. Bei Unternehmen bildet er die Grundlage für die Planung und Realisierung von Geschäftsprozessen. Über ein Ökosystem, in dem Wirtschaft, öffe

Weitere Mitteilungen von Cloudera

Adomik führt Deal Maker zur Unterstützung von Werbeseitenbetreibern bei der Optimierung der Performance programmatischer privater Transaktionen ein ...
Adomik [http://www.adomik.com/], ein führender Anbieter von programmatischer Analyse- und Ertragsmanagementtechnologie für Werbeseitenbetreiber, kündigte heute auf der dmexco 2015 Conference die Verfügbarkeit des Adomik Deal Maker an -- eines neuen Werkzeugs, das zur Unterstützung von Werbe

Slotting 4.0: Automatisierte Lagerdisposition mit inconsoSLM ...
Mit dem Slotting Management Tool inconsoSLM legt die inconso AG eine einsatzfähige Softwarelösung zur Optimierung der Lagerorganisation vor. Das System sorgt durch Ermittlung des bestgeeigneten Lager- und Pickplatzes für effiziente Ein- und Auslagerung im Lager. Das inconsoSLM ist ein T

Huawei erhält Zuschlag für Fünf-Jahres-Vertrag für IT-Betrieb von Ooredoo Kuwait ...
Ooredoo Kuwait und Huawei haben heute auf dem Huawei Global Service Forum 2015 gemeinsam die Unterzeichnung eines "Future Mode of Operation (FMO)"-Vertrags (künftiges Konzept der Service-Erbringung) zu IT- und Network Managed Services bekannt gegeben. Laut den Vertragsbedingungen wird

Anwenderbericht: LEWA automatisiert komplexe Prozesse der Qualitätskontrolle ...
Das Unternehmen setzt auf technischen Fortschritt ? mit kosteneffizienten Lösungen wurden Prozesse beschleunigt und das Qualitätsmanagement optimiert. CAD Prüfzeichnungen werden bei LEWA digital mit Prüfstempeln versehen und Prüfmerkmale extrahiert. Auf deren Basis erfolgt automatisch die Erst