Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden


Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen


Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Kostenloser PMK-Verlags-Newsletter
Ihr PMK-Verlags-Newsletter hier >>>>>>



Meldungen: Unternehmen

  • Absicherung von KI-Cloud-Umgebungen

    Check Point Software Technologies kündigt im Rahmen der im März 2024 abgeschlossenen Partnerschaft mit Nvidia eine Zusammenarbeit in weiteren Schlüsselbereichen an, die über die reine Absicherung von KI-Cloud-Umgebungen hinausgeht. Die mehrjährige Kooperation zwischen Check Point und Nvidia umfasst drei Bereiche.

  • Sicherheit in Multi-Cloud-Umgebungen

    CrowdStrike kündigte eine erweiterte strategische Partnerschaft mit Google Cloud an, um die Incident Response (IR)- und Managed Detection and Response (MDR)-Dienste von Mandiant mit Hilfe der "CrowdStrike Falcon"-Plattform und der "Google Cloud Security Operations"-Plattform zu unterstützen. Die Partnerschaft konzentriert sich auf die Lösungen von CrowdStrike für Endpoint Detection and Response (EDR), Identity Threat Detection and Response (ITDR) und Exposure Management.

  • Daten sind Basis für alle Formen der KI

    Über zwei Billionen US-Dollar beträgt die Marktkapitalisierung von Nvidia aktuell - so viel wie alle Unternehmen des DAX 40 zusammen. Diese Summe zeigt, welche immense Bedeutung der künstlichen Intelligenz zugeschrieben wird, für die Nvidia mit seinen Prozessoren die Hardware liefert. Ebenso wichtig für KI-Anwendungen sind jedoch die Daten. Hier haben viele Unternehmen noch mit großen Herausforderungen zu kämpfen. Wie sie diese bewältigen können, war Thema der Fivetran Modern Data Stack Event Series, die kürzlich in München stattfand. Personio und sennder berichteten aus der Praxis.

  • Visibilität in Cloud-Umgebungen

    Illumio, Anbieterin für Zero-Trust-Segmentierung, verkündet ihre Partnerschaft mit Cloud-Sicherheitsanbieterin Wiz und tritt der "Wiz Integrations" (WIN)-Plattform bei. Illumio erweitert WIN, indem es die Leistungsfähigkeit seiner Zero-Trust-Segmentierungs (ZTS)-Plattform in das Partner-Ökosystem einbringt, sodass Kunden Wiz nahtlos in ihre bestehenden Illumio-Workflows integrieren können.

  • Cloud-basierte Transformation beschleunigen

    Infosys und ServiceNow, die KI-Plattform für Unternehmenstransformation, erweitern ihre strategische Partnerschaft auf der jährlichen Kunden- und Partnerveranstaltung Knowledge 2024 von ServiceNow. Gemeinsam wollen beide Unternehmen Kundenerfahrungen mit generativen KI-gestützten Branchenlösungen transformieren.

  • Cloud-Architektur: Objektspeicher im Mittelpunkt

    Nasuni, Anbieterin von Hybrid-Cloud-Speicherlösungen, gibt bekannt, dass die "Nasuni File Data Platform" in zwei wichtigen Berichten des Analystenhauses DCIG als eine der leistungsstärksten Lösungen bezeichnet wurde. Konkret hat das Unternehmen hat im DCIG-Bericht 2024-25 Enterprise Hybrid Cloud SDS NAS Solutions und im DCIG-Bericht 2024-25 Enterprise Multi-site File Collaboration Solutions Top-Bewertungen erhalten.

  • Erweiterter Trust-as-a-Service-Marktplatz

    Utimaco erweitert ihren Trust-as-a-Service-Marktplatz mit neuen Funktionen und Bereitstellungsoptionen. Der neue Marktplatz ermöglicht Unternehmen die nahtlose Auswahl zwischen On-Premises- und Cloud-basierten Optionen über einen zentralen Zugriffspunkt.

  • Generative KI gestaltet digitale Erfahrungen neu

    Gemeinsam mit Google Cloud und Shopify treibt Cognizant die digitale Transformation des internationalen Einzelhandels voran. Im Rahmen der strategischen Partnerschaft wird die führende Einzelhandelsplattform von Shopify mit der Core-Cloud-Infrastruktur von Google Cloud vereint.

  • Marketplace nach Vorbild aus der Consumer-Welt

    Pax8 ist ein Cloud Marketplace, der Managed Service Provider (MSPs) und Systemhäuser mit Herstellern von Anbietern im SaaS-Modell zusammenbringt. Pax8 arbeitet weltweit mit mehr als 30.000 Wiederverkäufern zusammen, darunter Managed Service Provider (MSPs), Systemhäuser und Managed Security Service Provider (MSSPs).

  • Itenos wird Google Cloud Connectivity Partner

    Seit 19. Oktober 2023 stellt Itenos eine direkte Querverbindung zur Google Cloud Plattform bereit. Itenos ist damit einer der Connectivity Partner von Google. Da der erfahrene ICT-Anbieter nicht nur Cloud-Lösungen, sondern auch Rechenzentrumskapazitäten anbietet, ergeben sich mit der neuen Partnerschaft für alle Kunden interessante Möglichkeiten.

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen