Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden


Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen


Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Meldungen: Unternehmen

  • Moderne Engineering-Workflows

    Onshape by PTC, eine Cloud-native CAD- und PDM-Plattform, zeigt auf der Formnext 2025 in Halle 11.0, Stand B38, Live-Demonstrationen moderner Konstruktions- und Entwicklungsprozesse und gibt Einblicke in innovative Kundenanwendungen. Dazu gehört eine Live-Präsentation von Blocks Technology, ein Industrieunternehmen im Bereich Hochleistungssysteme für die additive Fertigung und Robotikplattformen der nächsten Generation. Die Formnext findet vom 18. bis 21.11.2025 in Frankfurt am Main statt.

  • Schutz von Cloud-Workloads

    enclaive, Anbieterin für Confidential Computing, ermöglicht die sichere Nutzung von Hyperscalern durch unabhängiges Key Management, Post-Quanten-Sicherheit und Multi-Cloud-Fähigkeit. Unternehmen und öffentliche Einrichtungen behalten damit die volle Kontrolle über ihre Daten - auch bei US-basierten Cloud-Diensten. Für viele deutsche und europäische Unternehmen sind die Rechenleistung und Skalierbarkeit der großen US-Hyperscaler unverzichtbar, um ihre digitale Transformation voranzutreiben und große Datenbestände zu verwalten. Gleichzeitig stehen Organisationen vor rechtlichen und sicherheitstechnischen Herausforderungen - vom US CLOUD Act über Vendor Lock-ins bis hin zu strengen Compliance-Vorgaben wie der DSGVO.

  • Cloud-Infrastruktur von Ionos

    Ionos, Digitalisierungspartnerin und Cloud Enabler, und Nextcloud, die weltweit beliebteste datenschutzkonforme Kollaborationsplattform, haben auf dem Ionos Summit 2025 in Berlin den "Ionos Nextcloud Workspace" vorgestellt. Die Plattform ist eine europäische Alternative zu Angeboten wie Microsoft 365, die höchste Anforderungen an Datenschutz, Sicherheit und digitale Souveränität erfüllt. Die Office- und Kollaborations-Plattform von Nextcloud wird auf der zertifizierten souveränen Cloud-Infrastruktur von Ionos in deutschen Rechenzentren betrieben.

  • "Omnis KlearSight Sensor" für Kubernetes

    Netscout Systems hat die Erweiterung der durchgängigen End-to-End-Überwachung bekanntgegeben, um die Attribution für Audit-Kontrollen und Vorfallberichte zu verbessern, Zero-Trust-Netzwerkrichtlinien nachzuweisen und die Zeit zur Erkennung, Eindämmung und Dokumentation von Sicherheitsvorfällen zu verkürzen. Die erweiterte Überwachung ist in den "Omnis KlearSight Sensor" für Kubernetes integriert und soll Unternehmen dabei unterstützen, die komplexen Compliance-Anforderungen in Cloud-Umgebungen sowohl im Hinblick auf Sicherheits- als auch auf regulatorische Vorgaben zu bewältigen.

  • Unabhängige Cloud-Tests

    Qlik, Anbieterin für Datenintegration, Datenqualität, Analysen und Künstliche Intelligenz (KI), hat die Ergebnisse des ersten BARC Benchmarks bekannt gegeben. Die unabhängige Studie des Business Application Research Center (BARC) hat die Performance von Business Intelligence-Lösungen unter realen Cloud-Bedingungen untersucht.

  • Basierend auf der Cloud-Infrastruktur von AWS

    Arctic Wolf, Anbieterin von Security-Operations-Lösungen, gibt den Abschluss einer strategischen Kooperationsvereinbarung (Strategic Collaboration Agreement, SCA) mit Amazon Web Services (AWS) bekannt. Ziel der Vereinbarung ist es, die Leistungsfähigkeit der "Arctic Wolf Aurora Platform", des KI-gestützten Security Operations Centers (SOC) des Unternehmens, weiter auszubauen und KI-gestützte Sicherheitsoperationen für mehr als 10.000 Kunden weltweit zu optimieren.

  • Vom Konzept zur produktionsreifen Lösung

    GTT Communications und Insight Enterprises haben bekannt gegeben, dass sie eine neue KI-Fabrik für GTT erfolgreich implementiert haben. Diese basiert auf Dell PowerEdge Servern mit der Nvidia Accelerated Computing Platform. GTT, Nvidia, Dell Technologies und Insight haben zusammengearbeitet, um eine neue, skalierbare KI-Infrastruktur und -Architektur zu entwickeln und umzusetzen. Damit soll das Kundenerlebnis verbessert, operative Effizienz für die Mitarbeiter geschaffen und neue datengestützte Produkte auf den Markt gebracht werden.

  • Kunden auf ihrem Weg in die Cloud unterstützen

    Claroty, Spezialistin für die Sicherheit von cyber-physischen Systemen (CPS), wurde in die Forbes 2025 Cloud 100-Liste aufgenommen. Damit ist das Unternehmen zum vierten Mal in Folge im Ranking der 100 weltweit führenden Cloud-Unternehmen vertreten.

  • AWS und Nextlane mit strategischer Allianz

    Nextlane, Anbieterin von Softwarelösungen für den Automobilvertrieb, hat eine strategische Allianz mit Amazon Web Services (AWS) bekannt gegeben. Gemeinsam werden die Unternehmen die Cloud-Transformation in der europäischen Automobilindustrie vorantreiben und dabei die fundierte Branchenexpertise von Nextlane mit den fortschrittlichen Cloud-Funktionen von AWS kombinieren, um die nächste Phase der digitalen Innovation für Hersteller, Händler und Partner voranzutreiben.

  • Richtliniengesteuerte API-first-Plattform

    Hycu, Anbieterin von Data Protection-Lösungen für On-Premises-, Cloud- und SaaS-Umgebungen, ist im "GigaOm Cloud Data Protection Radar Report 2025" sowohl als "Leader" als auch als "Fast Mover" ausgezeichnet worden. Der Bericht würdigt "Hycu R-Cloud" für ihren einheitlichen, SaaS-basierten Data Protection-Ansatz für Hybrid-, Cloud-native und SaaS-Workloads. GigaOm positioniert das Unternehmen im Quadranten "Innovation/Platform Play" als herausragend im Branchenvergleich.

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen