Was ist denn nun wieder eine Data Lake Engine? Kurz gesagt: Eine Engine soll helfen, Daten einfach und schnell in seinem (Cloud) Data Lake zu finden und mit einer hohen Abfrageperformance auszuwerten.<\/p>\n\n\n\n
Technisch ist eine SQL-basierte Query-Engine mit semantischem Layer gemeint, die Abfragen auf verschiedenen Datenhaltungssystemen (On Premises oder in der Cloud) erm\u00f6glicht und damit als zentraler Zugriffspunkt f\u00fcr JDBC\/ODBCODBC-kompatible Anwenderwerkzeuge fungiert.<\/p>\n\n\n\n
Dremio wurde 2015 ins Leben gerufen. Der Hauptsitz ist in den USA, Santa Clara. Heute arbeiten rund 120 Mitarbeiter:innen f\u00fcr den Technologielieferanten. Weltweit geh\u00f6ren Konzerne wie z. B. Diageo, Microsoft, NCR, PayPal, Standard Chartered, Transunion zu den Kund:innen.<\/p>\n\n\n\n
Im DACH-Raum nutzen bereits DATEV, DB Cargo, Henkel und die Software AG (Cumulocity IoT) Dremio. Zu den Vorzeigekunden im DACH-Raum z\u00e4hlen vor allem Datev, DBCargo und Henkel. Einen Branchenschwerpunkt gibt es nicht. Speziell f\u00fcr den deutschsprachigen Markt gibt es seit Anfang 2020 ein dediziertes Team, das weiter ausgebaut werden soll.<\/p>\n\n\n\n
Seit 2018 ist die Dremio Enterprise Edition auch als kommerzielle Version als Erg\u00e4nzung zum Open-Source Produkt Dremio Community Edition verf\u00fcgbar. Bezahlt wird vor allem f\u00fcr zus\u00e4tzliche Enterprise-Funktionen rund um den Datenschutz und Sicherheit sowie Service-Leistungen. Dremio kann On Premises und\/oder im eigenen Cloud-Account (AWS, Azure) genutzt werden.<\/p>\n\n\n\n
Dremio ist im Marketplace sowohl AWS als auch Azure verf\u00fcgbar und Co-Sell-Partner dieser Anbieter.<\/p>\n\n\n\n
Ein weiterer starker globaler Partner ist Tableau. Tableau nutzt Dremio vor allem f\u00fcr den SQL-Datenzugriff auf verteilte Dateisysteme und hat bereits mehrere Kund:innen von der Zusammenarbeit mit Dremio \u00fcberzeugen k\u00f6nnen.<\/p>\n\n\n\n
Dremio ist fremdfinanziert und hat k\u00fcrzlich eine Finanzspritze in H\u00f6he von 70 Mio. US$ erhalten.<\/p>\n\n\n\n
Dremio m\u00f6chte mit seiner Technologie den Zugang zu Daten f\u00fcr analytische Workflows vereinfachen, beschleunigen und dies kosteng\u00fcnstiger gestalten als andere Player im Markt. Hier z\u00e4hlt nicht nur die Technologie-Lizenz, sondern auch der Ansatz, Daten m\u00f6glichst nicht in der Gesamtarchitektur zu bewegen, zu duplizieren und damit Kosten zu verursachen.<\/p>\n\n\n\n
Vielmehr verfolgt Dremio den Ansatz, \u00fcber ein nutzerfreundliches Interface verschiedene Sichten auf die Daten f\u00fcr einen schnellen, flexiblen Zugriff auf (verteilte) Daten zu gew\u00e4hren. Dadurch sollen zus\u00e4tzliche persistierte Schichten wie Aggregationen vermieden werden k\u00f6nnen und vor allem den Nutzer:innen eine Plattform gegeben werden, um performante Ad-hoc-Analysen fahren zu k\u00f6nnen.<\/p>\n\n\n\n
Als Hauptnutzer:innen werden Business Analyst:innen, Data Scientists und Data Engineers gesehen. Wichtig ist es Dremio dabei, als agnostisches Werkzeug gesehen zu werden. Dremio erm\u00f6glicht die Abfrage unterschiedlicher Datenspeichertechnologien, an unterschiedlichen Standorten (cross-cloud, On Premises \/Cloud, \u2026).<\/p>\n\n\n\n
Dremio geht auf Apache Drill zur\u00fcck, eine SQL-Engine f\u00fcr Hadoop. Diese hat sich f\u00fcr analytische Workloads nie so richtig durchsetzen k\u00f6nnen. Als Gr\u00fcnde werden u. a. die Performance und das komplexe Handling genannt.<\/p>\n\n\n\n
Einen Schritt weiter geht Apache Arrow, eine Technologie, die sich Dremio zu Nutze macht und von Dremio Co-Gr\u00fcnder & CTO Jaques Nadeau mitentwickelt wurde und weiterhin mitentwickelt wird. Apache Arrow bietet eine sprachen\u00fcbergreifende Entwicklungsplattform f\u00fcr In-Memory Daten und spezifiziert ein standardisiertes sprachunabh\u00e4ngiges Spaltenspeicherformat f\u00fcr flache und hierarchische Daten an.<\/p>\n\n\n\n
Dies wird dann interessant, wenn es darum geht, unterschiedliche Datenspeicher mit unterschiedlichen Formaten miteinander zu verkn\u00fcpfen f\u00fcr analytische Abfragen und dabei noch eine gute Performance hinzulegen.<\/p>\n\n\n\n
Der Anbieter stellt Konnektoren zu unterschiedlichsten relationalen und nicht-relationalen Speichertechnologien und verteilten Dateisystemen in Dremio bereit. Im n\u00e4chsten Schritt k\u00f6nnen Abfragen auf die angeschlossenen Systeme ausgef\u00fchrt werden. Diese Abfragen sind als virtuelle Data-Sets definiert und werden zum Ausf\u00fchrungszeitpunkt (live) ausgef\u00fchrt.<\/p>\n\n\n\n
Jede Abfrage nutzt Beschleunigungsmechanismen wie Massivparalleles-Processing, Query-Optimierung oder Push-Down-Optionen. Der Push-Down erm\u00f6glicht die Delegation von Arbeitslast in die Quellsysteme. Eine der Haupt-Performance-Funktionen in der Dremio-L\u00f6sung nennen sich \u201eReflections\u201c. Sie erinnern an \u201ematerialized views\u201c und persistieren physikalisch optimierte Datendarstellung auf Wunsch in spalten-basierten Parquet-Files.<\/p>\n\n\n\n
Mit jeder Abfrage pr\u00fcft Dremio, ob ein persistiertes (vorberechnetes) Zwischenergebnis verf\u00fcgbar ist und spart so Rechenzeit. F\u00fcr die Datensuche in den technischen Metadaten steht ein interner Katalog zur Verf\u00fcgung. Die technischen Metadaten k\u00f6nnen mit Wikis und Tags versehen werden und so auch f\u00fcr den\/die fachlichere\/n Nutzer:in auffindbar werden. Die L\u00f6sung ersetzt keinen Enterprise Datenkatalog, kann aber mit einem integriert werden.<\/p>\n\n\n\n
Spannend auf der Roadmap ist vor allem der weitere Ausbau der Reflections. Der Aufbau dieser muss heute noch manuell erfolgen. Hier soll das System zuk\u00fcnftig \u201eintelligent\u201c dabei unterst\u00fctzen mithilfe von Daten aus dem Abfrageverhalten.<\/p>\n\n\n\t\t
![\"\"](\"https:\/\/barc.com\/wp-content\/uploads\/2022\/07\/Corporate-Outline_Mail.svg\")
\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t