Der Begriff Data Warehouse wird auch synonym f\u00fcr das gesamte Data Warehouse System verwendet. Der Prozess des Bauens und Betreibens eines Data Warehouse wird auch als Data Warehousing bezeichnet.<\/p>\n\n\n\n
Das Konzept des Data Warehousing wurde Ende der 1980er Jahre erstmalig popul\u00e4r. Es findet seit den 1990er Jahre bis heute eine breite Anwendung. <\/p>\n\n\n\n
Ziele des Data Warehouse<\/h2>\n\n\n\n
Operative Systeme wie etwa ERP- (Enterprise Resource Planning)<\/a> oder CRM- (Customer Relationship Management)<\/a> Systeme und deren Datenmodelle sind optimiert f\u00fcr die Unterst\u00fctzung von Kerngesch\u00e4ftsprozessen.<\/p>\n\n\n\n Sie eignen sich allerdings nicht gut f\u00fcr analytische Zwecke. Zudem sind die Datenmodelle verschiedener Quellen nicht direkt verkn\u00fcpfbar.<\/p>\n\n\n\n Das Ziel des Data Warehouse ist es, Daten aus verschiedenen Quellen zu integrieren und in einer f\u00fcr Analytics optimierten Form bereitzustellen. Dabei handelt es sich in der Regel um strukturierte Daten. Das Data Warehouse dient Nutzer:innen als zentrale Datenquelle f\u00fcr Auswertungen.<\/p>\n\n\n\n Es kann anhand von vier Merkmalen beschrieben werden:<\/p>\n\n\n\n Was aber macht ein Data Warehouse? Wie funktioniert es? Im Data Warehouse System dreht sich alles um Daten und deren analytische Nutzung. Daf\u00fcr muss es drei Funktionsbereiche abdecken (funktionale Architektur):<\/p>\n\n\n\n Im ersten Funktionsbereich<\/strong> werden Daten aus verschiedenen Quellen gesammelt. Das kann von der Quelle (\u201epush\u201c-Prinzip) oder vom Data Warehouse (\u201epull\u201c-Prinzip) ausgehen. Dabei wird h\u00e4ufig eine Delta-Verarbeitung gew\u00e4hlt. Dabei werden nur Daten gesammelt, die sich seit dem letzten Datenaustausch ver\u00e4ndert haben.<\/p>\n\n\n\n Im zweiten Funktionsbereich<\/strong> werden die gesammelten Daten gepr\u00fcft, historisiert und f\u00fcr die Auswertung aufbereitet. Dazu geh\u00f6rt auch die Berechnung von Kennzahlen, beispielsweise f\u00fcr die Unternehmenssteuerung. Die Daten werden in einer Datenbank gespeichert, die im n\u00e4chsten Schritt als Quelle f\u00fcr Analysen dient. Daher wird das Data Warehouse auch gerne als \u201esingle point of truth\u201c (SPoT) f\u00fcr Informationsbed\u00fcrfnisse bezeichnet.<\/p>\n\n\n\n Im dritten Funktionsbereich<\/strong> finden Analysen statt. Diese fasst man unter dem Begriff Business Intelligence (BI)<\/a> zusammen. BI Konsument:innen k\u00f6nnen mit Reports und Dashboards erfahren, was in ihrem Gesch\u00e4ftsbereich passiert ist. Um zu verstehen, warum etwas passiert ist, werden h\u00e4ufig dimensionale (auch OLAP = Online Analytical Processing genannt) und visuelle Analysen von Power Usern, Business oder Data Analyst:innen verwendet.<\/p>\n\n\n\t\t Das muss nicht so bleiben. Data Fabric verbindet Datenumgebungen \u00fcber eine gemeinsame logische Schicht. Zugriff auf Daten dort, wo sie liegen. Keine Migration, kein Integrationsaufwand.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t Ein weiterer wichtiger Teil der Data Warehouse Architektur ist die Datenarchitektur. Die g\u00e4ngigste Form ist die sogenannte Hub & Spoke Architektur. Sie besteht aus drei Datenschichten.<\/p>\n\n\n\n Beim Sammeln der Daten werden sie zun\u00e4chst in eine Art Parkplatz geschrieben, die sogenannte Staging Area. Diese ist in der Regel nur tempor\u00e4r vorhanden.<\/p>\n\n\n\n Die im zweiten Schritt aufbereiteten Daten werden dauerhaft gespeichert. Dabei wird unterschieden zwischen dem eigentlichen Data Warehouse und den Data Marts.<\/p>\n\n\n\n Das Data Warehouse enth\u00e4lt granulare und historisierte Gesch\u00e4ftsdaten, die in einem anwendungsunabh\u00e4ngigen Datenmodell gespeichert werden. Es soll damit f\u00fcr viele Anwendungsf\u00e4lle als Datenquelle wiederverwendbar sein, daher der Name Hub.<\/p>\n\n\n\n Data Marts sind anwendungs- oder aufgabenspezifische Datenbest\u00e4nde, die meist Dimensionen und Kennzahlen enthalten. Diese Spokes werden aus dem Hub bef\u00fcllt. Data Marts gelten vielfach als die Business Data Schicht, da die Dimensionen und Kennzahlen f\u00fcr Fachexpert:innen gut verst\u00e4ndlich sind.<\/p>\n\n\n\n Die Datenmodellierung f\u00fcr Data Warehouses und Data Marts kann sehr aufw\u00e4ndig sein. Manche Unternehmen greifen daher auf sogenannte Referenzdatenmodelle zur\u00fcck.<\/p>\n\n\n\n Das sind branchenspezifische Datenmodelle, die \u00e4hnlich wie Software lizenziert werden k\u00f6nnen. Man kann sie als Blaupause verstehen, die an die konkreten Anforderungen angepasst werden k\u00f6nnen. Durch die Nutzung eines Referenzdatenmodells verspricht man sich eine h\u00f6here Effizienz und Effektivit\u00e4t in der Data Warehouse Entwicklung. <\/p>\n\n\n\n Das Konzept des Data Warehouse findet seit rund 30 Jahren mehr oder weniger unver\u00e4ndert Anwendung. Manche finden es allerdings zu kompliziert und zu unflexibel.<\/p>\n\n\n\n Neue, auch semi- oder komplex strukturierte Daten wie Sensor-, Text- oder Bilddaten sollen mithilfe fortgeschrittener Analysemethoden wie Statistik und K\u00fcnstliche Intelligenz<\/a> analysiert werden k\u00f6nnen. Mit dieser explorativen BI m\u00f6chten Data Scientists die Zukunft hervorsagen (\u201ewas wird passieren\u201c) und Handlungsempfehlungen (\u201ewas soll ich tun\u201c) ableiten, um die Gesch\u00e4ftsprozesse zu optimieren.<\/p>\n\n\n\n Daf\u00fcr werden h\u00e4ufig Rohdaten ben\u00f6tigt. Die Data Warehouse Datenbank ist aber nur schlecht geeignet, um die gro\u00dfen Datenvolumen dieser Daten kosteneffizient zu speichern<\/a> und zu verarbeiten. So entstand ab den 2000er Jahren das Konzept des Data Lakes. Dort werden Rohdaten in preisg\u00fcnstigen und skalierf\u00e4higen Dateisystemen gespeichert.<\/p>\n\n\n\n Der Data Lake kann das traditionelle Data Warehouse aber nicht ersetzen. Daher entstand das Konzept des Data Lakehouse. Hier werden beide Konzepte in einer Gesamtarchitektur genutzt. H\u00e4ufig kommt dabei das Data Vault Prinzip zum Einsatz.<\/p>\n\n\n\n Die Diskussion um die richtige Datenarchitektur wird zunehmend durch die wachsende Verbreitung von Multi-\/Hybrid-Cloud-Szenarien beeinflusst. Auch der Trend Data Mesh<\/a>, ein eher organisatorisches Konzept, ben\u00f6tigt f\u00fcr die Umsetzung eine geeignete Plattform und Architektur.<\/p>\n\n\n\n Manche Unternehmen \u00fcberlegen daher, ob das Konzept des Data Fabric eine L\u00f6sung f\u00fcr die Zukunft ist. Mit einer Data Fabric r\u00fcckt man vom rein zentralistischen Prinzip des Data Warehouse, Data Lake und Data Lakehouse ab und wendet f\u00f6deralistische Designprinzipien an, die eine verteilte Architektur unterst\u00fctzen.<\/p>\n\n\n\n Es gibt nicht eine einzige Data Warehouse Software. Vielmehr besteht ein Data Warehouse System aus verschiedenen Technologien<\/a>, die ineinandergreifen.<\/p>\n\n\n\n F\u00fcr das Sammeln und Aufbereiten werden Data Pipelines entwickelt. Diese werden meist automatisiert betrieben. Dabei helfen h\u00e4ufig Datenintegrations-Plattformen, die manchmal als ETL- (extract transform load) oder ELT- (extract load transform) Werkzeuge<\/a> bezeichnet werden.\u00a0<\/p>\n\n\n\n Die Daten werden teils in Dateisystemen, teils in relationalen oder multidimensionalen Datenbanken gespeichert. Oft kommen Datenzugriff-Engines wie Data Virtualization L\u00f6sungen zum Einsatz.<\/p>\n\n\n\n F\u00fcr die Analyse gibt es ebenfalls eine Vielzahl von Werkzeugen am Markt, die jeweils einen bestimmten funktionalen Fokus aufweisen, zum Beispiel Reporting\/Dashboarding<\/a>, klassische Analyse\/OLAP, visuelle Analyse oder Advanced Analytics<\/a>.<\/p>\n\n\n\n In dieser Hinsicht unterscheidet sich ein Data Lakehouse System nicht grundlegend vom Data Warehouse System. Es kommen im Data Lakehouse System aber h\u00e4ufig neuere, Open-Source-basierte und kommerzielle Technologien zum Einsatz. Das ist auch dadurch bedingt, dass ein Data Lakehouse h\u00e4ufig auf einer cloudbasierten Datenplattform umgesetzt wird.<\/p>\n\n\n\n In manchen Data Warehouse Systemen kommen auch Data Governance<\/a> und Kollaborationsl\u00f6sungen zum Einsatz. Das kann unter anderem Software f\u00fcr einen Data Catalog<\/a>, ein Metadaten<\/a> Repository oder Datenqualit\u00e4tsmanagement sein.<\/p>\n\n\n\n Erg\u00e4nzende Tools helfen beim Data Warehouse Design (Modellierungswerkzeuge) oder garantieren den sicheren und verl\u00e4sslichen Betrieb (System-, Prozessmonitoring oder Werkzeuge f\u00fcr Security).<\/p>\n\n\n\n Der Markt der Data Warehouse L\u00f6sungen ist sehr gro\u00df. F\u00fcr das Jahr 2021 sch\u00e4tzt BARC, dass auf dem deutschen Markt 415 Data Warehouse Anbieter mit 690 verschiedenen Data Warehouse L\u00f6sungen existieren.<\/p>\n\n\n\n F\u00fcr viele Unternehmen ist es daher sehr schwierig, sich einen \u00dcberblick \u00fcber diesen Softwaremarkt zu verschaffen. BARC unterst\u00fctzt diese Unternehmen mit dem BARC Guide Data, BI & Analytics<\/a> bei der ersten Orientierung und Sondierung. Der BARC Guide klassifiziert L\u00f6sungen nach dieser Matrix:<\/p>\n\n\n\n Weitere Informationen zu Data Warehouse Anbieter und Data Warehouse Beispielen finden sind in den BARC Scores<\/a> sowie den BARC Surveys<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":" Ein \u00dcberblick rund ums Data Warehousing<\/p>\n","protected":false},"author":2,"featured_media":47302,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[48,103,150],"tags":[],"plus":[],"content_typ":[209],"layoutvorlage":[],"class_list":["post-49632","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-datenmanagement","category-architektur","category-data-driven-enterprise","content_typ-artikel"],"acf":[],"_links":{"self":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts\/49632","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/comments?post=49632"}],"version-history":[{"count":0,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts\/49632\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/media\/47302"}],"wp:attachment":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/media?parent=49632"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/categories?post=49632"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/tags?post=49632"},{"taxonomy":"plus","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/plus?post=49632"},{"taxonomy":"content_typ","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/content_typ?post=49632"},{"taxonomy":"layoutvorlage","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/layoutvorlage?post=49632"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\n
Funktionen des Data Warehouse<\/h2>\n\n\n\n
![\"\"](\"https:\/\/barc.com\/wp-content\/uploads\/2022\/09\/Abbildung-1_Sammeln-aufbereiten-analysieren-1024x136.png\")
<\/figure>\n\n\n\n![\"\"](\"https:\/\/barc.com\/wp-content\/uploads\/2023\/01\/Icon-white_Webinar-02.png\"){kind=icon}
\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\tArchitektur des Data Warehouse<\/h2>\n\n\n\n
![\"\"](\"https:\/\/barc.com\/wp-content\/uploads\/2022\/09\/Abbildung-2_Hub-and-Spoke-Architektur.png\")
Data Warehouse vs. Data Lake \u2013 ein Vergleich<\/h2>\n\n\n\n
![\"\"](\"https:\/\/barc.com\/wp-content\/uploads\/2022\/09\/Abbildung-3_Das-Data-Lake-Konzept-1024x449.png\")
Was ist ein Data Warehouse System? Ein \u00dcberblick <\/h2>\n\n\n\n
![\"\"](\"https:\/\/barc.com\/wp-content\/uploads\/2022\/09\/Abbildung-4_BI-Referenzarchitektur-1024x461.png\")
Data Warehouse Beispiele<\/h2>\n\n\n\n
![\"\"](\"https:\/\/barc.com\/wp-content\/uploads\/2022\/09\/Abbildung-5_BARC-Guide-Matrix1-1024x441.png\")
<\/figure>\n\n\n\n