{"id":66853,"date":"2023-02-16T08:42:02","date_gmt":"2023-02-16T08:42:02","guid":{"rendered":"https:\/\/barc.com\/de\/?p=66853"},"modified":"2023-10-25T11:03:48","modified_gmt":"2023-10-25T11:03:48","slug":"10-erfolgsfaktoren-data-warehouse-modernisierung","status":"publish","type":"post","link":"https:\/\/barc.com\/de\/10-erfolgsfaktoren-data-warehouse-modernisierung\/","title":{"rendered":"10 Erfolgsfaktoren f\u00fcr die Data Warehouse Modernisierung"},"content":{"rendered":"\n

Viele Unternehmen stehen vor gro\u00dfen Herausforderungen im Datenmanagement. Ihre Data Warehouses<\/a> sind in die Jahre gekommen, teuer, wenig flexibel und gen\u00fcgen heutigen Anforderungen nicht. H\u00e4ufig basieren sie auf Technologie, die im Kern bereits mehr als zehn Jahre alt ist, auch wenn regelm\u00e4\u00dfig Updates nachgezogen wurden. <\/p>\n\n\n\n

Modernisieren bedeutet nicht einfach das Austauschen einzelner Technologien, sondern eine grundlegende \u00dcberpr\u00fcfung der Gesamtarchitektur, der Plattform, der Methodik und der Datenlandschaft unter Ber\u00fccksichtigung der gesch\u00e4ftlichen Anforderungen. Dabei sollten folgende Erfolgsfaktoren ber\u00fccksichtigt werden:<\/p>\n\n\n\n

1. Ber\u00fccksichtigen der gesamten Datenlandschaft<\/h2>\n\n\n\n

Gerade \u00e4ltere Data Warehouses enthalten oft nur Finanz- oder Vertriebsdaten. Prozess- oder Produktionskennzahlen bleiben unbekannt. Ebenso fehlen Informationen zu Service-Leistungen, IT, Personal, etc. Au\u00dferdem \u00e4ndert sich parallel dazu die Datenlandschaft, da auch Kernapplikationen erneuert werden oder werden sollen. Das bedeutet, neue Schnittstellen und vermutlich ge\u00e4nderte Datenvolumen. <\/p>\n\n\n\n

Ein modernes Data Warehouse erm\u00f6glicht eine 360 Grad Sicht auf das Unternehmen und ber\u00fccksichtigt auch Sensor- und Logdaten, sowie das Anreichern mit externen Daten.<\/p>\n\n\n\n

2. Data Lake Integration<\/h2>\n\n\n\n

Data Lakes haben sich in den letzten Jahren etabliert zur Speicherung von unstrukturierten Daten, als Datenarchiv oder f\u00fcr das Speichern von Rohdaten, die momentan nicht in Analysen verwendet werden. Technisch werden dazu Object Storages<\/a> verwendet. <\/p>\n\n\n\n

Ein weiteres Einsatzszenario ist das Speichern aller zu integrierender Daten im Data Lake<\/a>. Nur noch ein Teil der Daten wird sp\u00e4ter ins Data Warehouse geladen. Der Data Lake wird somit zu einer persistenten Staging Area. Daraus entsteht eine Lakehouse-Architektur, die sowohl aufbereitete Daten f\u00fcr die Datenanalyse und Rohdaten f\u00fcr die sp\u00e4tere Verwendung bereitstellt. Die Implementierung erfolgt \u00fcblicherweise cloudbasiert.<\/p>\n\n\n\n

3. Datenintegration und Virtualisierung<\/h2>\n\n\n\n

Es m\u00fcssen nicht alle Daten in ein Data Warehouse \u00fcbernommen werden. Manchmal ist die Datenmenge schlicht zu gross f\u00fcr eine Integration. Mittels Virtualisierung werden Queries auf Teile der Quelldaten erm\u00f6glicht, n\u00e4mlich genau so viele wie pro Abfrage ben\u00f6tigt werden. Dies ist eines der Grundkonzepte von Data Mesh<\/a>.<\/p>\n\n\n\n

Der einfache Zugriff auf die Quellsysteme erm\u00f6glicht au\u00dferdem die Analyse von Echtdaten (real Time Analytics). Werden Daten jedoch zu einem bestimmten Zeitpunkt ben\u00f6tigt, beispielsweise am Tagesende, sind ETL-Jobs zu bevorzugen. Datenintegration und Virtualisierung sind gleichwertige Konzepte, die den Anforderungen entsprechend eingesetzt werden.<\/p>\n\n\n\t\t

\n\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t
<\/div>\n\t\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t
H\u00e4lt Ihr Data Warehouse Sie zur\u00fcck?<\/div>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t
BARC Webinar (on demand)<\/div>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Das muss nicht so bleiben. Data Fabric verbindet Datenumgebungen \u00fcber eine gemeinsame logische Schicht. Zugriff auf Daten dort, wo sie liegen. Keine Migration, kein Integrationsaufwand.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\tJetzt ansehen!<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<\/div>\n\t\t\n\n\n\n

4. Skalierbarkeit und Performance-Optimierung<\/h2>\n\n\n\n

Die Datenmengen in Ladeprozessen und Abfragen sind manchmal gro\u00df und haben dann lange Verarbeitungszeiten und einen entsprechend hohen Bedarf an Ressourcen zur Folge. Aus Anwendersicht sind die Antwortzeiten \u00fcblicherweise zu lang und werden zus\u00e4tzlich durch unterschiedliche Nutzerverhalten beeinflusst \u2013 beispielsweise durch zus\u00e4tzliche Abfragen w\u00e4hrend des Monatsabschlusses.<\/p>\n\n\n\n

Merger und Acquisitions ver\u00e4ndern das Datenvolumen sprunghaft, erh\u00f6hen die Komplexit\u00e4t und Heterogenit\u00e4t der Daten. Gleichzeitig sollen die Systeme rund um die Uhr in einem globalen Konzern verf\u00fcgbar sein. Verschiedene Instrumente und Szenarien sollten von Anfang ber\u00fccksichtigt werden, wie die Nutzung von cloudbasierten Infrastrukturen, verteilten Architekturen oder spaltenorientierten DBMS.<\/p>\n\n\n\n

5. Self Service Analytics, Advanced Analytics und KI<\/h2>\n\n\n\n

\u00c4ltere Data Warehouses kennen h\u00e4ufig nur vorgefertigte, recht statische, retrospektive Auswertungen. Auf die fehlende Flexibilit\u00e4t reagieren dann Fachbereiche, indem die Berichte nach Excel exportiert und dort den Anforderungen entsprechend aufbereitet werden, h\u00e4ufig mit einem hohen manuellen Aufwand und Fehlerrisiko.<\/p>\n\n\n\n

Dynamische, interaktive Dashboards reduzieren diese Aufw\u00e4nde nur teilweise. Diese gen\u00fcgen zwar f\u00fcr einen gro\u00dfen Teil der Fachanwender. Spezialfragen aus dem Gesch\u00e4ftsalltag werden aber erst durch Self-Service-Analytics<\/a> gel\u00f6st. Dazu ben\u00f6tigt werden ausgebildete Power User mit anwendertauglichen Tools, zweckm\u00e4ssige Daten, erg\u00e4nzt durch Hilfestellung und Support-Angebote.<\/p>\n\n\n\n

Weitere Analysem\u00f6glichkeiten, wie Data Science, Advanced und Predictive Analytics oder KI sollten als Ausbauschritte vorgesehen werden. Die Erfahrung hat gezeigt, dass neue Anforderungen und W\u00fcnsche von den Usern kommen, sobald die dringendsten und wichtigsten Berichtsanforderungen der Fachanwender und Power User erf\u00fcllt sind.<\/p>\n\n\n\n

6. Automatisierung und Monitoring<\/h2>\n\n\n\n

Leider ist das Starten von ETL<\/a>-Jobs zu einem festen Zeitpunkt das Einzige, was in allen Data Warehouses automatisiert wird. Schon das \u00dcberwachen dieser Ladestrecken auf Abbr\u00fcche oder inhaltlich fehlerhafte Daten findet nur noch teilweise statt. Dabei h\u00e4tte das Automatisieren und Monitoring ein hohes Potential die Qualit\u00e4t zu steigern und das IT-Personal zu entlasten. <\/p>\n\n\n\n

M\u00f6glichkeiten zur Automatisierung gibt es viele: Monitoring der Ladeprozesse, der Datenqualit\u00e4t, Systemauslastung und -kapazit\u00e4ten, automatisiertes Testen, Paketieren und Deployment, etc.<\/p>\n\n\n\n

7. Datenqualit\u00e4t und Stammdaten<\/h2>\n\n\n\n

Ein Bericht mit falschen Daten ist nutzlos oder gef\u00e4hrlich. Gef\u00e4hrlich dann, wenn falsche Ergebnisse nicht erkannt und damit Entscheidungen gef\u00e4llt werden. Weil es in der Vergangenheit immer wieder zu Fehlern gekommen ist, wird den Berichten nicht mehr vertraut.<\/p>\n\n\n\n

Uneinheitliche Stammdaten<\/a> (Master Data) behindern quell\u00fcbergreifende Analysen. Es fehlen gemeinsame Schl\u00fcssel. Innerhalb des Data Warehouse entstehen Datensilos. Die Datenqualit\u00e4t<\/a> muss daher von Beginn an stimmen und \u00fcberwacht werden.<\/p>\n\n\n\n

8. Data Governance<\/h2>\n\n\n\n

Data Warehouses ben\u00f6tigen Regeln f\u00fcr Entwicklung, Datenstrukturen, Betrieb und Self Service Analytics. Diese Regeln m\u00fcssen von Anfang definiert, geschult und kontrolliert werden. Regelverst\u00f6\u00dfe m\u00fcssen Konsequenzen haben. Eine fehlende Governance hat eine verminderte System- und Datenqualit\u00e4t zur Folge und ist h\u00e4ufig die Ursache f\u00fcr Technical Debts. Data Governance<\/a> ist eine F\u00fchrungsaufgabe.<\/p>\n\n\n\n

<\/p>\n\n\n\n

9. Data Catalogs und Business Glossar<\/h2>\n\n\n\n

Welche Daten haben wir? Was steht in diesem Feld und wozu kann ich es verwenden? Woher kommen die Daten f\u00fcr diesen Bericht? Sind die Daten aktuell und richtig? <\/p>\n\n\n\n

Viele \u00e4hnliche Fragen k\u00f6nnen gel\u00f6st werden durch Data Catalogs<\/a> und Business Glossars. Dabei handelt es sich um ein effektives Metadatenmanagement<\/a>, mit vielen zus\u00e4tzlichen M\u00f6glichkeiten, wie Kommentierung, Diskussion oder Ratings.<\/p>\n\n\n\n

10. Security und Privacy<\/h2>\n\n\n\n

Einerseits sollen Daten m\u00f6glichst breit genutzt werden. Auf der anderen Seite fordern Datenschutzgesetze den Zugriff auf Personendaten zu beschr\u00e4nken nach dem Prinzip \u00abneed to know\u00bb. Regulatorische Anforderungen beeinflussen au\u00dferdem den Speicherort. Diese teils widerspr\u00fcchlichen Konzepte f\u00fchren automatisch zu einer modularen und verteilten Architektur, sowie einem dezidierten Berechtigungskonzept.<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

Lesen Sie, welche Erfolgsfaktoren bei der Modernisierung eines bestehenden Data Warehouse essenziell sind.<\/p>\n","protected":false},"author":5,"featured_media":56910,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[48,103,150],"tags":[],"plus":[],"content_typ":[209],"layoutvorlage":[],"class_list":["post-66853","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-datenmanagement","category-architektur","category-data-driven-enterprise","content_typ-artikel"],"acf":[],"_links":{"self":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts\/66853","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/comments?post=66853"}],"version-history":[{"count":0,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts\/66853\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/media\/56910"}],"wp:attachment":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/media?parent=66853"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/categories?post=66853"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/tags?post=66853"},{"taxonomy":"plus","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/plus?post=66853"},{"taxonomy":"content_typ","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/content_typ?post=66853"},{"taxonomy":"layoutvorlage","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/layoutvorlage?post=66853"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}