{"id":66974,"date":"2023-02-21T07:52:18","date_gmt":"2023-02-21T07:52:18","guid":{"rendered":"https:\/\/barc.com\/de\/?p=66974"},"modified":"2023-02-21T11:09:33","modified_gmt":"2023-02-21T11:09:33","slug":"was-tun-mit-den-daten-im-alten-data-warehouse","status":"publish","type":"post","link":"https:\/\/barc.com\/de\/was-tun-mit-den-daten-im-alten-data-warehouse\/","title":{"rendered":"Was tun mit den Daten im alten Data Warehouse?"},"content":{"rendered":"\n

Ein neues Data Lakehouse<\/a> ist soeben eingef\u00fchrt. Die gew\u00e4hlten Technologien und die neue Plattform versprechen flexible und performante Auswertungen. Der schrittweise Aufbau von Data Science und KI ist m\u00f6glich. Entsprechend wird der Erfolg gefeiert. Niemand trauert dem in die Jahre gekommen Data Warehouse <\/a>nach, w\u00e4ren da nicht noch die Daten, die m\u00f6glicherweise weiterhin von Interesse sind.

Bevor nun das alte System endg\u00fcltig au\u00dfer Betrieb genommen wird, muss gekl\u00e4rt werden, was nun mit den Daten geschieht. Eine Standardantwort darauf gibt es nicht.<\/p>\n\n\n\n

Werden die Daten noch ben\u00f6tigt?<\/strong><\/h2>\n\n\n\n

Diese Frage ist der Ausgangspunkt f\u00fcr die Wahl der geeigneten L\u00f6sung. Das Einfachste ist, wenn niemand mehr Bedarf f\u00fcr diese Daten hat, entweder weil in den Berichten wenig oder keine lange Historie ben\u00f6tigt wird oder die Datenqualit\u00e4t <\/a>so schlecht ist, dass sowieso niemand einem Ergebnis aus dem alten Data Warehouse traut.

Sollten die Daten weiterhin ben\u00f6tigt werden, ist die Frage welche und wie viele davon. Ben\u00f6tigen wir vielleicht nur die letzten zwei Jahre und die 25 Jahre davor k\u00f6nnen gel\u00f6scht oder archiviert werden? Oder ben\u00f6tigen wir einen Teil der Daten nach anderen Gesichtspunkten, beispielsweise nur Produkthistorie, jedoch keine Logistikinformationen?<\/p>\n\n\n\n

K\u00f6nnen die Daten migriert werden?<\/strong><\/h2>\n\n\n\n

Datenmigration ist eine aufw\u00e4ndige Sache. Es m\u00fcssen Mappings aufgebaut und verschiedene Herausforderungen aus Sonderf\u00e4llen der ehemaligen Datenerfassung gel\u00f6st werden. Das Zielsystem ben\u00f6tigt Daten, die es so im alten System noch nicht gab. Qualit\u00e4tsprobleme in den Altdaten m\u00fcssen gel\u00f6st werden.

Im Wesentlichen ist Datenmigration ein Projekt zur Erstellung von ETL<\/a>-Jobs, die gerade ein einziges Mal laufen. Etwas einfacher f\u00e4llt die Migration unter Data Vault<\/a> aus. Die Altdaten werden einfach in separate Satellite-Tables geschrieben.<\/p>\n\n\n\n

Behalten wir die alte Datenbank?<\/strong><\/h2>\n\n\n\n

Die Datenbank des alten Data Warehouse wird nur noch lesend verwendet. Der Migrationsaufwand entf\u00e4llt. Jedoch m\u00fcssen Berichte auf das alte und neue Data Warehouse zugreifen und diese kombinieren. Die Komplexit\u00e4t in den Berichten steigt und Fehler nehmen zu.

Ein virtueller Layer hilft die Komplexit\u00e4t zu kapseln. Das Zusammenf\u00fchren wird einmal definiert. Berichte greifen nur auf den virtuellen Layer zu, der die Queries aufteilt und die Ergebnisse zusammengef\u00fchrt an den Bericht zur\u00fcckgibt.

Wird das alte Datenbank-Managementsystem weiterhin genutzt, bleiben auch Lizenz- und Betriebskosten. Die Entscheidung zum Abschalten wird dadurch nur herausgez\u00f6gert.<\/p>\n\n\n\n

Data Lake als Archiv?<\/strong><\/h2>\n\n\n\n

Werden die alten Daten nur selten ben\u00f6tigt, oder gibt es Anforderungen an die gesetzliche Aufbewahrung, ist ein Datenarchiv der sinnvollere Weg. Ein Object Storage<\/a> als Data Lake ist eine deutlich kosteng\u00fcnstigere L\u00f6sung als ein DBMS. Wird der Data Lake in Zonen strukturiert, bietet sich daf\u00fcr eine eigene Archivzone an.<\/p>\n\n\n\n

Ben\u00f6tigen wir die Details?<\/strong><\/h2>\n\n\n\n

In den seltensten F\u00e4llen werden die Detaildaten von inaktiven Gesch\u00e4ftsfallen der letzten zehn Jahre ben\u00f6tigt. Durch verschiedene Einfl\u00fcsse, wie Reorganisationen oder andere Anpassungen, sind die Daten f\u00fcr direkte Vergleiche nicht mehr geeignet. F\u00fcr Trendanalysen<\/a> reichen verdichtete Daten aus. Das heisst, es gen\u00fcgt ein vereinfachtes dimensionales Modell mit aggregierten Daten. Die Details k\u00f6nnen getrost in ein Archiv geschrieben werden.<\/p>\n\n\n\n

Bei Projekten zur Data-Warehouse-Modernisierung<\/a> ist der Umgang mit den alten Daten die gr\u00f6\u00dfte Herausforderung, neben der Evaluation der geeigneten Plattform.<\/p>\n","protected":false},"excerpt":{"rendered":"

Mit der Abl\u00f6sung eines in die Jahre gekommenen Data Warehouse stellt sich die Frage der Datenmigration. Was gibt es zu beachten?<\/p>\n","protected":false},"author":109,"featured_media":56910,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[48,103,150],"tags":[],"plus":[],"content_typ":[209],"layoutvorlage":[],"class_list":["post-66974","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-datenmanagement","category-architektur","category-data-driven-enterprise","content_typ-artikel"],"acf":[],"_links":{"self":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts\/66974","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/users\/109"}],"replies":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/comments?post=66974"}],"version-history":[{"count":0,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts\/66974\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/media\/56910"}],"wp:attachment":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/media?parent=66974"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/categories?post=66974"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/tags?post=66974"},{"taxonomy":"plus","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/plus?post=66974"},{"taxonomy":"content_typ","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/content_typ?post=66974"},{"taxonomy":"layoutvorlage","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/layoutvorlage?post=66974"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}