ETL-Tools<\/a>. Jedoch fehlt in mehreren IT-Infrastrukturen eine zentrale L\u00f6sung zum Automatisieren von Datenfl\u00fcssen und f\u00fcr das Schnittstellen-Management. Dadurch wird immer wieder die ETL-Infrastruktur eines Data Warehouses als Data Hub zwischen operativen Systemen missbraucht.<\/p>\n\n\n\nDas bedeutet, dass das Data-Warehousing-Team nun auch f\u00fcr operative Datenfl\u00fcsse verantwortlich wird. Diese kriegen jeweils die h\u00f6here Priorit\u00e4t. Somit fehlen Ressourcen f\u00fcr den Betrieb und die Weiterentwicklung des Data Warehouses.<\/p>\n\n\n\n
Das Data Warehouse oder das BI Tool wird zur Datenpumpe<\/h3>\n\n\n\n
Anstelle von Analysen ab der \u00aboffiziellen\u00bb Infrastruktur, werden die Tools nur f\u00fcr Datenextrakte verwendet. \u00dcblicherweise werden nur verschiedene Queries gebaut und anschlie\u00dfend nach Excel exportiert, anstelle von Dashboards und Analysen. Das eigentliche Analysetool ist dann Excel.<\/p>\n\n\n\n
In einem anderen Fall wurde das Data Warehouse offiziell zum Bef\u00fcllen von verschiedenen individuellen Analysel\u00f6sungen in den Fachbereichen verwendet. Dies waren Schatten-Data-Warehouses im eigentlichen Sinne und es gab \u00fcber 60 davon. Das Data-Warehousing-Team war in der Pflicht entsprechende Schnittstellen zu bauen und zu betreiben. Obwohl diese Aufgaben nichts mit dem eigentlichen Zweck des Data Warehouses zu tun hatten, wurden daf\u00fcr die gesamten Ressourcen absorbiert. Das Data-Warehousing-Team beklagte sich sogar, dass sie nicht einmal gen\u00fcgend Kapazit\u00e4t hatten um diese abweichenden Aufgaben zu erf\u00fcllen. In diesem Extremfall wurde das Data Warehouse tats\u00e4chlich gestoppt und mit einer Neuentwicklung begonnen. Auch zuk\u00fcnftig waren individuelle L\u00f6sungen erlaubt, jedoch lag die Erstellung in der Pflicht der Fachbereiche.<\/p>\n\n\n\n
Verwendung des Data Warehouses als Archiv<\/h3>\n\n\n\n
Zur Einhaltung der rechtlichen Aufbewahrungsfristen werden Daten l\u00e4nger in einem Data Warehouse gespeichert als notwendig. In einem Fall sollte ein Altsystem abgel\u00f6st werden, dessen Daten bisher nicht im Data Warehouse gespeichert wurden. Das Data Warehouse hatte bisher nur den Zweck, operative Auswertungen f\u00fcr einen r\u00fcckwirkenden Zeitraum von maximal einem Jahr zu erstellen. Da kein Datenarchiv existiert, entstand die Idee die Detaildaten des Altsystems f\u00fcr einen Zeitraum von mehr als 15 Jahren ins Data Warehouse zu speichern. Dadurch w\u00fcrde das Datenmodell um das zehnfache aufgebl\u00e4ht, obwohl die Daten f\u00fcr keine Analysen ben\u00f6tigt werden. Trotz anderweitiger Empfehlung wurde dies leider umgesetzt. Als Konsequenz ging die Performance deutlich herunter und Entwicklungsaufw\u00e4nde nahmen zu, weil auch das Datenmodell der archivierten und nicht genutzten Daten mitgepflegt werden musste.<\/p>\n\n\n\n
Sourcing \u00fcber Altsysteme<\/h3>\n\n\n\n
Bei der Abl\u00f6sung eines alten Data Warehouses besteht h\u00e4ufig ein gro\u00dfer Zeitdruck, das neue System rechtzeitig bereitzustellen. Daher ist es naheliegend, bereits korrekte Ladestrecken zu nutzen und aus dem alten Data Warehouse zu \u00fcbernehmen, anstatt neue Sourcings zu bauen. Dies wird damit begr\u00fcndet, dass die neuen Ladestrecken sp\u00e4ter gebaut werden. In der Praxis habe ich diese Begr\u00fcndung schon mehrfach geh\u00f6rt, jedoch habe ich noch nie erlebt, dass sp\u00e4ter die Ladestrecken neu gebaut wurden. Somit wurde eine Abh\u00e4ngigkeit zum Altsystem geschaffen, die zu einem unbefristeten Weiterbetrieb beider Systeme zwingt.<\/p>\n\n\n\n
Abweichungen vom Schichtenmodell<\/h3>\n\n\n\n
Die Daten werden jeweils nur vom Datenakquisitions-Layer, also vom Quellsystem in eine h\u00f6here Schicht transportiert. Leider wird immer wieder davon abgewichen und es gibt bidirektionale Datenfl\u00fcsse zwischen den Schichten oder zwischen operativen Systemen und dem Data Warehouse.<\/p>\n\n\n\n
Das Schichtmodell hat einen bestimmten, definierten Zweck. Dies sind nur wenige Grunds\u00e4tze: Daten werden nur \u00fcber die unterste, die Data-Akquisition-Schicht geladen und gepr\u00fcft. Es gibt keine direkte Datenintegration in eine andere Schicht. Daten werden immer von unten nach oben transferiert und nie in die Gegenrichtung. Datenextrakte sind nur aus einer definierten Schicht erlaubt f\u00fcr regulatorische Bereitstellung und nie f\u00fcr operative Systeme. Der Userzugriff ist limitiert auf die oberste oder die obersten Schichten. Ansonsten m\u00fcssen f\u00fcr alle Schichten Berechtigungsmodelle erstellt und verwaltet werden. Das gleiche gilt f\u00fcr ein Business-Glossar.<\/p>\n\n\n\n
Das Fehlen oder Nichteinhalten von Entwicklungsgrunds\u00e4tzen<\/h3>\n\n\n\n
Dazu gibt es die unterschiedlichsten Formen von Abweichungen, wie das Nichteinhalten von Namenskonventionen oder Schritten in der Datentransformation. Ich habe auch schon gesehen, dass Testsysteme teilweise f\u00fcr produktive Analysen verwendet wurden. Das hei\u00dft, dass es im eigentlichen Sinn zwei produktive Systeme gibt: ein offizielles und ein inoffizielles. Somit waren nur noch eingeschr\u00e4nkt Tests m\u00f6glich, was dazu f\u00fchrte, dass nicht alle Fehler entdeckt wurden und es regelm\u00e4\u00dfig zu Produktionsst\u00f6rungen nach Release-Terminen kam.<\/p>\n\n\n\n
Unvollst\u00e4ndige Infrastruktur<\/h3>\n\n\n\n
Es gibt zwar Tools f\u00fcr die Datenintegration, -speicherung und -analyse. Jedoch kein vollst\u00e4ndiges Toolset f\u00fcr die Entwicklung und Verwaltung der Systeme, wie ein Repository f\u00fcr Anforderungen, Code-Repositories und Versionierung, Testf\u00e4lle, geschweige denn eine automatisierte Regressionstest-Library.<\/p>\n\n\n\n
Die Entwickler behelfen sich mit manuellen organisatorischen L\u00f6sungen, wie Ordnerstrukturen auf einem Fileserver und diversen Excel-Listen. Unter Zeitdruck kommt es dabei immer wieder zu Fehlern, weil nicht alles nachgef\u00fchrt wurde.<\/p>\n\n\n\n
Ungen\u00fcgendes Patch- und Release-Management<\/h3>\n\n\n\n
Business-Anforderungen werden h\u00e4ufig h\u00f6her priorisiert als technische Anforderungen. Das bedeutet, dass h\u00e4ufig keine Zeit mehr besteht, die neusten Patches einzuspielen und Sicherheitsl\u00fccken zu schlie\u00dfen. Vereinzelt geschieht dies auch aus einem falschen Verst\u00e4ndnis von Stabilit\u00e4t.<\/p>\n\n\n\n
So hat mir schon einmal ein BI-Manager voller Stolz erkl\u00e4rt, dass sie seit knapp einem Jahr keinen einzigen Patch mehr eingespielt haben, nach dem irrigen Prinzip \u00abnever change a running system\u00bb.<\/p>\n\n\n\n
In einer anderen Situation war der Kunde mit seiner Dashboard-L\u00f6sung nicht mehr zufrieden und wollte ein neues Tool evaluieren. Es hat sich dann herausgestellt, dass der Hersteller bereits zwei Release-Nummern weiter war, also nicht mehr Release 6.x, sondern 8.x. Der Kunde musste nur noch die neuen Releases einspielen, f\u00fcr die er mit seiner j\u00e4hrlichen Maintenance-Geb\u00fchr berechtigt war, zu einem Bruchteil der Gesamtkosten, wie eine Neubeschaffung.<\/p>\n\n\n\n
Datenpflege oder Datenbereinigung im Data Warehouse<\/h3>\n\n\n\n
Nicht erlaubt ist die transaktionale Datenpflege in einem Data Warehouse, insbesondere nicht von Stammdaten. Eine Fehlerfassung kann die Richtigkeit s\u00e4mtlicher Auswertungen zerst\u00f6ren. Datenpflege hat in separaten Applikationen zu erfolgen, die \u00fcber den normalen Sourcing Prozess ins Data Warehouse geladen werden.<\/p>\n\n\n\n
Dasselbe gilt f\u00fcr die Bereinigung von Datenqualit\u00e4tsproblemen. Cleansing ist zwar ein \u00fcblicher Vorgehensschritt beim Laden von Daten. Jedoch ist es nicht Zweck eines Data Warehouses, Daten zu bereinigen und anschliessend korrigiert ins operative System zur\u00fcckzuschreiben.<\/p>\n\n\n\n
Schon gar nicht erlaubt sind Datenmanipulationen direkt in den Tabellen \u00fcber ein Administratoren-Tool. Der Audittrail wird dadurch unterbrochen.<\/p>\n\n\n\n
Feature coding<\/h3>\n\n\n\n
Manchmal werden Anforderungen formuliert, die nicht zu den Standardfunktionen eines eingesetzten Tools geh\u00f6ren. Nun werden Zusatzfunktionen mittels Macros, Stored Procedures oder sonstige Programmierfunktionen nachgebaut. Nur selten sind diese Codes dokumentiert.<\/p>\n\n\n\n
Regelm\u00e4\u00dfig f\u00fchren genau diese selbstprogrammierten Erweiterungen zu Schwierigkeiten bei einem Major-Release-Wechsel der eingesetzten Software. Die meisten dieser Features, die ich gesehen habe, wurden einzig mit dem Zweck gebaut, marginale Layout-Anpassungen an Reports oder Dashboards vorzunehmen. Ist es das wirklich wert?<\/p>\n\n\n\n
Wie k\u00f6nnen Technical Debt\u2019s vermieden werden?<\/h2>\n\n\n\n
Wie schon einleitend beschrieben, entstehen viele dieser Probleme aus Zeitdruck oder Unwissenheit. Die Vermeidung und Eliminierung von Technical Debts beginnt meistens bei einer schriftlich dokumentierten Governance wie der Beschreibung des Entwicklungsprozesses, einer definierten Architektur, Entwicklungsgrunds\u00e4tzen und Design Patterns, Betriebshandb\u00fccher, usw.<\/p>\n\n\n\n
Das Definieren von Handlungsanweisungen allein gen\u00fcgt nicht. Damit die Regeln gelebt und eingehalten werden sind Schulungen notwendig, beispielsweise f\u00fcr neueintretende Mitarbeiter. Weiter ben\u00f6tigt es eine regelm\u00e4\u00dfige \u00dcberpr\u00fcfung der Regeleinhaltung, wie Audits.<\/p>\n\n\n\n
Ebenfalls hilfreich sind integrierte Tools, um einen m\u00f6glichst hohen Automatisierungsgrad zu erreichen. Tools verhindern auch die Regelabweichung. Fachliche Anforderungen werden zu technischen Komponenten mit dazugeh\u00f6renden Testf\u00e4llen. Wird eine integrierte Toollandschaft gew\u00e4hlt, k\u00f6nnen Mehrfacherfassungen vermieden werden. Bei unabh\u00e4ngigen Tools besteht zus\u00e4tzlich das Risiko, dass darin ein unterschiedlicher Stand abgebildet ist, weil noch nicht alle Informationen nachgef\u00fchrt sind.<\/p>\n\n\n\n
BARC kann Sie bei der Identifikation und schrittweisen Eliminierung bestehender Technical Debts unterst\u00fctzen. Unsere Beratungsleistungen umfassen auch den Entwurf einer zweckm\u00e4\u00dfigen Systemarchitektur, einer Governance, beispielsweise eines \u00abBook of Standards\u00bb oder Evaluierung der ben\u00f6tigten Tools. Kontaktieren Sie uns und vereinbaren Sie ein erstes unverbindliches Gespr\u00e4ch.<\/p>\n","protected":false},"excerpt":{"rendered":"
Was sind technische Schulden \u2013 oder auch Technical Debts in einem Data Warehouse? Wo liegen deren Ursachen und wie k\u00f6nnen sie vermieden werden? <\/p>\n","protected":false},"author":5,"featured_media":47284,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[48,150],"tags":[],"plus":[],"content_typ":[209],"layoutvorlage":[],"class_list":["post-26263","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-datenmanagement","category-data-driven-enterprise","content_typ-artikel"],"acf":[],"_links":{"self":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts\/26263","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/comments?post=26263"}],"version-history":[{"count":0,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/posts\/26263\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/media\/47284"}],"wp:attachment":[{"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/media?parent=26263"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/categories?post=26263"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/tags?post=26263"},{"taxonomy":"plus","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/plus?post=26263"},{"taxonomy":"content_typ","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/content_typ?post=26263"},{"taxonomy":"layoutvorlage","embeddable":true,"href":"https:\/\/barc.com\/de\/wp-json\/wp\/v2\/layoutvorlage?post=26263"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![\"\"](\"https:\/\/barc.com\/wp-content\/uploads\/2023\/01\/Icon-white_Webinar-02.png\"){kind=icon}
\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t