In unserer Studie Data Warehouse and Data Vault Adoption Trends vom April 2023 stellten wir die Frage, was die grössten Herausforderungen in den vorhandenen Analytik Architekturen sind (Abbildung 1). Am häufigsten wurde eine ungenügende Datenqualität genannt. Seit Jahren wird das Thema in den verschiedensten unserer Umfragen an erster Stelle oder zumindest in den vorderen Rängen genannt. Erstaunlich daran ist, dass zwar alle mit der Datenqualität unzufrieden sind, jedoch niemand das Thema anzugehen wagt.
Die Notwendigkeit der Modernisierung von Data Warehouses
An zweiter Stelle der Umfrage wird die Abhängigkeit von wenigen Personen oder Beratern genannt, gefolgt von einer fehlenden oder zu geringen Automatisierung. Der Zusammenhang ist unschwer zu erkennen. Fehlende Automatisierung bedeutet, dass repetitive Aufgaben von Menschen ausgeführt werden müssen. Repetitive oder auch Routine Aufgaben sind nicht unbedingt beliebte Aufgaben. Häufig haben die Firmen eher kleinere Teams, dadurch werden Aufgaben von immer derselben Person ausgeführt oder extern ausgelagert. Fehlende Stellvertretungen verstärken noch das Problem der Abhängigkeit.
Unternehmen, die sich auf manuelle Prozesse verlassen, stehen somit vor großen Herausforderungen, wie unsere Studie zeigt. Unternehmen, die in die Automatisierung investieren, sind deutlich effizienter und weniger personenabhängig.
Die Problematik der manuellen Datenverarbeitung
Manuelle Prozesse in der Datenverwaltung führen nicht nur zu Ineffizienzen, sondern auch zu einer erhöhten Fehleranfälligkeit. Der Mangel an Standardisierung und die Abhängigkeit von individuellen Fähigkeiten verstärken dieses Problem. Wie in der BARC-Infografik zu DataOps und MLOps dargestellt, können diese Herausforderungen eine erhebliche Hürde für Unternehmen bedeuten, die versuchen, digital zu transformieren.
Die Studie zeigt auch, dass der Grad der Automatisierung je nach Prozess und Aufgabenbereich (Abbildung 2) unterschiedlich ist. Auffällig ist hierbei der generell niedrige Grad der Automatisierung. Sogar im Bereich der Datenintegration sprechen nur 15 % der Unternehmen von einer vollständigen Automatisierung. Die Studie zeigt keine Unterschiede nach Unternehmensgrösse.
Die gewählte Art der Automatisierung ist ebenfalls von Interesse. In der Studie wurde untersucht, ob die Unternehmen eher auf Tools oder auf eigene Automatisierungslösung setzen, letztere meistens in Form von Scripts (Abbildung 3). Wir empfehlen eher auf Tools zu setzen, da die Implementierung deutlich schneller und auf einem höheren Qualitätslevel erfolgt. Viele Tools bietet zusätzliche Features für Monitoring oder Qualitätsprüfungen. Praktisch alle Tools enthalten auch eine integrierte Dokumentation. Bei einer aufwändigen Erstellung von Scripts wird häufig auf eine Dokumentation oder diese zusätzlichen Funktionen verzichtet. Was bedeutet, dass Änderungen risikobehaftet sind oder Betriebsstörungen nicht rechtzeitig festgestellt werden.
Die Rolle der Automatisierung in der Datenverwaltung
In der Studie wurde auch die Art der Automatisierung untersucht. Das heisst, ob die Unternehmen eher auf Tools oder eine eigene Automatisierungslösung setzen, meistens in Form von Scripts (Abbildung 3). Automatisierungstools ermöglichen eine schnellere Implementierung auf einem höheren Qualitätslevel, als Scripts. Viele Tools bietet zusätzliche Features für Monitoring oder Qualitätsprüfungen. Praktisch alle Tools enthalten auch eine integrierte Dokumentation. Bei einer aufwändigen Erstellung von Scripts wird häufig auf eine Dokumentation oder diese zusätzlichen Funktionen verzichtet. Was bedeutet, dass Änderungen risikobehaftet sind oder Betriebsstörungen nicht rechtzeitig festgestellt werden. Unternehmen, die auf Automatisierung setzen, sind in der Lage, ihre Daten effizienter zu nutzen und schneller auf Marktanforderungen zu reagieren.
Automatisieren lassen sich nur repetitive Aufgaben, die stets genau gleich ausgeführt werden. Also müssen Prozesse und Aufgaben zuerst so weit wie möglich standardisiert werden. Erst in einem weiteren Schritt kann über Automatisierung nachgedacht werden. Auch wenn die Beschaffung geeigneter Tools eine Investition bedeutet, ist der langfristige Nutzen deutlich höher als bei selbstentwickelten Scripts. Der Business Case bei Tools ist somit besser.
