Effizient und smart Wert aus Daten generieren: mit Data Intelligence zu Transparenz und Vertrauen

Wissen zu Daten ist Macht. Nicht-Wissen führt häufig zu mangelnder Transparenz und Vertrauen in Daten. Aber nur mit Transparenz und Vertrauen kann man Data & Analytics langfristig skalieren, denn Expertenwissen, das nur bei den Experten liegt, führt immer wieder zu Flaschenhälsen. Laut der aktuellen BARC-Umfrage zu Data Mesh und Data Fabric geben 87% der Teilnehmer an, dass sie dringend oder größtenteils effektivere Methoden zur Sammlung und Dokumentation von Expertenwissen über Daten benötigen. Zudem berichten 63.35% von erheblichen Schwierigkeiten bei der Auffindbarkeit und Wiederverwendbarkeit von Daten, was zu Unsicherheiten hinsichtlich ihrer Zuverlässigkeit und zur Duplizierung von Daten führt.

Mit über 20 Jahren Erfahrung in mehr als 1000 Softwareauswahlprojekten ist BARC Ihr idealer Partner für hohe Entscheidungssicherheit bei Softwareauswahl und strategischer Umsetzung von Datenprojekten.

Kurzum: Wachsende Komplexität in Daten und Datenlandschaften gepaart mit steigenden Anforderungen an Daten erfordern Strategien, Organisationen, Prozesse und auch Technologien, die helfen effizient und smart Wert aus Daten generieren zu können unter Einhaltung von Datenschutz und Regulatorik.

Definition von Data Intelligence

„Data Intelligence beschreibt die Disziplin der Nutzung von geschäftlichen, technischen, operativen und Beziehungs-Metadaten zur automatisierten Schaffung von Transparenz in Bezug auf Profil, Klassifizierung, Qualität, Standort, Kontext und Herkunft von Daten und Datenprodukten. Durch intelligente und maschinengestützte Prozesse wird es ermöglicht, Menschen, Prozessen und Technologien auf effiziente Weise vertrauenswürdige, zuverlässige und wertvolle Daten und Erkenntnisse bereitzustellen und diese aktiv zu unterstützen“

Kurzum: Data Intelligence soll helfen, Wert aus Daten zu schöpfen und verbessert die dafür benötigten Prozesse.

Wieso wird Data Intelligence immer wichtiger?

Zentrale Datenarchitekturen sind in der Kritik mit den Anforderungen nicht skalieren zu können, dezentrale Datenarchitekturen und Föderation hingegen sind aktuell en vogue. Organisationen, die auf die Herausforderungen der zentralisierten Datenverarbeitung reagieren, haben sich dem Self-Service-Ansatz für Analysen zugewandt, jedoch ohne die erwarteten Ergebnisse zu erzielen, wie in der BI & Analytics Survey von BARC festgestellt wurde.

Ein neuer Ansatz betont „Product Thinking“ für Data Assets, indem er sich auf die Schaffung von wertvollen, benutzerfreundlichen und kosteneffizienten Datenprodukten konzentriert, um den Wert von Daten und Analysen zu steigern. Das in letzter Zeit für viele interessant gewordene Konzept „Data Mesh“ denkt hingegen die organisatorischen Strukturen neu und benötigt Data Intelligence, um Dezentralisierung der Ownership, Federated Computional Governance oder Self-Service Plattformen zu ermöglichen und dabei gleichzeitig die Übersicht zu gewährleisten. ‘Data Fabric’ addressiert als unterstützender technischer Ansatz Skalierbarkeitsprobleme, fördert dezentrale Datenverwaltung und integriert Daten-Silos über Plattformen hinweg, wodurch er sich von traditionellen zentralisierten Ansätzen unterscheidet.

„Den Dreiklang aus Data Mesh, Data Fabric und Data Intelligence nehmen wir bei BARC als formbildende Ansätze für moderne Data & Analytics Landschaften und Wegbereiter für AI wahr.“

Um die verteilte und heterogene Datenlandschaft effektiv zu navigieren, benötigen Organisationen Zugang zu Wissen über ihre Daten. Die Herausforderung für Datenkonsumenten besteht darin, relevante Daten zu finden, zu verstehen, zu vertrauen und zu nutzen, oft behindert durch mangelnde Dokumentation und explizites Wissen. Hier kommt Data Intelligence ins Spiel: Daten werden besser organisiert, zugänglich gemacht und geschützt. Das bedeutet, dass Informationen über die Daten (die sogenannten Metadaten) mithilfe von Data Intelligence Werkzeugen (Data Catalogs, Data Intelligence Plattformen) zentral gesammelt und analysiert werden, und Wissen zu Daten und deren Abhängigkeiten verfügbar gemacht und daraus neues Wissen abgeleitet werden kann, bspw. in Form der Entdeckung von Relationen, Mustern in Daten etc..

Durch den Einsatz von Analytics auf Basis von Metadaten unterstützt Data Intelligence dabei, Wissen zu schaffen, das vorher nicht offensichtlich war. So können Unternehmen beispielsweise herausfinden, welche Daten besonders wichtig sind, wo es vielleicht Lücken gibt oder wie sie ihre Prozesse effizienter gestalten können, ohne dass dafür ständig mehr Mitarbeiter gebraucht werden.

Data Intelligence ist eine Querschnittsfunktion 

Data Intelligence berührt alle Prozesse rund um Daten, sie bildet die Grundlage für eine effektive Datennutzung und Entscheidungsfindung in modernen Unternehmen. Es ist demnach nicht verwunderlich, dass das Softwareangebot rund um Data Intelligence auf den ersten Blick sehr unübersichtlich erscheint (siehe Abb. 1), denn es gibt nicht nur dedizierte Data Intelligence Plattformen, sondern auch Produkte, die aus ihrem traditionell spezialisierten Segment heraus Data Intelligence unterstützen und sich weiter in diese Richtung entwickeln und positionieren. Wir präsentieren hier eine kurze Übersicht der Segmente im Kontext Data Intelligence. Einzelheiten zu den jeweiligen Produkten finden Sie in den BARC Reviews.

Datenintegration und ETL:

Datenwertschöpfung beginnt bei der Integration und Bereinigung von Daten aus verschiedenen Quellen, um eine konsolidierte und qualitativ hochwertige Datenbasis zu schaffen, die für weitere Analysen verwendet werden kann.

Werkzeuge für Data Intelligence helfen für die Datenintegration Datenherkunft und Beschaffenheit zu verstehen sowie Abhängigkeiten zwischen Daten, Regeln, Zuständigkeiten u.w. zu verstehen. Eine Data Lineage bspw. bildet Informationen darüber ab, welche Daten wie integriert, aggregiert und transformiert werden.

Data Warehousing und Big Data Plattformen: 

Diese Plattformen speichern die integrierten Daten und ermöglichen deren schnelle und skalierbare Verarbeitung. Sie sind das Rückgrat für die Speicherung großer Datenmengen. Data Intelligence kann hier dabei helfen, den Überblick zu bewahren. (z.B.„Wo liegen meine Daten?“, „Wo und wie werden meine Daten genutzt?“)

Datenqualität und -Governance:

Hohe Datenqualität und effektive Governance sind unerlässlich, um sicherzustellen, dass die Analysen auf vertrauenswürdigen und genauen Daten basieren. Dies gewährleistet die Einhaltung gesetzlicher Vorschriften und interner Richtlinien. Data Intelligence unterstützt aktiv Governance-Prozesse mit Workflows, Informationen zur Datenqualität oder hilft bei der Zuweisung von Policies (bspw. für den Datenzugriff, zum Datenschutz) zu den Datenobjekten.

Business Intelligence (BI) und Datenvisualisierung:

BI- und Visualisierungstools nutzen die integrierten und gespeicherten Daten, um verständliche und zugängliche Berichte und Dashboards zu erstellen, die datengetriebene Entscheidungen unterstützen. „Doch welche Berichte gibt es bereits, wie sind die Kennzahlen berechnet worden, wer konsumiert die Berichte“. Auf diese Fragen liefert Data Intelligence eine Antwort.

Advanced Analytics und Machine Learning:

Diese fortgeschrittenen Analysen und maschinellen Lernmodelle extrahieren tiefergehende Erkenntnisse aus den Daten, prognostizieren Trends und ermöglichen proaktive Geschäftsentscheidungen. Data Intelligence kann helfen Data Scientisten Dateninputs und Modell-Outputs besser zu verstehen und so BIAS und falschen Schlüssen in Modellen vorzubeugen. Darüber hinaus hilft die Inventarisierung der Datenlandschaft dabei wertvolle Datentöpfe zu entdecken für mögliche gewinnbringende Modelle.

Datenkataloge und Metadaten-Management:

Datenkataloge organisieren und verwalten Metadaten, was die Auffindbarkeit und Nutzbarkeit von Daten erleichtert. Dies fördert die Transparenz und das Vertrauen in die Daten. Datenkataloge bilden die Schnittstelle zum Endanwender und sind somit ein zentrales Werkzeug von Data Intelligence-Strategien.

Data Preparation und Self-Service Data Analytics:

Tools zur Datenvorbereitung und Self-Service-Analysen befähigen Geschäftsanwender, Daten selbstständig zu bereinigen und zu analysieren, wodurch die Agilität und Effizienz der Datenanalyseprozesse erhöht wird.

Data Intelligence vereinfacht den Self-Service und die Auffindbarkeit von Daten (und relevanten Ansprechpartnern z.B. Data Owner).

Durch diese Fülle an Anknüpfungspunkten in alle Segmente versetzt Data Intelligence Unternehmen in die Lage, ihre Datenlandschaften und -prozesse als kohärentes Ganzes zu sehen und aus ihren Daten maximale Werte zu schöpfen. Die Integration aller Segmente ist entscheidend, um eine durchgängige, zuverlässige und nutzbare Datenpipeline zu schaffen, die von der Datensammlung bis zur Entscheidungsfindung reicht.

Daten-Herausforderungen, die Data Intelligence lösen soll

Im gleichen Maße, wie Data Intelligence alle Bereiche einer Datenlandschaft berührt, sieht sie sich auch den Herausforderungen dieser Bereiche gegenüber – ja ist sogar die bewusst formulierte Antwort auf einige der größten Herausforderungen, die uns im Feld Data & Analytics seit Jahrzehnten begleiten. Diese sind vielfältig und betreffen sowohl technologische als auch organisatorische Aspekte:

Datenqualität und -integration:

Heterogene Datenquellen: Unternehmen müssen Daten aus verschiedenen Quellen und Formaten integrieren, was oft zu Inkonsistenzen und Datenqualitätsproblemen führt.

Datenbereinigung: Die Bereinigung von Daten, um sicherzustellen, dass sie genau und konsistent sind, ist zeitaufwendig und erfordert spezialisierte Tools und Kenntnisse.

Data Intelligence hilft, diesen Problemen entgegenzuwirken, indem Metadaten zur Verortung und Einordnung herangezogen werden, um Transparenz und Nachvollziehbarkeit zu verbessern. Gerade der Zugriff auf (detaillierte) Metadaten ist eine Herausforderung, bei der Data Intelligence Plattformen helfen können.

Datensicherheit und Datenschutz – Datenverwaltung und -Governance:

Compliance: Einhaltung von Datenschutzbestimmungen wie der DSGVO (GDPR) ist essenziell und stellt eine große Herausforderung dar, insbesondere bei global operierenden Unternehmen.

Sicherheitsbedrohungen: Schutz vor Cyberangriffen und unbefugtem Datenzugriff erfordert kontinuierliche Überwachung und fortschrittliche Sicherheitsmaßnahmen.

Datenhoheit: Klare Regeln und Verantwortlichkeiten für die Datennutzung und -verwaltung sind notwendig, um Daten effizient und rechtssicher zu nutzen.

Metadatenmanagement: Ein effektives Metadatenmanagement hilft dabei, den Überblick über die vorhandenen Datenbestände und deren Nutzung zu behalten.

Data Intelligence unterstützt Unternehmen bei der Einhaltung von Datenschutzbestimmungen wie der DSGVO, indem es durch die Verwaltung von Metadaten personenbezogene Daten identifiziert und transparent macht. Oft werden Data Intelligence Plattformen deshalb sogar als Data Governance Suites bezeichnet.

Skalierbarkeit und Leistung:

Big Data: Die Verarbeitung und Analyse großer Datenmengen erfordert leistungsstarke und skalierbare, gut vernetzte Infrastrukturen.

Echtzeitanalysen: Die Fähigkeit, Daten in Echtzeit zu verarbeiten und zu analysieren, ist für viele Anwendungen, insbesondere im Bereich IoT und Finanzdienstleistungen, entscheidend.

Data Intelligence unterstützt dabei, durch Metadatenmanagement, Data Cataloging, Data Observability die Verarbeitung großer Datenmengen sowie Echtzeitanalysen zuverlässig und skalierbar zu gewährleisten.

Künstliche Intelligenz und maschinelles Lernen:

Modelltraining: Das Training von Modellen für maschinelles Lernen erfordert große Mengen an Daten und erhebliche Rechenressourcen.

Modellinterpretierbarkeit: Die Erklärbarkeit und Transparenz von KI-Modellen sind wichtig, um Vertrauen bei den Nutzern aufzubauen und regulatorische Anforderungen zu erfüllen.

Data Intelligence hilft dabei Governance im Zuge des Einsatzes von KI zu etablieren, denn sie macht den Lifecycle der Daten sichtbar und somit auch kontrollierbar. Die ist besonders wichtig, da im Bereich Künstliche Intelligenz momentan ein hohes Entwicklungstempo vorherrscht, gleichzeitig jedoch auch die entsprechende Regulatorik starkem Wandel ausgesetzt sein kann.

Der KI Hype führt zu mehr und mehr Anwendungen und die bisher rein technische Dokumentation genügt den Anforderungen nicht. Die Regulatorik (s. EU AI Act) fordert eine ausführliche Dokumentation u.a. der Quelldaten, aber auch des Modells, was umfangreiche Data Lineage Analysen beinhaltet und auch Maßnahmen zur Vermeidung von potenziellen Biases in Daten etc. Darauf stellen sich die Data Intelligence Plattformen nun ein.

Business User Enablement:

Daten generieren Mehrwert, indem sie bei fachlichen Entscheidungen helfen, entweder in Form von Erkenntnissen und Analysen oder aber vollkommen automatisiert. Das betrifft sowohl die Entscheidungsunterstützung als auch die Automatisierung von wiederkehrenden Prozessen und endet in einem spürbaren Mehrwert für ein Unternehmen.

Fachanwender in den Fachbereichen sind die wahren Nutzer von Data Intelligence Vorteilen. Die Unterstützung durch Data Intelligence hilft ihnen effizienter und sicherer mit Daten zu arbeiten und zielgerichteter Nutzen daraus zu ziehen. Darüber hinaus schafft Data Intelligence erst eine Schnittstelle, die Daten einer Vielzahl an Nutzern und Nutzertypen überhaupt zugänglich macht, durch einfache Unterstützung bei der Suche nach Daten, Verstehen von Daten und Zugriff auf Daten.

Aktuelle Herausforderungen bei der Umsetzung von Data Intelligence

Akzeptanz & Enablement

Es ist einfach sich einen Datenkatalog zuzulegen und technisch zu betreiben. Es ist aber eine große Herausforderung, das Projekt zu einem Erfolg zu bringen. Metadatenmangement bedeutet immer noch einen großen personellen Aufwand und vor allem die Einbeziehung fachlicher Anwender. Beispielsweise braucht man Data Owner und Data Stewards, die ihre Rollen leben und aktiv dazu beitragen, dass die Beschreibungen und weitere Metadaten immer aktuell und vor allem relevant sind.

Organisatorischer Wandel

Eine datengetriebene Kultur versucht jeden in die Lage zu versetzen, datengetrieben zu arbeiten und zu entscheiden, nicht nur Analysten und Top Manager. Dafür müssen Daten auffindbar gemacht werden und Data Intelligence hilft dabei. Gleichzeitig ist das eine große Herausforderungen an Datenkataloge, da diese historisch oft technisch geprägt sind und sich neuen Anforderungen stellen müssen. Diese Transformation ist bei vielen Datenkatalogen allerdings bereits sehr weit fortgeschritten.

Generative KI

Generative KI arbeitet oft mit unstrukturierten Daten. Bisher arbeiten Data Intelligence Plattformen hauptsächlich mit Metadaten zu strukturierten Daten. Damit Unternehmen im Zeitalter von Gen AI nicht abgehängt werden und eine Übersicht über ihre Daten haben, muss diese Art von Daten nun auch berücksichtigt werden. Gleichzeitig ist vieles noch unklar, z.B.: Wie misst man die Datenqualität von unstrukturierten Daten?

Diese Herausforderungen erfordern eine ganzheitliche Herangehensweise, die sowohl technologische Lösungen als auch organisatorische Maßnahmen umfasst. Unternehmen, die diese Herausforderungen erfolgreich meistern, können erhebliche Wettbewerbsvorteile durch den effektiven Einsatz von Daten und Analysen erzielen. Wir stehen Ihnen gerne als unabhängiger Partner zur Seite.

Nicht ohne Data Intelligence Plattform

Data Intelligence Plattformen spielen eine entscheidende Rolle bei der konsistenten Sammlung, Verknüpfung und Bereitstellung von Metadaten. Sie ermöglichen es Benutzern aus ihren Geschäftsprozessen heraus, einfach auf Datenwissen zuzugreifen. Damit unterstützen sie Anwendungsfälle von Suche & Entdecken von Datenprodukten, Data Governance Prozesse, die Zusammenarbeit rund um Datenprodukte oder unterstützen den Self-Service Datenzugriff, bspw. via Corporate Data Marketplace.

Data Products (dt. Datenprodukte)
Ein Data Product ist eine Kombination aus einem kuratierten, wiederverwendbaren Datensatz, der so konzipiert ist, dass er vertrauenswürdige Daten für nachgelagerte Verbraucher liefert, und begleitenden Metadaten, die seine Entdeckung und Nutzung vereinfachen. Es ist das Ergebnis der Anwendung der Philosophie "Data as a Product" auf Daten, die auf einen bestimmten Zweck ausgerichtet sind.

Es gibt sechs verschiedene Arten von Datenprodukten in zwei Kategorien. Während Source-aligned, Consumer-aligned, und Merged Domain Data unter den Begriff ″Reine Datenprodukte″ fallen, sind die ″Erweiterten Datenprodukte″ schwieriger kurz zu fassen. Diese Kategorie umfasst Entscheidungshilfen (wie Berichte, Dashboards und Pivot-Tabellen), angewandte Algorithmen (wie trainierte Modelle) und verschiedene Analytics-basierte Dienste oder Anwendungen.

Ein entscheidender Wert der Plattformen liegt in der Automation und der Reduktion von manuellen und zeitintensiven Aufwänden für die Extraktion, Sammlung, Verknüpfung und der Bereitstellung von Metadaten. Sie fördern Datenintelligenz durch drei Kernfunktionen:

• Intelligente und automatisierte Extraktion, Sammlung und Verknüpfung von isolierten Metadatenquellen;
• Intelligente Unterstützung für die kollaborative Erstellung von Metadaten durch Menschen und maschinelles Lernen;
• Intelligente und flexible Metadatenanalyse zur Bereitstellung von unterstützenden, erweiterten und automatisierten Funktionen für unterschiedliche Benutzerrollen.

„BARC berät Unternehmen als unabhängiger Dritter und stellt umfangreiche Informationen über den BI-Markt zur Verfügung. Besonders die Klassifikation der BI-Systeme in verschiedene Anwendungsklassen hilft dabei, die Anbieter und deren Lösungen besser einschätzen zu können.

Laut den Anbietern gibt es für alles eine, wenn auch umständliche, technologische Lösung. Auf die unabhängige Meinung von BARC können wir uns verlassen. Wir setzen auch künftig auf die kompetente Beratung von BARC.“

Kurt Hanika
Leiter des Controllings, Wewalka

Wie finden Sie die beste Data Intelligence Platform für Ihre Anforderungen?

Die Auswahl einer geeigneten Data Intelligence Plattform ist entscheidend, um die steigenden Anforderungen an Datenmanagement, -qualität und -governance zu erfüllen. Dabei sollten spezifische Merkmale dieser Plattformen berücksichtigt werden, die über allgemeine Softwareanforderungen hinausgehen.

Wir bei BARC begleiten seit über 20 Jahren Unternehmen bei der Auswahl und Implementierung von Data Intelligence Plattformen. Unsere erfahrenen Analysten und Berater helfen Ihnen, eine fundierte Entscheidung zu treffen, die auf den spezifischen Bedürfnissen Ihres Unternehmens basiert.

Hier finden Sie weitere Informationen zu Best Practices für die Softwareauswahl.