SoftQuadrat

datasqill ist unsere schlanke ELT- und Data Engineering Lösung für Data Warehousing, Data Integration und Transformation. Entwicklung mit SQL, Metadaten-basierte Orchestrierung, eingebauter Scheduler, viele Integrationsmöglichkeiten, offene und modulare Architektur.
datasqill ist die All-in-One Lösung, die alle Schritte von Entwicklung bis zum Betrieb unterstützt und für alle Deployment-Szenarien geeignet ist, ob On-Premises, in der Cloud oder Hybrid.
Mit datasqill holen Kunden wie ProSiebenSat.1, M-Net, HD+, Arifleet oder Eurodata Comesio das Beste aus Ihren Daten heraus und erreichen eine neue Stufe mit intelligenten Automatisierungs- und Integrationsfeatures.

Einsatzgebiete

Agile Data Warehousing
datasqill unterstützt ideal bei der Entwicklung von ELT- und ETL-Strecken für das DWH und sorgt für deren automatisierte Ausführung. datasqill integriert sich mit allen gängigen Datenbanksystemen und unterstützt den Aufbau von komplexeren Datentransformationen (wie z.B. Datenhistorisierung).

Aufbau von Data Lakes und Lakehouses
Mit datasqill werden die Transformationen direkt dort aufgeführt, wo die Daten gespeichert sind, was besonders wichtig für Verarbeitung von Massendaten ist. Dafür integriert sich datasqill mit Hadoop Tools (wie Apache HDFS, Hive oder Spark) und Cloud Tools (wie AWS S3, AWS Athena, Databricks).

On-Premises und in der Cloud
datasqill kann On-Premises, in der Cloud oder hybrid betrieben werden und ermöglicht dabei eine nahtlose Steuerung, Transformationsausführung und einen stabilen Betrieb.

Warum datasqill?

All-in-One Solution
datasqill unterstützt Data Engineers und Data Warehouse Entwickler bei allen Aufgaben von Entwicklung und Deployment bis zum Scheduling und Betrieb und erweist sich als schlanke Lösung für moderne Dev/Ops.

Optimale Entwicklung
Die native Programmierung mit SQL oder Scripting Sprachen wie Python sorgt für schnelle Einarbeitung, Verkürzung der Entwicklungszeiten und Verbesserung der Software-Qualität. Apache Freemarker-basierte Module gewährleisten die automatisierte Ausführung von Routine-Operationen.

Perfekt für Cloud und Big Data
Durch native Ausführung von Transformationen direkt dort, wo die Daten gespeichert sind (bekannt als Push Down), eignet sich datasqill ideal für In-Memory Datenbanken (wie Exasol), Cloud Datenbanken (wie Snowflake) als auch Big Data (Apache Spark, Hive, Databricks).

Effizient im Betrieb
Durch Metadaten-basierte Orchestrierung ist keine manuelle Jobnetzpflege notwendig, was die Dev/Ops Prozesse vereinfacht und Fehler vermeidet.

Kein Vendor Lock-In
Durch Verwendung der nativen Datenbanksprache SQL entstehen Transformationen, die ohne Vendor-Lock zum Tool-Hersteller auch mit anderen Mechanismen ausgeführt werden können.

Transparent und nachvollziehbar
datasqill ermöglicht einen transparenten Einblick auf den effektiv ausgeführten Code. Für jede Transformationsausführung werden statistischen Daten erfasst, die für eine Auswertung für das Betriebsteam bereitstehen.

Reiche Integrationsmöglichkeiten
datasqill basiert auf offenen, bewährten und gut dokumentierten Technologien, die Kommunikation erfolgt über offene und standardisierte Schnittstellen wie REST API oder JDBC. Der Server wird unter Linux betrieben. Das alles gewährleistet einen stabilen Betrieb und gute Integration mit anderen Tools und Schedulern.