Development environment for creating SQL-based transformations with support for software development processes such as modularity, portability, CI/CD and documentation.
Eight years ago, Tristan Handy and two analytics colleagues started a consulting venture to help companies transform data using new open-source software they named “data build tool” or dbt. They aimed to empower new “analytics engineers” that prepare data for analysts, thereby easing the burden on traditional data engineers. As adoption grew, these consultants introduced commercial software, giving birth to dbt Labs as a software vendor.
dbt Labs now serves 4,600 customers, including Conde Nast, Siemens and a wide range of cloud-native startups. It has raised $416 million from backers such as Altimeter, Databricks, Snowflake and Salesforce Ventures. Its partner ecosystem includes Fivetran for ingestion, Alation for cataloging, Monte Carlo for data observability, and Rudderstack for customer data management. dbt’s open-source community has swelled to 100,000 users.
dbt Cloud helps analytics engineers clean, model, test, deliver, observe and document data products using principles of continuous integration and continuous delivery (CI/CD). By writing SQL select statements, for example, they can create interconnected models that populate data warehouse tables and views, which is particularly valuable for data-driven companies with a scripting preference. dbt’s semantic layer then presents analytics-ready data for BI reporting, dashboards, ML models and data-driven applications that run on cloud platforms.
BARC’s viewpoint on the product’s strengths and challenges.
The information contained in this section is based on user feedback and actual experience with dbt Cloud.
The information and figures are largely drawn from BARC’s The BI & Analytics Survey, The Planning Survey, The Financial Consolidation Survey and The Data Management Survey. You can find out more about these surveys by clicking on the relevant links.
All key figures for dbt Cloud at a glance.
User Interface.
Umbenennungen in referenzierte Objekten propagieren.
DWH-Spezialisten suchen!
Einfach gut!
Tool built by those in the field, for those in the field.
-
Invest in upskilling of the workforce.
Great company with great leadership.
Core functionality of the product is good. Training and support. General conduct of support and sales teams.
Pricing model. Not as flexible as we would like. Expensive to scale up - should be a tiered model with discount applied with further adoption.
-
The cost of dbt Cloud makes dbt Core an attractive option. There needs to be more differentiators in the Cloud product for consumers to justify the price.
Great ecosystem integration, de-facto industry standard for developing data products on Snowflake.
Interface that is more friendly for business-end-users. E.g. with self-service data modelling based on existing data products.
-
We are at the beginning, but looks good so far!
The business problem it is solving.
Cost for dbt Cloud developer seats.
Seriously consider dbt Cloud over dbt core. The initial licence cost will likely be offset by dev cost of maintaining core depending on your org.
-
Wiedervendbarkeiten (Macro) und Flexibilität bei der Programmierung (Jinja, Python, SQL). Integration in die die Datenbank und git.
Data Ingest muss vorgelagert mit separater Lösung erfolgen, mindestens bis nach GCS (Google Storage).
-
Durchweg positiv, sowohl das Tool an sich wie auch den Support und die Kundenbetreuung.
Automatische Lineage (besonders die neue Column Level Lineage). Leicht zu konfigurierende Datenqualitätstests. Flexibilität beim Deployment (Ziel-Datenbank/Schema der Models). Recht komfortabler Editor (z.B. Macro-Shortcuts, Quoting). Schnelle Erreichbarkeit der wichtigsten Befehle (run, test, build, lint/fix) per Knopfdruck.
Ggleichzeitige Arbeit in mehreren Projekten parallel (in verschiedenen Browser-Tabs) schwierig bzw. kaum möglich. Feature Degression: früher konnte man mit SQLFluff einzelne Regeln gezielt hintereinander fixen; seit kurzen wird nur noch Fix all issues angeboten. (Noch?) keine einfach Möglichkeit, ein Modell nur einmalig zu bauen (z.B. historische Fakten). Es gibt zwar Workarounds, aber wünschenswert wäre eine Config-Option wie materialized = table_if_not_exists. Lineage bei Verwendung von dbt mesh funktioniert nur bis zum Mesh-Model, aber nicht upstream (also die Lineage für das verwendete Model aus einem anderen Projekt). Dedizierter PK-Test wäre wünschenswert (statt Kombination aus unique + not_null). Könnte man git blame in die Editor-UI integrieren (ähnlich wie z.B. in VS Code)?
Onboarding/Training in einem separaten Playground-Projekt. Die Konfigurationsfreiheiten (Ordnerstruktur, globaler Namensraum etc.) noch vor Projektstart per Konventionen eindämmen (und dabei großzügig offizielle Best Practices an eigene Bedürfnisse anpassen). Akzeptanz bei Usern bzw. Entwicklern steigern: die Vorteile (einfaches Testing, automatische Lineage, flexibles Deployment, Compile -Funktionalität für copy&paste-fähigen Code) an konkreten echten Beispielen demonstrieren bzw. selbst erfahren lassen.
Überwiegend positiv; manche Features (einfaches Testing, automatische Lineage) möchte ich nicht mehr missen. Das Marketing-Material konnte mich zuvor nicht überzeugen, da es solche Features zwar erwähnt, aber nicht in der Lage ist, die tatsächliche Nützlichkeit vorzustellen (das erlebte ich erst beim praktischen Erstkontakt mit dem Tool).
Das Onboarding und Enablement des Teams war sehr gut.
Keine aktuellen Themen bekannt.
Evaluierung gegenüber alternativen Lösungen empfehlenswert, um die Funktionsfähigkeit sicherzustellen.
Der Wechsel des Transformation Tools zu DBT hat recht reibungslos funktioniert.
