dw-core

Data-Warehouse Stack

Technischer EL- & DWH-Stack für produktionsnahe Data-Warehouse-Projekte.

dw-core standardisiert den Weg vom Quellsystem in die RAW-Schicht: parallele und inkrementelle Loads, Data-Quality-Prüfungen, Retention und dbt-Integration in einem konfigurationsgetriebenen Framework.

Funktionen ansehen Kontakt / Demo anfragen

# dw-core – Stack-Überblick

  • • Extract/Load in Python (DB, REST, Dateien)
  • • RAW-Schicht im Warehouse inkl. DQ & Retention
  • • Transform mit dbt (Staging, Core, Marts)
  • • Dev/Prod-Trennung & Docker-Setup
  • • GUI für Settings, Backfill & dbt-Assistent

Warum ein standardisierter Stack?

Ohne dw-core

  • Fragile Einzelskripte ohne klare Struktur.
  • Jede neue Quelle ist ein eigenes Mini-Projekt.
  • Keine saubere Trennung zwischen RAW, Transform, Reporting.
  • Idempotenz, Retention und Data-Quality nur „irgendwie“ gelöst.
  • Wenig Wiederverwendung zwischen Projekten oder Kunden.

Mit dw-core

  • Standardisierter Extract-&-Load-Core für DB, REST & Files.
  • RAW-Schicht mit Data-Quality-Prüfungen und Retention.
  • dbt-Projekt für Staging, Core und Marts direkt angebunden.
  • Konfiguration & Steuerung über eine GUI statt versteckter Parameter.
  • Docker-Setup, Tests, Linting & CI bereits vorbereitet.

Für wen ist dw-core?

IT / DWH-Engineers

Standardisierte EL-Pipeline statt Einzelskripte, mit Logging, Data-Quality, Retention und dbt-Integration.

Dev/Prod sauber getrennt, inklusive Docker-Setup und CI-Anbindung.

Controller & Fachbereiche

Reproduzierbare Datenläufe, RAW-Schicht mit prüfbaren Regeln und nachvollziehbarer Historie.

Stabilere Grundlage für Berichte und Management-Entscheidungen.

Freelancer & Beratungen

Ein schlanker, technischer Stack für KMU-Projekte, der sich in Projekten effizient einsetzen lässt.

Kürzere Projektanlaufzeiten und weniger Infrastruktur-Bastelei.

Architekturüberblick

dw-core bildet einen technischen EL- & DWH-Stack: Extract & Load in Python, Warehouse auf Postgres, Transform mit dbt und eine klare Trennung zwischen Dev und Prod.

Extract / Load

Python-basierter Runner für:

  • Datenbanken
  • REST-APIs
  • Dateien

Steuerlogik, Logging, Data-Quality-Prüfungen und Retention sind im Framework vorgesehen.

Warehouse & RAW-Schicht

Ziel ist ein Warehouse (z. B. Postgres) mit separatem RAW-Schema.

  • Historisierung & Retention pro Quelle
  • Technische Metadaten und Lauf-Informationen
  • Saubere Basis für dbt-Modelle

Transform mit dbt

Das mitgelieferte dbt-Projekt bildet:

  • Quellen auf RAW
  • Staging-Modelle
  • optionale Core- und Mart-Modelle nach Domänen

Nach einem erfolgreichen EL-Lauf kann ein dbt build direkt angestoßen werden.

Operations & Umgebungen

Dev- und Prod-Umgebungen werden über Konfiguration und Docker-Setup getrennt.

  • Docker-Compose für Warehouse & dbt-Laufzeit
  • Environment-Variablen für Verbindungen & Optionen
  • Tests, Linting, Typprüfung & CI vorbereitet

Details zur Architektur finden sich in der technischen Dokumentation im Projekt (/docs).

Kernfunktionen

Extract & Load

  • Paralleler und inkrementeller Import aus Quellsystemen.
  • Unterstützung für Datenbanken, Dateien und REST.
  • Steuerung über Konfiguration und GUI.

Data-Quality & RAW

  • Data-Quality-Prüfungen pro Source.
  • Retention-Regeln im RAW-Schema.
  • Nachvollziehbare Lauf-Informationen.

dbt & Transform

  • dbt-Projekt im Repo enthalten.
  • Generierung von Sources & STG-Templates über die GUI.
  • Build des Warehouses nach erfolgreichem Run.

GUI & Steuerung

  • Settings-Editor (Konfiguration im Projekt).
  • Environment-Editor für Verbindungen & Optionen.
  • Gezielte Backfill-Läufe pro Source (GUI + CLI).

Dev/Prod & Infrastruktur

  • Saubere Dev/Prod-Trennung.
  • Docker-Compose für Warehouse & dbt.
  • Einfach in bestehende CI/CD-Pipelines integrierbar.

Qualität & Wartbarkeit

  • Tests, Linting und Typprüfung im Projekt angelegt.
  • Standardisierte Struktur für neue Quellen.
  • Robuste Basis für mehrere Kundenprojekte.

Kontakt

Interesse an einem Projekt oder an einer Demo?

E-Mail: tobias.withalm@dw-core.de

Technische Details, Installationshinweise und Dokumentation werden nach Kontaktaufnahme projektbezogen bereitgestellt.