Orchestrate BigQuery Workloads with Dataform

Modul 1 – Dataform-Kernkomponenten

Themen:

• SQL-Arbeitsablauf
• Repositories und Arbeitsbereiche
• Standarddateien und -ordner
• Kompilierte Diagramme

Zielsetzungen:

• Verstehen der Komponenten des Dataflow-Kerns.

Modul 2 – Tabellendefinitionen und Abhängigkeiten

Themen:

• Deklarieren Sie eine Datenquelle.
• Erstellen Sie eine Tabelle.
• Erstellen Sie eine inkrementelle Tabelle.
• Partitionierungs- und Clustering-Optionen festlegen.
• Erstellen Sie eine leere Tabelle.
• Erstellen Sie eine externe BigLake-Tabelle.
• Erstellen Sie Ansichten und materialisierte Ansichten.
• Definieren Sie Abhängigkeiten.

Zielsetzungen:

• Erstellen von Tabellen und Ansichten in BigQuery mit Dataform

Modul 3 – BigQuery-Tabellen und Ansichten dokumentieren

Themen:

• Verwenden Sie Spaltenbeschreibungen.
• Verwenden Sie global definierte JavaScript-Konstanten.
• Etiketten hinzufügen.

Zielsetzungen:

• Dokumentieren Sie BigQuery-Tabellen und -Ansichten.

Aktivitäten:

• Übung: SQL-Workflows mit Abhängigkeiten in Dataform erstellen

Modul 4 – BigQuery-Sicherheitseinstellungen

Themen:

• IAM-Zugriff auf Datensätze und Tabellen/Ansichten
• Sicherheit auf Säulenebene
• Sicherheit auf Zeilenebene

Zielsetzungen:

• Verstehen der BigQuery-Sicherheitseinstellungen mit Dataform

Modul 5 – Behauptungen

Themen:

• Verwenden Sie integrierte Assertions.
• Erstellen Sie manuelle Assertions.

Zielsetzungen:

• Verwenden Sie Assertions zur Validierung von Daten in Dataform-Workflows.

Aktivitäten:

• Übung: Arbeiten mit Assertions und BigQuery-Sicherheitseinstellungen in Dataform.

Modul 6 – SQL-Workflow-Ausführungen

Themen:

• Dataform-Code-Lebenszyklus.
• Was passiert bei der Kompilierung?
• Anpassen und Planen der Kompilierungsergebnisse.
• Ausführen von Arbeitsabläufen (UI, Cloud Scheduler, Cloud Composer).
• Protokollierung und Überwachung.

Zielsetzungen:

• Automatisierte Ausführung von Dataform SQL-Workflows.

Aktivitäten:

• Übung: SQL-Workflow-Ausführungen in Dataform automatisieren und überwachen

Modul 7 – Erweiterte Anwendungsfälle

Themen:

• Erstellen Sie eine BigLake-Tabelle nach dem Datei-Upload mit Cloud Run-Funktionen.
• Erstellen Sie eine Pipeline für maschinelles Lernen mit BigQuery ML.
• Arbeit mit sich langsam verändernden Dimensionen Typ 2.

Zielsetzungen:

• Erkunden Sie weitere Anwendungsfälle für Dataform.

Aktivitäten:

• Übung: Erstellen einer BigLake-Tabelle mit Dataform unter Verwendung von Cloud Run Functions.