Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration

Modul 01 Grundlagen der BigQuery-Architektur

Themen

• Einführung
• BigQuery-Kerninfrastruktur
• BigQuery-Speicher
• BigQuery-Abfrageverarbeitung
• BigQuery-Daten-Mischung

Zielsetzungen

• Erläutern Sie die Vorteile der säulenförmigen Speicherung.
• Verstehen, wie BigQuery Daten verarbeitet.
• Lernen Sie die Grundlagen des Shuffle-Service von BigQuery kennen, um die Abfrageeffizienz zu verbessern.

Aktivitäten

• Labore und Demos

Modul 02 Speicher- und Schema-Optimierungen

Themen

• BigQuery-Speicher
• Partitionierung und Clustering
• Verschachtelte und wiederholte Felder
• ARRAY- und STRUCT-Syntax
• Bewährte Praktiken

Zielsetzungen

• Vergleichen Sie die Leistung verschiedener Schemata (Schneeflocken, denormalisierte, verschachtelte und wiederholte Felder).
• Partitionieren und Clustern von Daten für bessere Leistung
• Verbesserung des Schemadesigns durch verschachtelte und wiederholte Felder.
• Beschreiben Sie zusätzliche bewährte Verfahren wie den Ablauf von Tabellen und Partitionen

Aktivitäten

• Labore und Demos

Modul 03 Dateneingabe

Themen

• Data Ingestion Options
• Batch-Ingestion
• Streaming-Ingestion
• Veraltete Streaming-API
• BigQuery-Speicher-Schreib-API
• Materialisierung von Abfragen
• Abfrage externer Datenquellen
• Datenübertragungsdienst

Zielsetzungen

• Aufnahme von Batch- und Streaming-Daten.
• Abfrage externer Datenquellen.
• Planen Sie Datenübertragungen.
• Verstehen, wie man die Storage Write API verwendet.

Aktivitäten

• Labore und Demos

Modul 04 Ändern von Daten

Themen

• Verwaltung von Änderungen in Data Warehouses
• Umgang mit sich langsam ändernden Abmessungen (SCD)
• DML-Anweisungen
• DML Best Practices und häufige Probleme

Zielsetzungen

• DML-Anweisungen schreiben.
• Behebung häufiger DML-Leistungsprobleme und Engpässe.
• Identifizieren Sie langsam wechselnde Dimensionen (SCD) in Ihren Daten und nehmen Sie Aktualisierungen vor.

Modul 05 Verbesserung der Leseleistung

Themen

• BigQuery’s Cache
• Materialisierte Ansichten
• BI-Engine
• Hoher Lesedurchsatz
• BigQuery-Speicher-Lese-API

Zielsetzungen

• Erforschen Sie den Cache von BigQuery.
• Erstellen Sie materialisierte Ansichten.
• Arbeiten Sie mit BI Engine, um Ihre SQL-Abfragen zu beschleunigen.
• Verwenden Sie die Speicher-Lese-API für den schnellen Zugriff auf den von BigQuery verwalteten Speicher.
• Erläutern Sie die Vorbehalte gegen die Verwendung externer Datenquellen.

Aktivitäten

• Labore und Demos

Modul 06 Optimierung und Fehlerbehebung von Abfragen

Themen

• Einfache Abfrage-Ausführung
• SELECTs und Aggregation
• JOINs und Skewed JOINs
• Filtern und Ordnen
• Bewährte Praktiken für Funktionen

Zielsetzungen

• Interpretieren Sie BigQuery-Ausführungsdetails und den Abfrageplan.
• Optimieren Sie die Abfrageleistung mit Hilfe der vorgeschlagenen Methoden für SQL-Anweisungen und -Klauseln.
• Demonstration von Best Practices für Funktionen in geschäftlichen Anwendungsfällen.

Aktivitäten

• Labore und Demos

Modul 07 Arbeitslastmanagement und Preisgestaltung

Themen

• BigQuery-Steckplätze
• Preismodelle und Schätzungen
• Slot-Reservierungen
• Kostenkontrolle

Zielsetzungen

• Definieren Sie einen BigQuery-Slot.
• Erläuterung von Preismodellen und Preisschätzungen (BigQuery UI, bq dry_run, jobs API).
• Verstehen Sie Slot-Reservierungen, Verpflichtungen und Zuweisungen.
• Ermittlung der besten Praktiken zur Kostenkontrolle.

Aktivitäten

• Demos

Modul 08 Protokollierung und Überwachung

Themen

• Cloud-Überwachung
• BigQuery-Verwaltungsbereich
• Cloud Audit Logs
• INFORMATION_SCHEMA
• Abfragepfad und häufige Fehler

Zielsetzungen

• Verwenden Sie Cloud Monitoring, um BigQuery-Metriken anzuzeigen.
• Erkunden Sie das BigQuery-Verwaltungsfeld.
• Verwenden Sie Cloud Audit-Protokolle.
• Arbeiten Sie mit INFORMATION_SCHEMA-Tabellen, um Einblicke in Ihre BigQuery-Entitäten zu erhalten.

Aktivitäten

• Labore und Demos

Modul 09 Sicherheit in BigQuery

Themen

• Sichere Ressourcen mit IAM
• Autorisierte Ansichten
• Sichere Daten durch Klassifizierung
• Verschlüsselung
• Datenermittlung und -verwaltung

Zielsetzungen

• Erkunden Sie die Datenerkennung mit Data Catalog.
• Erörterung der Datenverwaltung mit DLP API und Datenkatalog.
• Erstellen Sie IAM-Richtlinien (z. B. autorisierte Ansichten), um Ressourcen zu sichern.
• Sichern Sie Daten mit Klassifizierungen (z. B. Richtlinien auf Zeilenebene).
• Verstehen, wie BigQuery Verschlüsselung verwendet.

Aktivitäten

• Labore und Demos

Modul 10 Automatisieren von Arbeitsbelastungen

Themen

• Terminierungsabfragen
• Skripting
• Gespeicherte Prozeduren
• Integration mit Big Data-Produkten

Zielsetzungen

• Zeitplanabfragen.
• Verwenden Sie Skripterstellung und gespeicherte Prozeduren, um benutzerdefinierte Transformationen zu erstellen.
• Beschreiben Sie, wie Sie BigQuery-Workloads mit anderen Google Cloud Big Data-Produkten integrieren können.

Aktivitäten

• Demos

Modul 11 Maschinelles Lernen in BigQuery

Themen

• Einführung in BigQuery ML
• Wie man mit BigQuery ML Vorhersagen macht
• Wie man ein Empfehlungssystem mit BigQuery ML erstellt und einsetzt
• Erstellen und Bereitstellen einer Lösung für die Nachfrageprognose mit BigQuery ML
• Zeitreihenmodelle mit BigQuery ML
• BigQuery ML-Erklärbarkeit

Zielsetzungen

• Beschreiben Sie einige der verschiedenen Anwendungen von BigQuery ML.
• Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.
• Verwenden Sie AutoML-Tabellen zur Lösung hochwertiger Geschäftsprobleme.

Aktivitäten

• Labore und Demos