Detaillierter Kursinhalt
Modul 01 Grundlagen der BigQuery-Architektur
Themen
- Einführung
- BigQuery-Kerninfrastruktur
- BigQuery-Speicher
- BigQuery-Abfrageverarbeitung
- BigQuery-Daten-Mischung
Zielsetzungen
- Erläutern Sie die Vorteile der säulenförmigen Speicherung.
- Verstehen, wie BigQuery Daten verarbeitet.
- Lernen Sie die Grundlagen des Shuffle-Service von BigQuery kennen, um die Abfrageeffizienz zu verbessern.
Aktivitäten
- Labore und Demos
Modul 02 Speicher- und Schema-Optimierungen
Themen
- BigQuery-Speicher
- Partitionierung und Clustering
- Verschachtelte und wiederholte Felder
- ARRAY- und STRUCT-Syntax
- Bewährte Praktiken
Zielsetzungen
- Vergleichen Sie die Leistung verschiedener Schemata (Schneeflocken, denormalisierte, verschachtelte und wiederholte Felder).
- Partitionieren und Clustern von Daten für bessere Leistung
- Verbesserung des Schemadesigns durch verschachtelte und wiederholte Felder.
- Beschreiben Sie zusätzliche bewährte Verfahren wie den Ablauf von Tabellen und Partitionen
Aktivitäten
- Labore und Demos
Modul 03 Dateneingabe
Themen
- Data Ingestion Options
- Batch-Ingestion
- Streaming-Ingestion
- Veraltete Streaming-API
- BigQuery-Speicher-Schreib-API
- Materialisierung von Abfragen
- Abfrage externer Datenquellen
- Datenübertragungsdienst
Zielsetzungen
- Aufnahme von Batch- und Streaming-Daten.
- Abfrage externer Datenquellen.
- Planen Sie Datenübertragungen.
- Verstehen, wie man die Storage Write API verwendet.
Aktivitäten
- Labore und Demos
Modul 04 Ändern von Daten
Themen
- Verwaltung von Änderungen in Data Warehouses
- Umgang mit sich langsam ändernden Abmessungen (SCD)
- DML-Anweisungen
- DML Best Practices und häufige Probleme
Zielsetzungen
- DML-Anweisungen schreiben.
- Behebung häufiger DML-Leistungsprobleme und Engpässe.
- Identifizieren Sie langsam wechselnde Dimensionen (SCD) in Ihren Daten und nehmen Sie Aktualisierungen vor.
Modul 05 Verbesserung der Leseleistung
Themen
- BigQuery’s Cache
- Materialisierte Ansichten
- BI-Engine
- Hoher Lesedurchsatz
- BigQuery-Speicher-Lese-API
Zielsetzungen
- Erforschen Sie den Cache von BigQuery.
- Erstellen Sie materialisierte Ansichten.
- Arbeiten Sie mit BI Engine, um Ihre SQL-Abfragen zu beschleunigen.
- Verwenden Sie die Speicher-Lese-API für den schnellen Zugriff auf den von BigQuery verwalteten Speicher.
- Erläutern Sie die Vorbehalte gegen die Verwendung externer Datenquellen.
Aktivitäten
- Labore und Demos
Modul 06 Optimierung und Fehlerbehebung von Abfragen
Themen
- Einfache Abfrage-Ausführung
- SELECTs und Aggregation
- JOINs und Skewed JOINs
- Filtern und Ordnen
- Bewährte Praktiken für Funktionen
Zielsetzungen
- Interpretieren Sie BigQuery-Ausführungsdetails und den Abfrageplan.
- Optimieren Sie die Abfrageleistung mit Hilfe der vorgeschlagenen Methoden für SQL-Anweisungen und -Klauseln.
- Demonstration von Best Practices für Funktionen in geschäftlichen Anwendungsfällen.
Aktivitäten
- Labore und Demos
Modul 07 Arbeitslastmanagement und Preisgestaltung
Themen
- BigQuery-Steckplätze
- Preismodelle und Schätzungen
- Slot-Reservierungen
- Kostenkontrolle
Zielsetzungen
- Definieren Sie einen BigQuery-Slot.
- Erläuterung von Preismodellen und Preisschätzungen (BigQuery UI, bq dry_run, jobs API).
- Verstehen Sie Slot-Reservierungen, Verpflichtungen und Zuweisungen.
- Ermittlung der besten Praktiken zur Kostenkontrolle.
Aktivitäten
- Demos
Modul 08 Protokollierung und Überwachung
Themen
- Cloud-Überwachung
- BigQuery-Verwaltungsbereich
- Cloud Audit Logs
- INFORMATION_SCHEMA
- Abfragepfad und häufige Fehler
Zielsetzungen
- Verwenden Sie Cloud Monitoring, um BigQuery-Metriken anzuzeigen.
- Erkunden Sie das BigQuery-Verwaltungsfeld.
- Verwenden Sie Cloud Audit-Protokolle.
- Arbeiten Sie mit INFORMATION_SCHEMA-Tabellen, um Einblicke in Ihre BigQuery-Entitäten zu erhalten.
Aktivitäten
- Labore und Demos
Modul 09 Sicherheit in BigQuery
Themen
- Sichere Ressourcen mit IAM
- Autorisierte Ansichten
- Sichere Daten durch Klassifizierung
- Verschlüsselung
- Datenermittlung und -verwaltung
Zielsetzungen
- Erkunden Sie die Datenerkennung mit Data Catalog.
- Erörterung der Datenverwaltung mit DLP API und Datenkatalog.
- Erstellen Sie IAM-Richtlinien (z. B. autorisierte Ansichten), um Ressourcen zu sichern.
- Sichern Sie Daten mit Klassifizierungen (z. B. Richtlinien auf Zeilenebene).
- Verstehen, wie BigQuery Verschlüsselung verwendet.
Aktivitäten
- Labore und Demos
Modul 10 Automatisieren von Arbeitsbelastungen
Themen
- Terminierungsabfragen
- Skripting
- Gespeicherte Prozeduren
- Integration mit Big Data-Produkten
Zielsetzungen
- Zeitplanabfragen.
- Verwenden Sie Skripterstellung und gespeicherte Prozeduren, um benutzerdefinierte Transformationen zu erstellen.
- Beschreiben Sie, wie Sie BigQuery-Workloads mit anderen Google Cloud Big Data-Produkten integrieren können.
Aktivitäten
- Demos
Modul 11 Maschinelles Lernen in BigQuery
Themen
- Einführung in BigQuery ML
- Wie man mit BigQuery ML Vorhersagen macht
- Wie man ein Empfehlungssystem mit BigQuery ML erstellt und einsetzt
- Erstellen und Bereitstellen einer Lösung für die Nachfrageprognose mit BigQuery ML
- Zeitreihenmodelle mit BigQuery ML
- BigQuery ML-Erklärbarkeit
Zielsetzungen
- Beschreiben Sie einige der verschiedenen Anwendungen von BigQuery ML.
- Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.
- Verwenden Sie AutoML-Tabellen zur Lösung hochwertiger Geschäftsprobleme.
Aktivitäten
- Labore und Demos