Serverless Data Processing with Dataflow

Für Unternehmen

Seminar als Inhouse-Seminar buchen

Eine der Kernkompetenzen von PROTRANET sind effiziente Inhouse Schulungen. Wählen Sie aus bestehenden Konzepten mit bewährten Inhalten (Inhouse Standard) oder lassen Sie sich maßgeschneiderte Inhalte zu Ihrem individuellen Bedarf (Inhouse Individuell) zusammenstellen. Wir beraten Sie gerne.

Ab
1950,00 € (2,320,50 € inkl. 19% MwSt.)

Preis auf Anfrage

Inhouse Standard
  • Langjährig erprobte und bewährte Inhalte
  • Topaktuelle Methodenvielfalt
  • Schnelle und unkomplizierte Umsetzung
  • Praxiserfahrene Trainer aus Ihrer Branche
  • Hochprofessionelles Seminarmanagement
Mehr erfahren
Inhouse Individuell
  • Maßgeschneidert für Ihr Unternehmen
  • Hohe Transferleistung durch Bearbeitung interner Projekte und Beispiele
  • Praxiserfahrene Trainer aus Ihrer Branche
  • Hochprofessionelles Seminarmanagement
Mehr erfahren

Schulungsinhalt

Modul 1: Einführung

  • Stellen Sie die Kursziele vor.
  • Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erfüllen.

Modul 2: Übertragbarkeit von Strahlen

  • Fassen Sie die Vorteile des Beam Portability Framework zusammen.
  • Passen Sie die Datenverarbeitungsumgebung Ihrer Pipeline mithilfe benutzerdefinierter Container an.
  • Überprüfung der Anwendungsfälle für sprachübergreifende Transformationen.
  • Aktivieren Sie das Portability Framework für Ihre Dataflow-Pipelines.

Modul 3: Trennung von Datenverarbeitung und Speicherung mit Dataflow

  • Aktivieren Sie Shuffle und Streaming Engine für Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.
  • Ermöglichen Sie eine flexible Ressourcenplanung für eine kosteneffizientere Leistung.

Modul 4: IAM, Kontingente und Berechtigungen

  • Wählen Sie die richtige Kombination von IAM-Berechtigungen für Ihren Dataflow-Auftrag.
  • Ermitteln Sie Ihren Kapazitätsbedarf, indem Sie die entsprechenden Quoten für Ihre Dataflow-Jobs überprüfen.

Modul 5: Sicherheit

  • Wählen Sie Ihre zonale Datenverarbeitungsstrategie mit Dataflow, je nach Ihren Anforderungen an die Datenlokalisierung.
  • Umsetzung bewährter Verfahren für eine sichere Datenverarbeitungsumgebung.

Modul 6: Wiederholung von Strahlenkonzepten

  • Überprüfung der wichtigsten Konzepte von Apache Beam (Pipeline, PCollections, PTransforms, Runner, Lesen/Schreiben, Utility PTransforms, Side Inputs), Bundles und DoFn Lifecycle.

Modul 7: Fenster, Wasserzeichen, Auslöser

  • Implementieren Sie eine Logik zur Verarbeitung Ihrer verspäteten Daten.
  • Überprüfen Sie die verschiedenen Arten von Auslösern.
  • Überprüfung der wichtigsten Streaming-Konzepte (unbeschränkte PCollections, Fenster).

Modul 8: Quellen und Senken

  • Schreiben Sie die E/A Ihrer Wahl für Ihre Dataflow-Pipeline.
  • Stimmen Sie Ihre Quelle/Senke-Transformation für maximale Leistung ab.
  • Benutzerdefinierte Quellen und Senken mit SDF erstellen.

Modul 9: Schemata

  • Einführung von Schemata, die Entwicklern eine Möglichkeit bieten, strukturierte Daten in ihren Beam-Pipelines auszudrücken.
  • Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.

Modul 10: Zustand und Zeitgeber

  • Ermittlung von Anwendungsfällen für die Implementierung von Status- und Zeitgeber-APIs.
  • Wählen Sie den richtigen Typ von Status und Zeitgebern für Ihre Pipeline.

Modul 11: Bewährte Praktiken

  • Implementierung bewährter Verfahren für Dataflow-Pipelines.

Modul 12: Datenfluss-SQL und DataFrames

  • Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.

Modul 13: Beam Notebooks

  • Prototyping Ihrer Pipeline in Python mit Beam-Notebooks.
  • Verwenden Sie Beam-Magie, um das Verhalten der Quellenaufzeichnung in Ihrem Notebook zu steuern.
  • Starten Sie einen Auftrag in Dataflow von einem Notebook aus.

Modul 14: Überwachung

  • Navigieren Sie durch die Benutzeroberfläche der Dataflow-Auftragsdetails.
  • Interpretieren Sie Job-Metrics-Diagramme, um Regressionen in der Pipeline zu diagnostizieren.
  • Setzen Sie Alarme für Dataflow-Aufträge mit Cloud Monitoring.

Modul 15: Protokollierung und Fehlerberichterstattung

  • Verwenden Sie die Dataflow-Protokolle und Diagnose-Widgets, um Probleme in der Pipeline zu beheben.

Modul 16: Fehlersuche und Fehlerbehebung

  • Verwenden Sie einen strukturierten Ansatz zum Debuggen Ihrer Dataflow-Pipelines.
  • Untersuchen Sie die häufigsten Ursachen für Rohrleitungsausfälle.

Modul 17: Leistung

  • Verstehen Sie Leistungsüberlegungen für Pipelines.
  • Überlegen Sie, wie sich die Form Ihrer Daten auf die Leistung der Pipeline auswirken kann.

Modul 18: Testen und CI/CD

  • Testansätze für Ihre Dataflow-Pipeline.
  • Prüfen Sie die verfügbaren Frameworks und Funktionen, um Ihren CI/CD-Workflow für Dataflow-Pipelines zu optimieren.

Modul 19: Verlässlichkeit

  • Implementieren Sie Best Practices für die Zuverlässigkeit Ihrer Dataflow-Pipelines.

Modul 20: Flex-Vorlagen

  • Verwendung von Flex-Vorlagen zur Standardisierung und Wiederverwendung von Dataflow-Pipeline-Code.

Modul 21: Zusammenfassung

  • Zusammenfassung.

Zielgruppe

  • Dateningenieure.
  • Datenanalysten und Datenwissenschaftler, die ihre Fähigkeiten im Bereich Data Engineering ausbauen möchten

Seminarziele

  • Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erfüllen.
  • Fassen Sie die Vorteile des Beam Portability Frameworks zusammen und aktivieren Sie es für Ihre Dataflow-Pipelines.
  • Aktivieren Sie Shuffle und Streaming Engine für Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.
  • Ermöglichen Sie eine flexible Ressourcenplanung für eine kosteneffizientere Leistung.
  • Wählen Sie die richtige Kombination von IAM-Berechtigungen für Ihren Dataflow-Auftrag.
  • Umsetzung bewährter Verfahren für eine sichere Datenverarbeitungsumgebung.
  • Wählen Sie die E/A Ihrer Wahl für Ihre Dataflow-Pipeline aus und stimmen Sie sie ab.
  • Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.
  • Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.
  • Überwachung, Fehlerbehebung, Tests und CI/CD für Dataflow-Pipelines.

Vorkenntnisse

Um diesen Kurs optimal nutzen zu können, sollten die Teilnehmer die folgenden Kurse absolviert haben:

  • Building Batch Data Pipelines
  • Building Resilient Streaming Analytics Systems

Seminardauer

3 Tage

Preis

Präsenzseminar/FLEXINAR®:

1950,00 € (2,320,50 € inkl. 19% MwSt.)

LIVEINAR®:

1950,00 € (2,320,50 € inkl. 19% MwSt.)

Individual Training: Preis auf Anfrage
Inhouse Training: Preis auf Anfrage

Seminarnummer

SV-2100





      Ihr Berater

      Martin Heubeck
      Group Leader Sales

      Beratungszentrale und Buchungshotline:

      Kataloge

      Formate

      Dieses Seminar können Sie als Präsenzseminar, online als LIVEINAR® oder im flexiblen Mix als FLEXINAR® buchen. MEHR ERFAHREN

      Anmeldung

      Ab
      1950,00 € (2,320,50 € inkl. 19% MwSt.)



        Unverbindliche Anfrage

        Preis auf Anfrage

        Inhouse Standard
        • Langjährig erprobte und bewährte Inhalte
        • Topaktuelle Methodenvielfalt
        • Schnelle und unkomplizierte Umsetzung
        • Praxiserfahrene Trainer aus Ihrer Branche
        • Hochprofessionelles Seminarmanagement
        Mehr erfahren
        Inhouse Individuell
        • Maßgeschneidert für Ihr Unternehmen
        • Hohe Transferleistung durch Bearbeitung interner Projekte und Beispiele
        • Praxiserfahrene Trainer aus Ihrer Branche
        • Hochprofessionelles Seminarmanagement
        Mehr erfahren



          WIR BERATEN SIE GERNE

          Haben Sie noch Fragen?

          Informationen zu unseren Seminarbewertungen

          Woher kommen die Seminarbewertungen?

          Die Seminarteilnehmer bewerten unsere Veranstaltungen durch einen Bewertungsbogen. Dieser wird in unserem Qualitätsmanagement digitalisiert und ausgewertet. Die Ergebnisse werden Ihnen bei unseren Seminaren in Form eines Sternebewertungssystems angezeigt.

          Wie ergibt sich die Gesamtnote?

          Folgende Fragen werden in unseren Bewertungsbögen von unseren Teilnehmern mit einer Note von 1-6 bewertet. Daraus ergibt sich der Gesamt-Durchschnitt.

          • Der Dozent ist fachlich kompetent?
          • Der Dozent vermittelt den Lehrinhalt verständlich?
          • Der Dozent strukturiert die Vorträge gut?
          • Der Dozent geht intensiv auf die Fragen ein?
          • Der Dozent gestaltet den Kurs interessant?
          • Die Schulungsunterlagen sind gut verständlich?
          • Die Schulungsunterlagen sind gut strukturiert?
          • Die Schulungsunterlagen sind hilfreich bei meiner beruflichen Tätigkeit?
          • Der Kurs (Inhalte) war mir vorher bekannt?
          • Die Kursdauer ist an die Kursinhalte angepasst?
          • Das Arbeitstempo war zu schnell / zu langsam?
          • Es war ausreichend Zeit für praktische Übungen ?
          • Der Kurs (Inhalte) sollte weninger / mehr praktische Arbeiten beinhalten?
          • Der Kurs (Inhalte) erfüllte insgesamt meine Erwartungen ?
          • Die neuen Kenntnisse werden mir am Arbeitsplatz weiterhelfen?
          • Hat es Ihnen bei uns im Haus gefallen?

          Wenn Sie Fragen zu unseren Bewertungen haben, können Sie gerne Frau Italia Brillante unter unserer kostenlosen Telefonnummer 0800 3400311 (Freecall) anrufen oder eine E-Mail an italia.brillante@protranet.de senden.

          Italia Brillante,
          Trainingskoordination
          ist Mo – Fr 8:00 – 17:00 Uhr für Sie da.