Zapytaj o szkolenie

Apache Airflow – automatyzacja procesów

Szkolenie Apache Airflow – automatyzacja procesów i workflow w Data Engineering to dwudniowy kurs techniczny poświęcony pracy z platformą Apache Airflow w środowiskach przetwarzania danych. Program koncentruje się na wykorzystaniu narzędzia do organizacji i automatyzacji procesów data engineering w firmach przetwarzających duże wolumeny danych. Szkolenie skierowane jest do inżynierów danych, analityków oraz specjalistów ETL, którzy odpowiadają za budowę, utrzymanie i rozwój pipeline’ów danych oraz automatyzację procesów w środowiskach lokalnych i chmurowych. Realizujemy szkolenia w formie online i stacjonarnej na terenie całej Polski. Nie widzisz szkolenia, którego szukasz? Żadna tematyka nas nie ogranicza – jesteśmy otwarci i stworzymy szkolenie idealnie dopasowane do Twoich potrzeb.

Czas trwania: 2 dni / 14 h

Zapytaj o szkolenie

Opis

Wprowadzenie i podstawy Airflow

  • Czym jest Apache Airflow i rola w orkiestracji workflow
  • Architektura systemu: Scheduler, Webserver, Worker, Database
  • Podstawowe pojęcia: DAG, Task, Operator, XCom

Instalacja i konfiguracja

  • Instalacja lokalna i w środowisku chmurowym
  • Struktura projektu i konfiguracja środowiska
  • Uruchomienie Webservera i Schedulera

Tworzenie i zarządzanie workflow

  • Tworzenie prostych DAG-ów i zależności między zadaniami
  • PythonOperator i BashOperator
  • Monitorowanie workflow w interfejsie webowym

Zaawansowane funkcje i integracje

  • Integracje: Postgres, S3, API, Docker
  • Harmonogramowanie zadań i retry policy
  • Parametryzacja i dynamiczne DAG-i
  • Logowanie, alerty i obsługa błędów

Integracja z innymi narzędziami

  • Integracja z CI/CD
  • Tworzenie pipeline’ów ETL
  • Współpraca z bazami danych i systemami zewnętrznymi

Best practices i case studies

  • Projektowanie skalowalnych workflow
  • Optymalizacja wydajności
  • Przykłady wdrożeń produkcyjnych

Ćwiczenia praktyczne

  • Tworzenie i uruchamianie DAG-ów end-to-end
  • Parametryzacja i harmonogramowanie zadań
  • Integracja z bazą danych i systemami zewnętrznymi

 

FAQ – Apache Airflow szkolenie

1. Czym jest Apache Airflow i do czego służy w projektach data engineering?

Apache Airflow to platforma do orkiestracji workflow i zarządzania pipeline’ami danych. Umożliwia definiowanie procesów jako kod w postaci DAG-ów (Directed Acyclic Graph), harmonogramowanie zadań oraz monitorowanie ich wykonania. Jest szeroko stosowany w projektach ETL, integracjach systemowych i automatyzacji procesów biznesowych.

2. Jak wygląda architektura Apache Airflow?

Architektura Airflow obejmuje Scheduler odpowiedzialny za planowanie zadań, Webserver z interfejsem użytkownika, Worker wykonujący zadania oraz bazę danych przechowującą metadane. Szkolenie omawia sposób komunikacji między komponentami oraz konfigurację środowiska lokalnego i chmurowego.

3. Czy podczas kursu tworzę własne DAG-i i pipeline’y ETL?

Tak. Uczestnicy budują DAG-i od podstaw, wykorzystując PythonOperator i BashOperator oraz integracje z bazami danych, API, S3 czy Dockerem. Kurs obejmuje projektowanie pipeline’ów ETL oraz automatyzację procesów przetwarzania danych.

4. Jak działa harmonogramowanie i obsługa błędów w Airflow?

Szkolenie obejmuje konfigurację harmonogramów (cron i interwały czasowe), retry policy, parametryzację DAG-ów oraz dynamiczne workflow. Omawiane są także mechanizmy logowania, alertów i monitorowania błędów w interfejsie webowym.

5. Czy Airflow można integrować z CI/CD i środowiskiem produkcyjnym?

Tak. Podczas szkolenia pokazujemy integrację Apache Airflow z narzędziami CI/CD, wdrażanie DAG-ów w środowiskach produkcyjnych oraz dobre praktyki wersjonowania i skalowania workflow w organizacjach przetwarzających duże wolumeny danych.

6. Dla kogo przeznaczone jest szkolenie z Apache Airflow?

Szkolenie jest przeznaczone dla data engineerów, analityków danych, programistów Python oraz zespołów IT odpowiedzialnych za automatyzację procesów danych. Kurs sprawdzi się zarówno w środowiskach lokalnych, jak i chmurowych.

ZOBACZ NASZE INNE SZKOLENIA

Zapytaj
o szkolenie

Nie widzisz szkolenia, którego szukasz?

Żadna tematyka nas nie ogranicza – jesteśmy otwarci i stworzymy szkolenie idealnie dopasowane do Twoich potrzeb.

Przykładowe szkolenia: Cisco, Analiza biznesowa, BPMN, UML, PowerBi, Elasticsearch, Sztuczna inteligencja, Python, C++, C#, Selenium, Jenkins, Szkolenia miękkie, UX, Social Media i Marketing, Sprzedaż, Zarządzanie projektami, Design Thinking, Linux, Embedded, Postman, Ms Excel, Adobe, Docker, Kubernetes, Terraform, Azure, SAP, UiPath, Machine Learning.

Zapytaj o szkolenie