Orkiestracja zadań za pomocą Apache Airflow

Praktyczne szkolenie z Apache Airflow obejmujące projektowanie i harmonogramowanie DAG-ów, budowę pipeline’ów ETL/ELT, wykorzystanie operatorów i sensorów, zarządzanie przepływem danych oraz konfigurację, bezpieczeństwo i monitorowanie workflow w środowisku produkcyjnym. Szkolenie może być realizowane w formie otwartej lub zamkniętej w siedzibie Klienta na terenie całej Polski.

Czas trwania: 3 dni / 21 h

Szkolenie Apache Airflow dla firm – orkiestracja procesów ETL i workflow

Wybierz formę szkolenia

Szkolenie dedykowane

Dla Twojego zespołu

Wycena indywidualna


  • Program dopasowany do potrzeb uczestników
  • Stacjonarnie lub zdalnie
  • Termin ustalany elastycznie
Poproś o wycenę
Szkolenie otwarte

Zdalnie, w grupie

2 900 zł netto / osobę


  • Terminy: sprawdź w zakładce Szkolenia otwarte
  • 3 dni / 21 h, online na żywo
  • Materiały i certyfikat w cenie
Zapisz się

Cena szkolenia zamkniętego zależy od liczby uczestników, formy, poziomu zaawansowania i zakresu dopasowania programu.

Szkolenia otwarte realizujemy wyłącznie w formie zdalnej, w momencie zebrania się grupy.

Opis

Wprowadzenie do architektury

  • Problemy orkiestracji
  • Webserver, Scheduler, Workers
  • Metadatabase i konfiguracja
  • Przygotowanie środowiska pracy
  • Przegląd elementów UI

Podstawy DAG-a

  • Konstrukcja DAG-a
  • EmptyOperator
  • BashOperator
  • HttpOperator
  • Workflow zadań
  • Grupowanie zadań

Konfiguracja DAG-a

  • Domyślne argumenty
  • Start/End date
  • Harmonogram (scheduler)
  • Tagi

Sensory i statusy

  • FileSensor
  • HttpSensor
  • BashSensor
  • Statusy zadań

Funkcje Pythona

  • PythonOperator
  • PythonVirtualenvOperator
  • PythonSensor
  • External* operatory i sensory

Zmienne DAG-a

  • Variable
  • Szablony Jinja
  • DAG Config
  • XCOM

SQL

  • Operatory SQL
  • Sensory SQL

Rozszerzenia i bezpieczeństwo

  • Zarządzanie uprawnieniami
  • Fernet key
  • Providery
  • Airflow CLI

FAQ – Apache Airflow

1. Czym jest Apache Airflow i jak wygląda jego architektura?

Apache Airflow to narzędzie do orkiestracji workflow i harmonogramowania procesów. Szkolenie obejmuje wprowadzenie do architektury, omówienie komponentów takich jak Webserver, Scheduler i Workers, a także rolę metadatabase i konfigurację środowiska pracy.

2. Jak tworzyć i konfigurować DAG w Apache Airflow?

Uczestnicy poznają podstawy DAG-a, konstrukcję workflow, konfigurację parametrów takich jak domyślne argumenty, start date, harmonogram, tagi oraz mechanizmy grupowania zadań i zarządzania zależnościami między nimi.

3. Jakie operatory i sensory są wykorzystywane w Airflow?

Szkolenie obejmuje pracę z operatorami takimi jak BashOperator, PythonOperator, PythonVirtualenvOperator, HttpOperator oraz operatorami SQL. Omawiane są również sensory, między innymi FileSensor, HttpSensor i BashSensor, a także statusy zadań i workflow.

4. Jak zarządzać zmiennymi, XCOM i konfiguracją DAG?

Kurs pokazuje wykorzystanie Variable, komunikację między zadaniami przy użyciu XCOM, stosowanie szablonów Jinja oraz DAG Config. Uczestnicy uczą się parametryzacji workflow i efektywnego zarządzania konfiguracją projektów.

5. Jak zapewnić bezpieczeństwo i zarządzać środowiskiem Airflow?

Omawiane są zagadnienia zarządzania uprawnieniami, wykorzystania Fernet key, providerów oraz pracy z Airflow CLI. Szkolenie obejmuje również dobre praktyki konfiguracji oraz utrzymania środowiska produkcyjnego.

Autor: Piotr Chudzik

ZOBACZ NASZE INNE SZKOLENIA

Zapytaj
o szkolenie

Nie widzisz szkolenia, którego szukasz?

Żadna tematyka nas nie ogranicza – jesteśmy otwarci i stworzymy szkolenie idealnie dopasowane do Twoich potrzeb.

Przykładowe szkolenia: Cisco, Analiza biznesowa, BPMN, UML, PowerBi, Elasticsearch, Sztuczna inteligencja, Python, C++, C#, Selenium, Jenkins, Szkolenia miękkie, UX, Social Media i Marketing, Sprzedaż, Zarządzanie projektami, Design Thinking, Linux, Embedded, Postman, Ms Excel, Adobe, Docker, Kubernetes, Terraform, Azure, SAP, UiPath, Machine Learning.