Orkiestracja zadań za pomocą Apache Airflow

Szkolenie z Apache Airflow jest przeznaczone dla osób, które chcą nauczyć się budować i zarządzać workflow oraz pipeline’ami danych w środowisku produkcyjnym. Kurs polecany jest szczególnie dla: Data Engineerów budujących procesy ETL/ELT, DevOps Engineerów odpowiedzialnych za konfigurację schedulera, workerów i bezpieczeństwo, Analityków danych i BI Developerów automatyzujących raportowanie, Programistów Python, którzy chcą wykorzystywać PythonOperator i dynamiczne DAG-i, Administratorów IT zarządzających środowiskiem Airflow, Szkolenie sprawdzi się zarówno w projektach Data Platform, jak i w firmach wdrażających automatyzację procesów IT. Po szkoleniu uczestnik: Rozumie architekturę Airflow (Webserver, Scheduler, Workers, Metadatabase), Potrafi tworzyć i konfigurować DAG-i oraz harmonogram zadań, Korzysta z operatorów: Bash, HTTP, Python, SQL oraz sensorów, Przekazuje dane między zadaniami (XCom, Variables, Jinja Templates), Zarządza bezpieczeństwem i uprawnieniami (m.in. Fernet key), Obsługuje Airflow CLI i rozszerzenia (Providery), Dzięki temu potrafi samodzielnie projektować, uruchamiać i monitorować workflow w środowisku produkcyjnym.

Czas trwania: 3 dni / 21 h

Opis

Wprowadzenie do architektury

  • Problemy orkiestracji
  • Webserver, Scheduler, Workers
  • Metadatabase i konfiguracja
  • Przygotowanie środowiska pracy
  • Przegląd elementów UI

Podstawy DAG-a

  • Konstrukcja DAG-a
  • EmptyOperator
  • BashOperator
  • HttpOperator
  • Workflow zadań
  • Grupowanie zadań

Konfiguracja DAG-a

  • Domyślne argumenty
  • Start/End date
  • Harmonogram (scheduler)
  • Tagi

Sensory i statusy

  • FileSensor
  • HttpSensor
  • BashSensor
  • Statusy zadań

Funkcje Pythona

  • PythonOperator
  • PythonVirtualenvOperator
  • PythonSensor
  • External* operatory i sensory

Zmienne DAG-a

  • Variable
  • Szablony Jinja
  • DAG Config
  • XCOM

SQL

  • Operatory SQL
  • Sensory SQL

Rozszerzenia i bezpieczeństwo

  • Zarządzanie uprawnieniami
  • Fernet key
  • Providery
  • Airflow CLI

FAQ – Apache Airflow

1. Czym jest Apache Airflow i jak wygląda jego architektura?

Apache Airflow to narzędzie do orkiestracji workflow i harmonogramowania procesów. Szkolenie obejmuje wprowadzenie do architektury, omówienie komponentów takich jak Webserver, Scheduler i Workers, a także rolę metadatabase i konfigurację środowiska pracy.

2. Jak tworzyć i konfigurować DAG w Apache Airflow?

Uczestnicy poznają podstawy DAG-a, konstrukcję workflow, konfigurację parametrów takich jak domyślne argumenty, start date, harmonogram, tagi oraz mechanizmy grupowania zadań i zarządzania zależnościami między nimi.

3. Jakie operatory i sensory są wykorzystywane w Airflow?

Szkolenie obejmuje pracę z operatorami takimi jak BashOperator, PythonOperator, PythonVirtualenvOperator, HttpOperator oraz operatorami SQL. Omawiane są również sensory, między innymi FileSensor, HttpSensor i BashSensor, a także statusy zadań i workflow.

4. Jak zarządzać zmiennymi, XCOM i konfiguracją DAG?

Kurs pokazuje wykorzystanie Variable, komunikację między zadaniami przy użyciu XCOM, stosowanie szablonów Jinja oraz DAG Config. Uczestnicy uczą się parametryzacji workflow i efektywnego zarządzania konfiguracją projektów.

5. Jak zapewnić bezpieczeństwo i zarządzać środowiskiem Airflow?

Omawiane są zagadnienia zarządzania uprawnieniami, wykorzystania Fernet key, providerów oraz pracy z Airflow CLI. Szkolenie obejmuje również dobre praktyki konfiguracji oraz utrzymania środowiska produkcyjnego.

Autor: Piotr Chudzik

ZOBACZ NASZE INNE SZKOLENIA

Zapytaj
o szkolenie

Nie widzisz szkolenia, którego szukasz?

Żadna tematyka nas nie ogranicza – jesteśmy otwarci i stworzymy szkolenie idealnie dopasowane do Twoich potrzeb.

Przykładowe szkolenia: Cisco, Analiza biznesowa, BPMN, UML, PowerBi, Elasticsearch, Sztuczna inteligencja, Python, C++, C#, Selenium, Jenkins, Szkolenia miękkie, UX, Social Media i Marketing, Sprzedaż, Zarządzanie projektami, Design Thinking, Linux, Embedded, Postman, Ms Excel, Adobe, Docker, Kubernetes, Terraform, Azure, SAP, UiPath, Machine Learning.