Apache Airflow

Apache Airflow — data pipeline-ların (məlumat axınlarının) proqramla yazılması, planlaşdırılması və izlənməsi üçün açıq mənbəli Python platformasıdır. İş axınları DAG (istiqamətli tsiklsiz qraf) şəklində təsvir olunur: hər tapşırıq bir düyün, asılılıqlar isə düyünlər arasındakı əlaqədir. Airbnb tərəfindən yaradılıb və indi data mühəndisliyində orkestrləşdirmə standartıdır.

DAG (Directed Acyclic Graph) tapşırıqların icra ardıcıllığını və asılılıqlarını təsvir edən qrafdır — məsələn, əvvəlcə məlumatı çıxart, sonra çevir, sonra bazaya yüklə (ETL). Hər tapşırıq operator adlanır və konkret bir iş görür. Airflow tapşırıqların səhvlərini avtomatik idarə edir və uğursuz addımı yenidən cəhd (retry) edə bilir.

Airflow Python-da yazıldığı üçün əvvəlcə Python və SQL bilmək lazımdır, sonra Airflow-u Docker vasitəsilə qurub sadə bir DAG yazmaqla başlayırlar. ETL prosesləri və məlumat bazaları haqqında bilik faydalıdır. Rəsmi sənədlər və data mühəndisliyi kursları geniş yayılıb.

Airflow ilk növbədə Data mühəndisi üçün əsas bacarıqdır, həmçinin Data mühəndisi, Maşın öyrənmə mühəndisi, Tətbiq arxitekti, Texniki təlimçi tərəfindən istifadə olunur. Data analitik, ML mühəndisi və MLOps komandaları da mürəkkəb iş axınlarını avtomatlaşdırmaq üçün ondan istifadə edir.

Vakansiyalar: Data mühəndisi →

Airflow batch (paket) rejimli, koda əsaslanan və geniş inteqrasiya imkanı olan yetkin bir platformadır; alternativlər arasında Prefect və Dagster daha müasir və sadə interfeys təklif edir. Airflow-un üstünlüyü böyük icması və hazır operatorlar kitabxanasıdır. Ən çox rast gəlinən qonşu bacarıqlardan biri Docker-dir.

Docker bacarığı →