Verilənlər bazası mühəndisi

Vəzifə təsviri

• Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larını dizayn etmək, inkişaf etdirmək və optimallaşdırmaq;
• Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;
• Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və saxlanması;
• Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitoring mexanizmlərinin tətbiqi;
• Data warehouse və data lake arxitekturalarının qurulmasında iştirak etmək;
• Məlumat pipeline-larında problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);
• SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;
• Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);
• Müxtəlif sistemlər arasında data inteqrasiyası və data migration proseslərinin həyata keçirilməsi;
• Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.