Data mühəndisi

Batch və near-real-time məlumat emalı üçün ETL/ELT pipeline dizaynı, inkişafı və optimallaşdırılmasıBronze/Silver/Gold arxitekturalı data lake-lərin qurulması və saxlanması (Parquet, ORC, Hive və Iceberg cədvəl formatları)Fact/Dimension cədvəlləri və Slowly Changing Dimensions (SCD) kimi məlumat modelləşdirmə konsepsiyalarının tətbiqiApache Airflow və ya oxşar orkestrasiya alətləri ilə iş axınlarının idarə edilməsi (DAG dizaynı, planlaşdırma, SLA idarəçiliyi, retry, alerting və xətaların idarə olunması)Bütün pipeline məlumat keyfiyyəti, yoxlama və governance təmin edilməsiOracle, PostgreSQL, API və fayl əsaslı məlumat mənbələrindən inteqrasiyaKafka və streaming anlayışları üzrə əsas bilikSpark job-ların optimallaşdırılması (partisiya strategiyası, yaddaş istifadəsi, shuffle əməliyyatları)İstehsalat mühitində pipeline monitorinqi, problemlərin aradan qaldırılması və kök səbəb analizi (RCA)Biznes tələblərini texniki həllərə çevirmək üçün BI, Analitika və Data Science komandaları ilə əməkdaşlıqTexniki sənədləşmə və data lineage üzrə məlumatlılıq, platforma standartlarına və best practice-lərə riayət Xüsusi tələblər SQL üzrə yüksək səviyyəli bacarıqlar: mürəkkəb join-lar, CTE-lər, window funksiyalarıMəlumat emalı və ETL inkişafı üçün Python və/və ya Scala üzrə təcrübəApache Spark ilə batch emalı və performans optimallaşdırılması üzrə praktiki təcrübəMəlumat modelləşdirmə konsepsiyalarını dərindən başa düşmək (Fact/Dimension modelləri, SCD)Data Lake arxitekturaları üzrə təcrübə (Bronze/Silver/Gold)Cədvəl formatları və inkremental emal üzrə bilik: Hive, IcebergETL/ELT pipeline dizaynı, inkremental yükləmələr və Change Data Capture (CDC) üzrə təcrübəApache Airflow və oxşar orkestrasiya alətləri üzrə təcrübəRelyasion məlumat mənbələri ilə işləmə təcrübəsi (Oracle, PostgreSQL), API və fayl əsaslı ingestionKafka və streaming anlayışları üzrə əsas bilikMəlumat keyfiyyəti yoxlamaları, schema evolution, geriyə uyğunluq və PII/həssas məlumat anlayışlarıProblemləri həll etmə, analitik düşünmə və əməliyyat bacarıqlarıSpark job-ların optimallaşdırılması, böyük cədvəl join-ları və aqreqasiyalar üzrə təcrübəBiznes tələblərini texniki həllərə çevirmək bacarığı və komandalarla effektiv əməkdaşlıqÜstünlük Verilən Bacarıqlar:Trino / Presto ilə təcrübəKafka əsaslı ingestion pipelinedbt və ya oxşar transformasiya freymvörkləriTelekom DWH / BSS data modelləri ilə təcrübəLinux komanda sətri üzrə bacarıqlar