Инженер данных

Əsas öhdəliklər:

• Batch və near-real-time məlumat emalı üçün ETL/ELT pipeline dizaynı, inkişafı və optimallaşdırılması
• Bronze/Silver/Gold arxitekturalı data lake-lərin qurulması və saxlanması (Parquet, ORC, Hive və Iceberg cədvəl formatları)
• Fact/Dimension cədvəlləri və Slowly Changing Dimensions (SCD) kimi məlumat modelləşdirmə konsepsiyalarının tətbiqi
• Apache Airflow və ya oxşar orkestrasiya alətləri ilə iş axınlarının idarə edilməsi (DAG dizaynı, planlaşdırma, SLA idarəçiliyi, retry, alerting və xətaların idarə olunması)
• Bütün pipeline məlumat keyfiyyəti, yoxlama və governance təmin edilməsi
• Oracle, PostgreSQL, API və fayl əsaslı məlumat mənbələrindən inteqrasiya
• Kafka və streaming anlayışları üzrə əsas bilik
• Spark job-ların optimallaşdırılması (partisiya strategiyası, yaddaş istifadəsi, shuffle əməliyyatları)
• İstehsalat mühitində pipeline monitorinqi, problemlərin aradan qaldırılması və kök səbəb analizi (RCA)
• Biznes tələblərini texniki həllərə çevirmək üçün BI, Analitika və Data Science komandaları ilə əməkdaşlıq
• Texniki sənədləşmə və data lineage üzrə məlumatlılıq, platforma standartlarına və best practice-lərə riayət

Axtardığımız namizədə tələblər:

• SQL üzrə yüksək səviyyəli bacarıqlar: mürəkkəb join-lar, CTE-lər, window funksiyaları
• Məlumat emalı və ETL inkişafı üçün Python və/və ya Scala üzrə təcrübə
• Apache Spark ilə batch emalı və performans optimallaşdırılması üzrə praktiki təcrübə
• Məlumat modelləşdirmə konsepsiyalarını dərindən başa düşmək (Fact/Dimension modelləri, SCD)
• Data Lake arxitekturaları üzrə təcrübə (Bronze/Silver/Gold)
• Cədvəl formatları və inkremental emal üzrə bilik: Hive, Iceberg
• ETL/ELT pipeline dizaynı, inkremental yükləmələr və Change Data Capture (CDC) üzrə təcrübə
• Apache Airflow və oxşar orkestrasiya alətləri üzrə təcrübə
• Relyasion məlumat mənbələri ilə işləmə təcrübəsi (Oracle, PostgreSQL), API və fayl əsaslı ingestion
• Kafka və streaming anlayışları üzrə əsas bilik
• Məlumat keyfiyyəti yoxlamaları, schema evolution, geriyə uyğunluq və PII/həssas məlumat anlayışları
• Problemləri həll etmə, analitik düşünmə və əməliyyat bacarıqları
• Spark job-ların optimallaşdırılması, böyük cədvəl join-ları və aqreqasiyalar üzrə təcrübə
• Biznes tələblərini texniki həllərə çevirmək bacarığı və komandalarla effektiv əməkdaşlıq

Üstünlük Verilən Bacarıqlar:

• Trino / Presto ilə təcrübə
• Kafka əsaslı ingestion pipeline
• dbt və ya oxşar transformasiya freymvörkləri
• Telekom DWH / BSS data modelləri ilə təcrübə
• Linux komanda sətri üzrə bacarıqlar

Your key responsibilities:

• Design, develop, and optimize ETL/ELT pipelines for batch and near-real-time data processing
• Build and maintain data lakes with Bronze/Silver/Gold architectures, including Parquet, ORC, Hive, and Iceberg table formats
• Implement data modeling concepts such as Fact/Dimension tables and Slowly Changing Dimensions (SCD)
• Orchestrate workflows using Apache Airflow or similar tools, including DAG design, scheduling, SLA management, retries, alerting, and failure handling
• Ensure data quality, validation, and governance across all pipelines
• Integrate data from relational databases (Oracle, PostgreSQL), APIs, and file-based sources; basic understanding of Kafka and streaming concepts
• Optimize Spark jobs, including partitioning, memory usage, and shuffle operations
• Monitor, troubleshoot, and maintain production pipelines; perform root cause analysis (RCA) as needed
• Collaborate with BI, Analytics, and Data Science teams to translate business requirements into technical solutions
• Maintain technical documentation, data lineage, and adhere to platform standards, governance, and best practices

What we look for:

• Strong SQL skills: complex joins, CTEs, window functions
• Proficiency in Python and/or Scala for data processing and ETL development
• Hands-on experience with Apache Spark for batch processing and performance optimization
• Strong understanding of data modeling concepts (Fact/Dimension models, SCD)
• Experience with Data Lake architectures (Bronze/Silver/Gold)
• Familiarity with table formats and incremental processing: Hive, Iceberg
• Experience with ETL/ELT pipeline design, incremental loads, and Change Data Capture (CDC)
• Experience with orchestration tools such as Apache Airflow
• Experience with relational data sources (Oracle, PostgreSQL), APIs, and file-based ingestion
• Understanding of Kafka and streaming concepts
• Knowledge of data quality checks, schema evolution, backward compatibility, and PII/sensitive data considerations
• Strong problem-solving, analytical thinking, and operational skills for monitoring and troubleshooting pipelines
• Ability to collaborate effectively with cross-functional teams and translate business needs into technical solutions
• Experience with performance tuning of Spark jobs, large table joins, and aggregations

Preferred Qualifications:

• Experience with Trino / Presto
• Kafka-based ingestion pipelines
• dbt or similar transformation frameworks
• Experience with Telecom DWH / BSS data models
• Linux command-line proficiency