Aparıcı məlumat mühəndisi

Əsas vəzifələr

• Mövcud Data Lakehouse və Data Warehouse layihələrinin texniki istiqamətinin idarə edilməsi;
• Yeni data platformalarının arxitekturasının hazırlanması və uyğun texnologiya seçimlərinin edilməsi;
• Müştəri ehtiyaclarının texniki tələblərə və icra planına çevrilməsi;
• ETL/ELT, batch, streaming və CDC əsaslı data pipeline-ların dizaynı və inkişafına rəhbərlik;
• Müxtəlif məlumat mənbələrinin vahid analitik platformalara inteqrasiyasının təşkili;
• Legacy sistemlərdən müasir data platformalarına keçid və migration layihələrinin texniki planlaşdırılması;
• Data modeling, data quality, metadata və lineage yanaşmalarının layihələrdə tətbiqi;
• Data platformalarının performans, etibarlılıq və miqyaslana bilmə baxımından optimallaşdırılması;
• Data pipeline-ların monitorinqi, troubleshooting və production problemlərinin həllində texniki liderlik;
• Komanda tərəfindən hazırlanmış həllərin, kodların və data flow-ların review edilməsi;
• Texniki standartların, reusable yanaşmaların və Data Engineering best practice-lərin formalaşdırılması;
• Data Engineer-lərə gündəlik texniki dəstək və mentorluq verilməsi;
• Layihələr üzrə workload, prioritet və texniki risklərin idarə edilməsində iştirak;
• Müştərilərlə texniki workshop və görüşlərdə iştirak;
• Təklif olunan həllərin arxitektura və texniki baxımdan təqdim edilməsi;
• Yeni layihələr üçün solution design, estimation və technical proposal hazırlanmasına töhfə verilməsi;
• Yeni Data Engineer namizədlərinin texniki qiymətləndirilməsində iştirak;
• Yeni texnologiyaların qiymətləndirilməsi və uyğun olduqda layihələrdə tətbiqi.
• Apache Spark, Spark SQL, PySpark, Python, SQL, Apache Iceberg, Parquet, MinIO, S3-compatible Object Storage, Apache Kafka, CDC, Apache Airflow, dbt, Oracle, PostgreSQL, Microsoft SQL Server, MySQL, Kubernetes, Docker, Linux, Git, CI/CD, OpenMetadata, REST API, Power BI, Apache Superset.

Tələblər

• Data Engineering sahəsində minimum 5 il real layihə təcrübəsi;
• Senior və ya Lead səviyyəsində texniki məsuliyyət götürmək təcrübəsi;
• Data Warehouse, Data Lake və ya Data Lakehouse layihələrində praktiki iştirak;
• Data Architecture və Data Platform dizaynı üzrə güclü anlayış;
• Data modeling və analitik məlumat strukturlarının qurulması üzrə təcrübə;
• ETL/ELT prosesləri və kompleks data pipeline-ların hazırlanması üzrə güclü biliklər;
• Python və SQL üzrə yüksək səviyyəli praktiki bacarıqlar;
• Big Data və distributed processing yanaşmaları üzrə anlayış;
• Production sistemlərində performance tuning və troubleshooting təcrübəsi;
• Müxtəlif database və sistemlərlə data integration təcrübəsi;
• Texniki qərarları əsaslandırmaq və alternativ həlləri müqayisə etmək bacarığı;
• Müştəri və texniki komandalarla effektiv kommunikasiya qurmaq bacarığı;
• Eyni zamanda bir neçə layihə və prioritet üzərində işləyə bilmək;
• Komanda daxilində mentorluq və texniki istiqamət vermək bacarığı;
• İngilis dilində texniki sənədlərlə və vendorlarla sərbəst işləmək bacarığı.
• Böyük həcmli enterprise data platformalarının qurulması;
• Oracle və digər legacy database sistemlərindən müasir platformalara migration;
• Spark performance optimization;
• Kubernetes üzərində data platformalarının işlədilməsi;
• Data Governance, Metadata Management və Data Catalog həlləri;
• On-premise və hybrid data platformaları;
• Solution Architecture və technical presales;
• Müştəri layihələrinin texniki delivery-sinin idarə edilməsi;
• Texniki komandanın inkişafı və mentorluğu.

Bilik və bacarıqlar

• CI/CD
• Docker
• Linux
• PostgreSQL
• Python