Инженер данных / специалист Databricks

Əsas vəzifələr

• Databricks platforması üzərində data pipeline-ların (ETL/ELT) layihələndirilməsi, qurulması və dəstəklənməsi
• Müxtəlif mənbələrdən (verilənlər bazaları, API-lər, fayllar) məlumatların toplanması, təmizlənməsi və transformasiyası
• Apache Spark (PySpark / Spark SQL) ilə böyük həcmli məlumatların emalı və performansın optimallaşdırılması
• Delta Lake əsasında data lake / lakehouse arxitekturasının qurulması və idarə olunması
• Məlumatın keyfiyyətinin, tamlığının və təhlükəsizliyinin təmin edilməsi
• Data analitiklər, data scientist-lər və biznes komandaları ilə əməkdaşlıq, onların
• məlumat tələblərinin qarşılanması
• Pipeline-ların monitorinqi, problemlərin aşkarlanması və aradan qaldırılması
• Texniki sənədləşmənin aparılması

Tələblər

• Data engineering sahəsində minimum 3 il iş təcrübəsi
• Databricks və Apache Spark (PySpark, Spark SQL) üzrə praktiki təcrübə
• Python və SQL biliklərinin yüksək səviyyədə olması
• ETL/ELT proseslərinin, data warehouse və data lake konsepsiyalarının dərindən bilinməsi
• Delta Lake və data modelləşdirmə (star/snowflake schema) biliyi
• Ən azı bir bulud platforması ilə təcrübə (Azure, AWS və ya GCP)
• Git və CI/CD alətləri ilə iş bacarığı
• İngilis dili biliyi yüksək səviyyədə (yazılı və şifahi, texniki sənədləşmə və kommunikasiya üçün)
• Analitik düşüncə, məsuliyyətlilik və komanda ilə işləmək bacarığı
• Orkestrasiya alətləri (Airflow, Azure Data Factory, Databricks Workflows)
• Streaming texnologiyaları (Kafka, Spark Structured Streaming)
• Databricks sertifikatları (Data Engineer Associate / Professional)
• Docker, Terraform və ya digər DevOps təcrübəsi
• BI alətləri (Power BI, Tableau) ilə tanışlıq
• Unity Catalog və data governance təcrübəsi
• 2000AZN (Net)
• Rəsmi əmək müqaviləsi
• Şirkət tərəfindən nahar və digər xərclər
• Peşəkar inkişaf, təlim və sertifikasiya dəstəyi
• Müasir texnologiyalarla işləmək və böyük layihələrdə iştirak imkanı
• Peşəkar komanda mühiti

Bilik və bacarıqlar

• CI/CD
• Git
• ingilis dili
• Python
• sql