Ведущий инженер по платформам данных

• Linux, Docker və Kubernetes infrastrukturunu idarə etmək; tətbiqlərin yerləşdirilməsi, yeniləmələr, miqyaslama, resurs planlaşdırılması, yüksək əlçatanlıq, ehtiyat nüsxələmə və bərpa işlərini həyata keçirmək.
• Batch və streaming rejimində məlumat qəbulu, paylanmış SQL sorğuları və etibarlı məlumat xidmətləri üçün Cloudera, Apache Kafka və Trino/Starburst platformalarını idarə etmək.
• Platforma dəyişikliklərini avtomatlaşdırmaq üçün GitLab CI/CD pipeline-lar, versiya tənzimləmələri və s.
• Metrikalar, idarəetmə panelləri və xəbərdarlıqlar qurmaq; insidentləri araşdırmaq, əsas səbəbləri sənədləşdirmək, klasterlərin vəziyyətini, sorğu performansını və resurs səmərəliliyini yaxşılaşdırmaq.
• Giriş icazələri və məxfi məlumatların idarə edilməsi qaydalarını tətbiq etmək, əməliyyat təlimatlarını saxlamaq və təhlükəsiz, özünəxidmət əsaslı data imkanları təqdim etmək üçün mühəndislik komandaları ilə əməkdaşlıq etmək.

Axtardığımız namizədə tələblər:

• Data Platformaları Mühəndisi və ya əlaqəli sahələr üzrə 5 ildən artıq peşəkar iş təcrübəsi.
• İngilis dilində peşəkar iş səviyyəsində bilik.
• Linux sistemlərinin idarə edilməsi, əməliyyat sistemi, şəbəkə və saxlama sistemlərində problemlərin aradan qaldırılması üzrə praktiki təcrübə; Docker və Kubernetes bilikləri.
• Kafka mesajlaşma prinsipləri və Cloudera/Hadoop xidmətləri, o cümlədən əsas platforma əməliyyatları və nasazlıqların aradan qaldırılması üzrə bilik.
• Trino, Starburst və ya analoji paylanmış SQL mühərrikləri ilə iş, konnektorlar, sorğuların icra planları və problemlərin aradan qaldırılması üzrə təcrübə.
• GitLab CI/CD pipeline-lar ilə iş və deployment proseslərinin avtomatlaşdırılması üzrə təcrübə; Go, Python və ya Bash dillərindən ən azı birində skript yazmaq bacarığı.
• Prometheus monitorinq ekosistemi (Grafana, Alertmanager) və HashiCorp Vault və ya CyberArk Conjur kimi məxfi məlumatların saxlanması həlləri ilə tanışlıq.

Üstünlük verilən bilik və bacarıqlar

• Resurs bölgüsü, paralellik və nasazlıqların təhlili daxil olmaqla Spark, PySpark və ya Spark SQL tapşırıqlarını hazırlamaq və optimallaşdırmaq bacarığı.
• Apache Flink, Kafka Streams və ya Spark Structured Streaming ilə təcrübə; vəziyyətin idarə edilməsi, yoxlama nöqtələri (checkpoints) və məlumat çatdırılmasının təminatları üzrə bilik.
• AWS (EKS, S3, IAM), hibrid bulud mühitlərinin idarə edilməsi və infrastrukturun avtomatlaşdırılması üzrə təcrübə.
• Süni intellekt və maşın öyrənməsi (AI/ML) iş yükləri üçün GPU serverləri, NVIDIA drayverləri, konteyner mühitləri və GPU resurslarının planlaşdırılması üzrə təcrübə.
• Apache Iceberg, Model Context Protocol (MCP), agent əsaslı süni intellekt həlləri və AI alətlərinin təhlükəsiz inteqrasiyası haqqında anlayış.

Your key responsibilities:

• Operate Linux, Docker, and Kubernetes infrastructure; handle deployments, upgrades, scaling, capacity planning, high availability, backups, and recovery.
• Manage Cloudera, Apache Kafka, and Trino/Starburst to support batch and streaming ingestion, distributed SQL, and reliable production data services.
• Build GitLab CI/CD workflows, version-controlled deployment templates, and scripts to automate platform changes and reduce manual operations.
• Implement metrics, dashboards, and alerts; troubleshoot incidents, document root causes, and improve cluster health, query performance, and resource efficiency.
• Apply access policies and secret management, maintain operational runbooks, and collaborate with engineering teams to provide secure, self-service data capabilities.

What we look for:

• 5+ years of professional experience in Data Platforms Engineer or related fields.
• English language proficiency at a minimum B2 level.
• Hands-on Linux administration and troubleshooting of operating systems, networks, and storage; practical experience with Docker and Kubernetes.
• Working knowledge of streaming platform like Kafka and Cloudera/Hadoop services, including basic platform operations and troubleshooting.
• Operational experience with Trino, Starburst, Impala or equivalent distributed SQL engines, including connectors, execution plans, and troubleshooting.
• Experience with GitLab CI/CD, Git workflows, and deployment automation; ability to script in at least one of Go, Python, or Bash.
• Familiarity with the Prometheus monitoring stack (Grafana, Alertmanager) and secret stores such as HashiCorp Vault or CyberArk Conjur.

Preferred Qualifications

• Ability to develop and tune Spark, PySpark, or Spark SQL jobs, including resource allocation, parallelism, and failure analysis.
• Experience with Apache Flink, Kafka Streams, or Spark Structured Streaming; knowledge of state, checkpoints, and delivery guarantees.
• Experience with AWS (EKS, S3, IAM), hybrid-cloud operations, and infrastructure automation.
• Experience operating GPU servers, NVIDIA drivers, container runtimes, and GPU scheduling for AI/ML workloads.
• Familiarity with Apache Iceberg, Model Context Protocol (MCP), agentic AI solutions, and secure AI tool integrations.