Verilənlər bazası üzrə mühəndis (Data Engineer)
Təsvir
Vəzifə təsviri · Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larını dizayn etmək, inkişaf etdirmək və optimallaşdırmaq; · Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması; · Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və saxlanması; · Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitoring mexanizmlərinin tətbiqi; · Data warehouse və data lake arxitekturalarının qurulmasında iştirak etmək; · Məlumat pipeline-larında problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging); · SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi; · Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster); · Müxtəlif sistemlər arasında data inteqrasiyası və data migration proseslərinin həyata keçirilməsi; · Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.
Requirements
- Tələblər · Müvafiq sahədə minimum 3 il iş təcrübəsi; · ETL/ELT pipeline-larının inkişafı və optimallaşdırılması üzrə praktiki təcrübə; · Böyük həcmli məlumatlarla işləmək üçün SQL üzrə yüksək səviyyəli bilik və query optimizasiya bacarıqları; · Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL inkişafı); · Streaming və data processing texnologiyaları ilə təcrübə: (Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow) · Relational və ya analytical verilənlər bazaları ilə təcrübə (PostgreSQL və s.); · Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə bilik. Üstünlük hesab olunur · Data lake və ya lakehouse arxitekturası ilə işləmə təcrübəsi; · Partitioning strategiyaları və metadata idarəçiliyi üzrə bilik; · Paylanmış sistemlər və böyük həcmli məlumat infrastrukturlarının idarə olunması təcrübəsi.