Инженер по оценке искусственного интеллекта

Görəcəyiniz işlər:

• Süni intellekt əsaslı məhsul və funksiyalar üçün qiymətləndirmə strategiyalarını hazırlamaq və icra etmək;
• Biznes tələblərini, istifadəçi ssenarilərini və dialoq axınlarını ölçülə bilən test ssenarilərinə çevirmək;
• Qiymətləndirmə dataset-lərini, benchmark-ları, reqressiya test paketlərini və təkrar istifadə oluna bilən test aktivlərini hazırlamaq, saxlamaq və təkmilləşdirmək;
• Süni intellekt tətbiqləri üzrə funksional, konversasiya, exploratory, API və reqressiya testlərini icra etmək;
• Əsas istifadəçi ssenariləri, kənar hallar (edge case), çoxdilli istifadə, qeyri-müəyyən sorğular və adversarial ssenarilər üzrə test əhatəsini təmin etmək;
• Süni intellekt funksiyaları üçün qiymətləndirmə meyarlarını, keyfiyyət metrikalarını, qiymətləndirmə şkalalarını (scoring rubric), qəbul və reqressiya kriteriyalarını hazırlamaq;
• Deterministik yoxlamaları, qiymətləndirmə mexanizmlərini və avtomatlaşdırılmış qiymətləndirmə proseslərini hazırlamaq;
• Prompt, model, məlumatların axtarışı (retrieval) və kontekst dəyişikliklərindən sonra qiymətləndirmə və reqressiya testlərini aparmaq;
• Production mühitində aşkarlanan problemləri və süni intellekt xətalarını təhlil edərək yeni reqressiya test ssenariləri hazırlamaq;
• Süni intellekt üzrə keyfiyyət göstəricilərini monitorinq etmək, reqressiyaları müəyyənləşdirmək və müvafiq hesabatlar hazırlamaq;
• Applied AI Engineer, QA Engineer, Product Owner və Context Engineer komandaları ilə əməkdaşlıq edərək problemləri araşdırmaq və süni intellekt əsaslı məhsulların davamlı təkmilləşdirilməsində iştirak etmək.

Bizim üçün uyğun namizəd:

• Ali təhsilə;
• Software QA, Test Automation, Quality Engineering və ya əlaqəli texniki sahələr üzrə minimum 3 il iş təcrübəsinə;
• Software Quality Assurance prinsipləri, test dizaynı və test strategiyalarının hazırlanması üzrə bilik və təcrübəyə;
• Manual və ya avtomatlaşdırılmış testlərin, o cümlədən funksional, exploratory, reqressiya və API testlərinin icrası üzrə təcrübəyə;
• REST API və inteqrasiya olunmuş sistemlərin test edilməsi üzrə bilik və təcrübəyə;
• SQL üzrə biliklərə;
• Python və ya digər skript dillərindən biri üzrə baza biliklərinə;
• Biznes tələblərini ölçülə bilən test ssenarilərinə və qiymətləndirmə meyarlarına çevirmək bacarığına;
• Hallüsinasiyalar, alətlərin yanlış istifadəsi, kontekst problemləri və təhlükəli süni intellekt cavabları kimi AI sistemlərinə xas xəta ssenariləri barədə anlayışa;
• Güclü analitik düşüncə, problem həll etmə və detallara diqqət bacarıqlarına;
• Güclü kommunikasiya və komanda ilə işləmək bacarığına;
• Agile metodologiyası üzrə iş təcrübəsinə;
• Süni intellekt texnologiyalarına yüksək marağa və AI Evaluation sahəsində inkişaf etmək istəyinə sahib olan şəxsdir.

Üstünlükdür:

• Testlərin avtomatlaşdırılması üzrə təcrübə;
• Large Language Models (LLM) və Generative AI texnologiyaları üzrə baza bilikləri;
• Prompt Engineering və Retrieval-Augmented Generation (RAG) üzrə baza bilikləri;
• AI Agent və Tool Calling sistemləri ilə tanışlıq;
• Git və CI/CD üzrə baza bilikləri;
• Keyfiyyət metrikaları, dashboard-lar və hesabatlarla işləmək təcrübəsi;
• Statistik analiz və eksperiment nəticələrinin interpretasiyası üzrə baza bilikləri;
• DeepEval, Promptfoo, RAGAS və ya oxşar AI Evaluation framework-ləri ilə iş təcrübəsi;
• Conversational AI və AI Agent sistemlərinin test edilməsi üzrə təcrübə;
• Model-based grader, avtomatlaşdırılmış qiymətləndirmə prosesləri və AI observability alətləri ilə iş təcrübəsi;
• AI Safety, Robustness, Adversarial Testing və Machine Learning üzrə baza bilikləri.