Middle Data-engineer

18 Марта

Партнерские Вакансии

Город:

Алматы

Занятость:

Полная занятость

Компания "Банк Хоум Кредит, ДБ АО"

Задачи, которые ты будешь выполнять:

  • Разработка и оптимизация пайплайнов обработки данных на Apache Spark (batch/streaming, выбор стратегии партиционирования, оптимизация shuffle и ресурсов)
  • Работа с Kafka (архитектура, продюсеры/консюмеры, схемы событий, обработка streaming-данных)
  • Разработка и сопровождение DAG’ов в Apache Airflow (зависимости, SLA, retry-политики, алерты, мониторинг)
  • Подготовка данных для ML-задач (feature engineering, контроль leakage, обработка outliers, балансировка классов)
  • Участие в построении Feature Store (материализация фич из Hadoop/Spark в Cassandra, real-time и offline слой)
  • Работа с ML-инфраструктурой (MLflow/Kubeflow контроль экспериментов, понимание пайплайна обучения и инференса)
  • Взаимодействие с ML-командой и бизнесом для определения требований к данным

Нам по пути, если у тебя есть:

  • Высшее техническое образование
  • Опыт работы в области Data Engineering / Big Data от 2–3 лет
  • Продвинутый Python (основной язык), знание Scala или Java
  • Практический опыт работы с: Apache Airflow, Apache Spark/Hadoop,Cassandra, Kafka, Git, Kubernetes
  • Понимание принципов распределенных систем и обработки больших данных
  • Понимание жизненного цикла ML-моделей (train → validate → deploy → inference)

Будет плюсом:

  • Опыт работы с Cloudera CDP/Arenadata ADP/Hadoop Data Platform
  • Опыт работы с ML-платформами (Kubeflow, MLflow)
  • Опыт внедрения мониторинга (Prometheus, Grafana, Zabbix)
  • Опыт работы в банковском или финтех-секторе
  • Опыт построения real-time data платформ

Мы предлагаем тебе:

  • Конструктор льгот OLZHA: кэшбек на здоровье, спорт, путешествия и саморазвитие в рамках утвержденных лимитов
  • Продукты компании для сотрудников на выгодных условиях
  • Внутреннее и внешнее обучение, корпоративный доступ к образовательной платформе Udemy
  • Merch Store: брендированная продукция с корпоративной символикой
  • Отсутствие дресс-кода
  • Ультрасовременный и уютный офис HCB HUB
  • Массаж в офисе, йога-классы, корпоративные скидки в фитнес-клубы, клиники, магазины
  • Яркая корпоративная жизнь: мероприятия, клубы по интересам
Похожие вакансии

17 Марта

Team Lead Data Analyst

Алматы

Компания "ТОР-МЕДИА" UNI–Q – казахстанский цифровой медиахолдинг, объединяющий ключевые направления в сфере медиа, контент-производства и...

Отправить резюме подробнее

17 Марта

Data Scientist( Freedom Holding Operations )

Алматы

Компания "Freedom Holding Operations" Задачи: Разработка и внедрение ML-моделей для решения бизнес-задач компании (регрессия,...

Отправить резюме подробнее

17 Марта

Middle AQA (Automation QA) specialist

Алматы

Компания "Kulenkov Group" Мы ищем Middle Automation QA в продуктовую команду, которая развивает группу сервисов: backend на Laravel...

Отправить резюме подробнее

17 Марта

QA Engineer( Dolphin )

Алматы

Компания "Dolphin" Dolphin — IT-компания, которая занимается разработкой высокотехнологичных продуктов для автоматизации профессиональной...

Отправить резюме подробнее

17 Марта

Junior QA Engineer (Manual)( Playrix )

Алматы

Компания "Playrix" Playrix — одна из самых успешных компаний по разработке мобильных игр. По доходам входим в топ-3 в мире и первые среди всех...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: