Middle Data-engineer

Компания "Банк Хоум Кредит, ДБ АО"

Задачи, которые ты будешь выполнять:

• Разработка и оптимизация пайплайнов обработки данных на Apache Spark (batch/streaming, выбор стратегии партиционирования, оптимизация shuffle и ресурсов)
• Работа с Kafka (архитектура, продюсеры/консюмеры, схемы событий, обработка streaming-данных)
• Разработка и сопровождение DAG’ов в Apache Airflow (зависимости, SLA, retry-политики, алерты, мониторинг)
• Подготовка данных для ML-задач (feature engineering, контроль leakage, обработка outliers, балансировка классов)
• Участие в построении Feature Store (материализация фич из Hadoop/Spark в Cassandra, real-time и offline слой)
• Работа с ML-инфраструктурой (MLflow/Kubeflow контроль экспериментов, понимание пайплайна обучения и инференса)
• Взаимодействие с ML-командой и бизнесом для определения требований к данным

Нам по пути, если у тебя есть:

• Высшее техническое образование
• Опыт работы в области Data Engineering / Big Data от 2–3 лет
• Продвинутый Python (основной язык), знание Scala или Java
• Практический опыт работы с: Apache Airflow, Apache Spark/Hadoop,Cassandra, Kafka, Git, Kubernetes
• Понимание принципов распределенных систем и обработки больших данных
• Понимание жизненного цикла ML-моделей (train → validate → deploy → inference)

Будет плюсом:

• Опыт работы с Cloudera CDP/Arenadata ADP/Hadoop Data Platform
• Опыт работы с ML-платформами (Kubeflow, MLflow)
• Опыт внедрения мониторинга (Prometheus, Grafana, Zabbix)
• Опыт работы в банковском или финтех-секторе
• Опыт построения real-time data платформ

Мы предлагаем тебе:

• Конструктор льгот OLZHA: кэшбек на здоровье, спорт, путешествия и саморазвитие в рамках утвержденных лимитов
• Продукты компании для сотрудников на выгодных условиях
• Внутреннее и внешнее обучение, корпоративный доступ к образовательной платформе Udemy
• Merch Store: брендированная продукция с корпоративной символикой
• Отсутствие дресс-кода
• Ультрасовременный и уютный офис HCB HUB
• Массаж в офисе, йога-классы, корпоративные скидки в фитнес-клубы, клиники, магазины
• Яркая корпоративная жизнь: мероприятия, клубы по интересам

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя