Senior Data Engineer

26 Января

Партнерские Вакансии

Город:

Алматы

Занятость:

Полная занятость

Компания "Публичная Компания «Freedom Finance Global PLC»"

Обязанности:
  • Проектировать, развивать и поддерживать ETL / ELT-пайплайны для загрузки и трансформации данных из различных источников;
  • Строить и оптимизировать архитектуру хранилища данных (Greenplum): схемы, витрины, партиционирование, распределение данных;
  • Разрабатывать и сопровождать DAG’и в Airflow (TaskFlow API, динамические пайплайны, ретраи, SLA, мониторинг);
  • Разрабатывать и поддерживать сервисы на FastAPI для: реализации API-интерфейсов к данным и витринам интеграции с внешними системами и микросервисами реализации webhook’ов, callback’ов, CDC-эндпоинтов;
  • Настраивать и поддерживать CDC-интеграции с использованием Debezium, Kafka или аналогичных инструментов;
  • Проектировать стриминговые и батч-потоки данных, обеспечивать их устойчивость и масштабируемость Использовать PXF для интеграции Greenplum с внешними источниками данных (PostgreSQL, файловые системы, object storage и др.);
  • Оптимизировать производительность загрузок, запросов и структуры хранения данных;
  • Обеспечивать качество данных (DQ): контроль полноты, консистентности, дедупликации и SLA загрузок;
  • Взаимодействовать с аналитиками и BI-разработчиками при проектировании витрин и источников данных;
  • Участвовать в стандартизации пайплайнов, код-ревью и развитии инженерных практик Документировать архитектуру, процессы и принятые технические решения.
Требования:
  • Высшее образование в сфере ИТ, математики, инженерии или смежных областях;
  • Опыт работы от 3 лет, участие в построении или развитии корпоративных DWH / Data Platform;
  • Отличное владение SQL (оптимизация запросов, работа с большими объёмами данных, понимание MPP-архитектур);
  • Уверенные навыки Python (ETL-логика, автоматизация, работа с API);
  • Практический опыт работы с Airflow Опыт работы с Greenplum, понимание принципов MPP, партиционирования и распределения данных;
  • Практический опыт разработки сервисов на FastAPI: проектирование REST API валидация данных (Pydantic) асинхронная обработка интеграция с БД и внешними сервисами;
  • Опыт построения CDC / стриминговых пайплайнов (Debezium, Kafka или аналогичные решения);
  • Понимание архитектуры событийных систем и потоковой обработки данных;
  • Опыт взаимодействия с BI-инструментами как потребителями данных (Qlik Sense).
Условия:
  • Профессиональный коллектив;
  • Неограниченный рост;
  • Скидки на фитнес, подарки на праздники и дни рождения;
  • Бонусы и уникальные предложения от компаний холдинга;
  • Спонсирование профессионального обучения;
  • Насыщенная корпоративная жизнь с выездами на природу, праздничными мероприятиями в офисе, играми и розыгрышами подарков.
Похожие вакансии

10 Января

Architect & Sr. Pre-Sales Engineer (Servers)

Алматы

Компания "Аванта Казахстан" Required skills and experience: 5+ years of work experience with system integrator, either distributor or...

Отправить резюме подробнее

19 Января

Cost Estimation Engineer( FSSA )

Алматы

Компания "FSSA" Responsibilities: Prepare detailed and accurate cost estimates for construction and engineering projects. Analyze...

Отправить резюме подробнее

19 Января

Lead HVAC Engineer( FSSA )

Алматы

Компания "FSSA" Responsibilities: Lead the design, planning, and implementation of HVAC (heating, ventilation, and air conditioning)...

Отправить резюме подробнее

22 Января

Senior Localization Manager

Алматы

Компания "inDrive" Responsibilities: Localization Management: Execution Oversee the end to end localization process for our...

Отправить резюме подробнее

22 Января

Разметчик данных (ручная проверка данных, поиск ошибок и несовпадений)( DATA LABELING )

Алматы

Компания "DATA LABELING" Обязанности: Сравнение товаров на маркетплейсах – поиск идентичных товаров, анализ характеристик....

Отправить резюме подробнее

Вакансия размещена в отрасли

Автобизнес / Автосервис: