Senior Data Engineer

26 Января

Партнерские Вакансии

Компания "Публичная Компания «Freedom Finance Global PLC»"

Обязанности:

• Проектировать, развивать и поддерживать ETL / ELT-пайплайны для загрузки и трансформации данных из различных источников;
• Строить и оптимизировать архитектуру хранилища данных (Greenplum): схемы, витрины, партиционирование, распределение данных;
• Разрабатывать и сопровождать DAG’и в Airflow (TaskFlow API, динамические пайплайны, ретраи, SLA, мониторинг);
• Разрабатывать и поддерживать сервисы на FastAPI для: реализации API-интерфейсов к данным и витринам интеграции с внешними системами и микросервисами реализации webhook’ов, callback’ов, CDC-эндпоинтов;
• Настраивать и поддерживать CDC-интеграции с использованием Debezium, Kafka или аналогичных инструментов;
• Проектировать стриминговые и батч-потоки данных, обеспечивать их устойчивость и масштабируемость Использовать PXF для интеграции Greenplum с внешними источниками данных (PostgreSQL, файловые системы, object storage и др.);
• Оптимизировать производительность загрузок, запросов и структуры хранения данных;
• Обеспечивать качество данных (DQ): контроль полноты, консистентности, дедупликации и SLA загрузок;
• Взаимодействовать с аналитиками и BI-разработчиками при проектировании витрин и источников данных;
• Участвовать в стандартизации пайплайнов, код-ревью и развитии инженерных практик Документировать архитектуру, процессы и принятые технические решения.

Требования:

• Высшее образование в сфере ИТ, математики, инженерии или смежных областях;
• Опыт работы от 3 лет, участие в построении или развитии корпоративных DWH / Data Platform;
• Отличное владение SQL (оптимизация запросов, работа с большими объёмами данных, понимание MPP-архитектур);
• Уверенные навыки Python (ETL-логика, автоматизация, работа с API);
• Практический опыт работы с Airflow Опыт работы с Greenplum, понимание принципов MPP, партиционирования и распределения данных;
• Практический опыт разработки сервисов на FastAPI: проектирование REST API валидация данных (Pydantic) асинхронная обработка интеграция с БД и внешними сервисами;
• Опыт построения CDC / стриминговых пайплайнов (Debezium, Kafka или аналогичные решения);
• Понимание архитектуры событийных систем и потоковой обработки данных;
• Опыт взаимодействия с BI-инструментами как потребителями данных (Qlik Sense).

Условия:

• Профессиональный коллектив;
• Неограниченный рост;
• Скидки на фитнес, подарки на праздники и дни рождения;
• Бонусы и уникальные предложения от компаний холдинга;
• Спонсирование профессионального обучения;
• Насыщенная корпоративная жизнь с выездами на природу, праздничными мероприятиями в офисе, играми и розыгрышами подарков.