Data engineer (Middle)

04 Января

Партнерские Вакансии

Компания "Банк ЦентрКредит"

Основные задачи:

Разработка и сопровождение ETL/ELT-процессов

Нормализация, дедупликация, унификация и консолидация данных из разных источников. Разработка схем данных и построение связей между сущностями.

Работа с Greenplum, PostgreSQL, Oracle Оптимизация SQL-запросов и создание представлений (views, materialized views).

Настройка оркестрации и автоматизации пайплайнов (Airflow и др.).

Контроль качества данных (Data Quality) Поддержка интеграций с аналитическими, ML- и LLM-сервисами.

Опыт работы с микросервисной архитектурой и шлюзами данных API Gateway.

Технические требования Основной стек: Python: опыт написания production-скриптов SQL уверенные знания PostgreSQL, Greenplum, Oracle ETL-инструменты: Airflow Базы данных: опыт проектирования и администрирования реляционных БД.

Работа с API: REST, JSON, XML.

Инфраструктура опыт работы в *Linux / nix-среде, знание Docker, Git. Мониторинг и логи: Grafana.

Будет плюсом: Опыт построения хранилищ данных (Data Lake, Data Warehouse).

Опыт интеграции с ML/LLM-сервисами или аналитическими платформами.

Знание архитектуры DWH (ODS, DDS, Staging).

Опыт работы с Kafka, Redis, MinIO, ClickHouse.

Опыт и квалификация От 2 до 4 лет опыта работы на позиции Data Engineer / ETL Developer / Python Developer.

• Практический опыт создания или оптимизации ETL-пайплайнов.

Участие в проектах по интеграции данных из нескольких источников.

• Понимание принципов качества, надёжности и воспроизводимости данных (DQ, lineage, validation)