Middle Data Engineer (Lake House)

Компания "Мобайл Телеком-Сервис (Объединенная Компания Tele2/ALTEL)"

• Разработка и реализация стратегии миграции данных из Oracle в S3 Lakehouse (формат Iceberg).
• Перенос и рефакторинг существующей бизнес-логики с PL/SQL на PySpark и dbt.
• Проектирование слоев данных Medallion-архитектуры внутри Lakehouse.
• Тюнинг производительности Spark-джобов Управление жизненным циклом таблиц в Iceberg
• Настройка интеграции между Lakehouse и ClickHouse для обеспечения высокой скорости аналитических запросов.
• Внедрение и контроль метрик качества данных (Data Quality) на всех этапах миграции.
• Обеспечение соблюдения Data SLA.
• Документирование архитектурных решений и ведение актуального реестра метаданных..

• Глубокое понимание Apache Iceberg (схема эволюции, snapshots, partition evolution, оптимизация хранения через compaction). Опыт работы с объектными хранилищами (S3/Minio).
• Продвинутый уровень PySpark (Spark SQL, Core, Optimization). Понимание механизмов Shuffle, Broadcast Join и работы с Memory Management
• Уверенное владение dbt (разработка макросов, работа с внешними таблицами, настройка тестов и документации). Знание методологий моделирования (Data Vault 2.0 или Kimball)
• Опыт написания сложных DAG-ов в Apache Airflow (Custom Operators, Dynamic Tasks, XComs).
• Хорошее знание Oracle (написание сложных аналитических SQL-запросов, понимание планов выполнения) и ClickHouse (движки таблиц, материализованные представления).
• Python (написание кастомных интеграций, парсеров), Git, основы Docker и CI/CD.

ЗАРПЛАТА - ЭТО ЕЩЕ НЕ ВСЁ:

• Гибридный формат работы и гибкое начало рабочего дня;
• Профессиональное развитие: участие в митапах, тренингах, конференциях, демо-днях и хакатонах;
• Дополнительные 4 дня отпуска — итого 28 календарных дней за год;
• Годовой бонус по результатам достижения KPI;
• Корпоративная сотовая связь;
• Добровольная медицинская страховка со стоматологией и лекарствами с возможностью бесплатно добавить двух близких родственников;
• Фитнес-абонементы со скидкой и в рассрочку;
• Онлайн-платформа бесплатной психологической помощи;
• Доступ к корпоративной онлайн-библиотеке MyBook.

Теlе2 — это территория возможностей. Здесь тебя примут таким, какой ты есть, поддержат, направят и откроют множество возможностей.

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя