Middle Data Engineer (Lake House)

10 Июня

Партнерские Вакансии

Город:

Алматы

Занятость:

Полная занятость

Компания "Мобайл Телеком-Сервис (Объединенная Компания Tele2/ALTEL)"

ОСНОВНЫЕ ЗАДАЧИ:
  • Разработка и реализация стратегии миграции данных из Oracle в S3 Lakehouse (формат Iceberg).
  • Перенос и рефакторинг существующей бизнес-логики с PL/SQL на PySpark и dbt.
  • Проектирование слоев данных Medallion-архитектуры внутри Lakehouse.
  • Тюнинг производительности Spark-джобов Управление жизненным циклом таблиц в Iceberg
  • Настройка интеграции между Lakehouse и ClickHouse для обеспечения высокой скорости аналитических запросов.
  • Внедрение и контроль метрик качества данных (Data Quality) на всех этапах миграции.
  • Обеспечение соблюдения Data SLA.
  • Документирование архитектурных решений и ведение актуального реестра метаданных..
НАС ИНТЕРЕСУЕТ:
  • Глубокое понимание Apache Iceberg (схема эволюции, snapshots, partition evolution, оптимизация хранения через compaction). Опыт работы с объектными хранилищами (S3/Minio).
  • Продвинутый уровень PySpark (Spark SQL, Core, Optimization). Понимание механизмов Shuffle, Broadcast Join и работы с Memory Management
  • Уверенное владение dbt (разработка макросов, работа с внешними таблицами, настройка тестов и документации). Знание методологий моделирования (Data Vault 2.0 или Kimball)
  • Опыт написания сложных DAG-ов в Apache Airflow (Custom Operators, Dynamic Tasks, XComs).
  • Хорошее знание Oracle (написание сложных аналитических SQL-запросов, понимание планов выполнения) и ClickHouse (движки таблиц, материализованные представления).
  • Python (написание кастомных интеграций, парсеров), Git, основы Docker и CI/CD.

ЗАРПЛАТА - ЭТО ЕЩЕ НЕ ВСЁ:

  • Гибридный формат работы и гибкое начало рабочего дня;
  • Профессиональное развитие: участие в митапах, тренингах, конференциях, демо-днях и хакатонах;
  • Дополнительные 4 дня отпуска — итого 28 календарных дней за год;
  • Годовой бонус по результатам достижения KPI;
  • Корпоративная сотовая связь;
  • Добровольная медицинская страховка со стоматологией и лекарствами с возможностью бесплатно добавить двух близких родственников;
  • Фитнес-абонементы со скидкой и в рассрочку;
  • Онлайн-платформа бесплатной психологической помощи;
  • Доступ к корпоративной онлайн-библиотеке MyBook.

Теlе2 — это территория возможностей. Здесь тебя примут таким, какой ты есть, поддержат, направят и откроют множество возможностей.

Похожие вакансии

30 Мая

DevOps Engineer( Банк Эсхата )

Алматы

Компания "Банк Эсхата" О компании Мы развиваем и поддерживаем современную инфраструктуру, обеспечивающую работу высоконагруженных внутренних...

Отправить резюме подробнее

30 Мая

Инженер сети передачи данных (middle)

Алматы

Компания "ДБ АО Сбербанк" Мы ищем инженера сети передачи данных для сопровождения и развития распределенной сетевой инфраструктуры и сетей ЦОД....

Отправить резюме подробнее

30 Мая

Middle/Middle+ Data Engineer (DWH / ETL)

Алматы

Компания "ДБ АО Сбербанк" AO Bereke Bank продолжает развитие корпоративной платформы данных и ищет Middle/Middle+ Data Engineer в команду Data &...

Отправить резюме подробнее

30 Мая

Middle Data Analyst( Kaspi Bank, АО )

Алматы

Компания "Kaspi Bank, АО" Kaspi.kz – это место, где необыкновенные люди собираются вместе, чтобы проявить свои лучшие качества, как в работе,...

Отправить резюме подробнее

30 Мая

Middle+ / Senior Data Analyst

Алматы

Компания "Kaspi Bank, АО" Kaspi.kz – это место, где необыкновенные люди собираются вместе, чтобы проявить свои лучшие качества, как в...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: