Инженер данных / Data Engineer (в архиве)

16 Января

Партнерские Вакансии

Компания "БИЛАБС"

О нас:

Мы помогаем партнерам принимать взвешенные решения на основе данных. Работаем по принципу remote-first: процессы выстроены так, чтобы удобно работать онлайн и в распределённых командах с клиентами в разных странах, при этом у нас есть офис в Алматы. Дальше всё зависит от задач: часть работы можно делать из офиса, часть — удалённо, но мы всегда сохраняем единые правила прозрачности, документирования и командного взаимодействия.

О проекте:

Мы строим надежное и эффективное аналитическое хранилище данных на современном стеке Microsoft Fabric. Наша цель — предоставить бизнесу быстрый и удобный доступ к качественным данным для построения отчетов и анализа.

Мы ищем:

Data Engineer, который будет отвечать за построение end-to-end пайплайнов данных: от первичной загрузки сырых данных до формирования готовых витрин для BI-отчетности.

Чем предстоит заниматься:

• Проектирование и реализация ETL/ELT процессов в среде Microsoft Fabric.
• Загрузка и обработка данных из разнородных источников (flat-файлы, таблицы БД) в слои Bronze и Silver.
• Проектирование и наполнение витрин данных (Gold-layer) в формате звездообразной схемы (star schema) для эффективной работы BI-инструментов.
• Оптимизация производительности: работа с Delta-форматом, настройка партиционирования, управление жизненным циклом данных.
• Тесное взаимодействие с BI-аналитиками и дата-инженерами для согласования требований к семантическому слою и качеству данных.
• Написание технической документации по реализованным процессам.

Ключевые требования:

• Опыт работы Data Engineer / ETL-разработчиком от 2-х лет.
• Опыт работы с Microsoft Fabric или глубокое понимание его компонентов (OneLake, Data Factory, Spark, Data Warehouse) будет приветствоваться
• Практический опыт построения многозвенной архитектуры данных (международный стандарт Medallion Architecture: Bronze → Silver → Gold).
• Уверенное владение SQL и опыт проектирования витрин данных, включая звездообразные и снежинобразные схемы.
• Опыт работы с Spark (PySpark / Spark SQL) для обработки больших объемов данных.
• Понимание принципов работы с Delta Lake (transactional logs, OPTIMIZE, VACUUM).
• Опыт оптимизации больших таблиц: партиционирование, кластеризация (Z-order), настройка производительности запросов.
• Желателен опыт интеграции с Power BI для публикации datasets.

Мы предлагаем:

• Работу с одним из самых современных cloud-стеков Microsoft.
• Интересные и сложные задачи от идеи до реализации в production.
• Формат работы: удаленка/гибрид (Офис - г.Алматы, бц Нурлы тау)
• Конкурентную заработную плату, обсуждение на собеседовании
• Гибкое начало дня
• Оформление по ТК РК с первого дня
• Профессиональный и дружный коллектив