Data engineer( AVIATA.KZ )

Компания "AVIATA.KZ"

Aviata — одна из лидирующих компаний в области бронирования и продажи авиабилетов в Казахстане.

Сейчас мы ищем сильного инженера данных (DE) который поможет нам в достижении амбициозной цели - вывести работу с данными в компании на новый уровень.

Нам предстоит выстроить единое хранилище данных для решения задач аналитики, реализовать надежную систему для работы с потоками данных, обеспечить высокое качество генерируемых данных и сделать их удобными для использования в работе

Обязанности:

• Участвовать в разработке отчетной системы
• Разрабатывать и поддерживать batch ETL-процессы (Python, SQL, Airflow)
• Разрабатывать и поддерживать обработку потоков данных (Python, RabbitMQ)
• Строить витрины данных
• Дорабатывать и развивать хранилище данных
• Интегрировать новые источники данных в DWH
• Реализовывать проверки качества данных DQ
• Внедрять новые инструменты по работе с данными в компании
• В ходе работы выстраивать процессы коммуникации с заказчиками

Требования:

• Хорошое знание SQL - оконные функции, сложные join'ы и подзапросы, опыт оптимизации больших SQL запросов.
• Понимание принципов работы реляционных и колоночных СУБД, опыт проектирования DWH моделирование данных, разбиение по слоям.
• Хорошее знание Python (навыки работы с Pandas будут плюсом), опыт построения data pipeline’ов при помощи Airflow.
• Владение инструментами - Git, Docker, навыки работы с NoSQL СУБД.
• Будет плюсом - знание технологий DBT, Greenplum, Spark, Data Lake, k8s.

Мы предлагаем:

• Сильная команда. Ребята постоянно прокачиваются, много читают и любят свое дело. Мы гордимся не только тем, какие у нас профессионалы, но и тем какие они личности.

• Обучение за счёт компании. Если хотите пройти курсы или пойти на конференцию, связанную с вашей областью, компания готова оплатить стоимость обучения.

• Библиотека с профессиональной литературой. Мы регулярно обновляем список книг, которые можно читать в офисе и брать домой.

• Комфортный офис. Мы переехали в новый офис, где создали еще больше приятных условий для работы: комната отдыха, разные места для работы.

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя