Senior Data Engineer/Дата инженер
Город:
Алматы
Занятость:
Полная занятость
Компания "Agile Soft"
В динамически развивающейся IT компании открыта вакансия Senior Data Engineer/Дата инженер.
Обязанности:
Построение потоков данных для хранилища;
Оптимизация выгрузок данных из систем источников;
Реализация трансформаций в целевые модели данных хранилища;
Выгрузка данных в другие системы для дальнейшей обработки;
Реализация сверочных отчетов.
Требования:
Опыт работы в области разработки хранилищ больших данных не менее 2 лет;
Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных;
Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем;
Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT;
Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;
Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc;
Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Pyton;
Опыт использования инструментом трансформации данных (DBT, Spark, Pyton);
Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql);
Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB);
Опыт построения хранилищ для финансового сектора;
Опыт работы с инструментами DataGovernance;
Опыт в области проектирования схемы данных, баз данных и хранилищ;
Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio);
Опыт интергации с технологиями CDC (GoldenGate, Informatica, Debezium)
10 Января
Руководитель проекта по Big Data в экономике/макроэкономике
Алматы
Компания "HALYK FINANCE, дочерняя организация АО Народный банк" Обязанности: Управление проектом по большим данным в экономике совместно с...
10 Января
Алматы
Компания "Народный банк Казахстана" Halyk Банк – это мощная экосистема, где технологии сочетаются с ценностями. Мы гордимся более чем 14 000...
10 Января
Senior Python Developer (Data Collection / Web Scraping)
Алматы
Компания "SL KG" We are a global OSINT company headquartered in the US, empowering investigators and security professionals with cutting-edge...
11 Января
Алматы
Компания "Банк Хоум Кредит, ДБ АО" Задачи, которые ты будешь выполнять: Автоматизация инфраструктурных задач Data Science Разработка и...
11 Января
1C Application Support Engineer
Алматы
Компания "Карголайн Казахстан" We have many years of experience in the field of logistics. We represent Western quality for the delivery of our...
Вакансия размещена в отрасли