Senior Data Engineer

Prime Source

Город:

Алматы

Занятость:

Полная занятость

Компания "Prime Source"

Prime Source — это мощный центр разработки программного обеспечения, внедрения технологичных решений, управленческого и ИТ-консалтинга. В течение десятилетия мы завершили свыше 300 проектов в крупнейших организациях Казахстана, России и Соединённых Штатов.

Требования:

Опыт работы в области разработки хранилищ больших данных не менее 4 лет;
Знание концепций данных и аналитики (например, моделирование, ETL, инструменты отчетности, управление данными, хранение данных, структурированные и неструктурированные данные);
Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi,Apache Spark, PXF), трансформация DBT;
Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;
Опыт использования инструментов трансформации данных (DBT, Spark, Python);
Опыт работы с реляционными СУБД ( Oracle, MS SQL Server \ Postgre SQL \ My Sql);
Опыт работы с нереляционными, колоночными БД(Greenplum, Vertica, Векторные БД, Clichouse,Scylla DB);
Опыт работы с платформами больших данных (например, Hadoop, HBase, ClickHouse, Druid, MemSQL, Hive, Minio);
Опыт интеграции с технологиями CDC (GoldenGate, Informatica, Debezium);