Senior Data analytics-инженер

17 Ноября 2024

Beeline, ТМ

Город:

Алматы

Занятость:

Полная занятость

Откликнуться

Компания "Beeline, ТМ"

Команде Bigdata-DBSS необходимо переписать 1000 витрин с текущего биллинга на новый. Новый биллинг значительно отличается от текущей системы, поэтому необходимо тщательно изучить их особенности. Основная задача — выполнить перенос данных и переписать витрины таким образом, чтобы избежать потерь информации.

Обязанности:

Разработка и настройка ETL-процессов;
Создание схемы загрузки информации в базу данных;
Автоматизация процессов сбора информации с перемещением в единую информационную систему;
Импорт файлов из разных источников информации в корпоративное хранилище;
Проверка собранных данных с последующей очисткой от недостоверной, ошибочной и повторяющейся информации;
Проверка собранных данных с последующей очисткой от недостоверной, ошибочной и повторяющейся информации;
Разработка структуры, архитектуры и других параметров хранилища собранных сведений;
Трансформация и передача данных для последующего анализа в заданном формате;
Анализ новой системы;
Анализ новый системы со старой системой;
Анализ неизвестных источников и подключение;
Анализ витрин со старой системы, и правильно переписать под новую систему.

Требования:

Алгоритмы структурирования данных;
Язык обработки запросов SQL на профессиональном уровне;
Инструменты для работы с Big Data (Hadoop, Kafka, Spark и другие);
Хорошее знание Python, опыт разработки от 1 года;
Высокая техническая грамотность (алгоритмический базис, основы архитектуры компьютеров);
Знание C++ или Java будут плюсом;
Уверенное знание базовых вещей в теории вероятностей, математическом анализе, линейной алгебре;
Умение анализировать научную литературу, разбираться в незнакомой теме;
Желание заниматься инженерной и аналитической стороной проблемы;
Знание систем контроля версий, опыт коллективный разработки.