Ключевые навыки
PythonSparkMPP BDdbt
Описание вакансии
Мы ищем Data Engineer в команду Data Science.
Задачи:
-
Создание и поддержка витрин для нужд команды Data Science;
-
Настройка и поддержка ETL;
-
Повышение и поддержка качества данных.
Что пригодится:
- Опыт работы от 2 лет с данными, нужными для ML-решений — особенности хранения, архитектура, эффективная историчность;
- Опыт работы с DS-командой/задачами, опыт сбора ТЗ у DS и его формализации;
- Опыт работы с Spark и MPP базами данных;
- Опыт работы с dbt (большой плюс), Airflow, HDFS, Hive;
- Опыт с Python, SQL, Git, Docker;
- Настройка систем мониторинга процессов ETL;
- Английский язык на уровне чтения документации.