Senior Data Engineer / Старший инженер данных

О проекте

Ищем Data Engineer для работы над Data-проектами крупного российского банка.

Основной фокус — развитие корпоративного хранилища данных: создание и сопровождение ETL/ELT-процессов, подключение источников, разработка аналитических и продуктовых витрин, повышение стабильности и качества загрузок.

В работе используются Python, SQL, Apache Airflow, Spark, Kafka, PostgreSQL и MPP-хранилища. Предстоит взаимодействовать с аналитиками, архитекторами и другими Data Engineers и самостоятельно вести задачи от анализа источника до промышленного запуска.

Что мы ожидаем

• Опыт работы Data Engineer, DWH Developer или ETL Developer от четырёх лет.
• Уверенное владение SQL: CTE, оконные функции, сложные JOIN, агрегации, анализ и оптимизация запросов.
• Практический опыт разработки на Python.
• Опыт самостоятельной разработки ETL/ELT-процессов.
• Практический опыт с Apache Airflow.
• Понимание архитектуры DWH и принципов построения витрин данных.
• Опыт работы с PostgreSQL.
• Практический опыт со Spark/PySpark.
• Опыт работы с Kafka.
• Понимание batch- и streaming-обработки.
• Умение самостоятельно разобраться в источниках и спроектировать процесс загрузки.
• Внимательное отношение к качеству и стабильности данных.
• Опыт ведения задачи от постановки до промышленного запуска.

Основной стек

Python, SQL, Apache Airflow, Spark/PySpark, Kafka, PostgreSQL, DWH, ETL/ELT.

Не ожидаем одинаково глубокого знания всех инструментов. Критически важны уверенные SQL и Python, опыт построения Data-пайплайнов и понимание архитектуры хранилищ.

Будет преимуществом

• Опыт работы в банке или финтехе.
• Greenplum.
• ClickHouse.
• Hadoop, Hive или HDFS.
• Oracle или Teradata.
• Опыт работы с MPP-СУБД.
• Опыт миграции DWH или отдельных ETL-процессов.
• Опыт построения streaming-процессов.
• Знание Data Vault.
• Работа с большими объёмами данных.
• Опыт оптимизации производительности хранилищ и процессов загрузки.
• Опыт работы с банковскими продуктами и банковской отчётностью.

!!!
Ищем нескольких Data Engineers. Если вы сильный инженер с опытом DWH и ETL/ELT, но ваш стек отличается от указанного -- будем рады отклику.
У нас несколько проектов, в которых есть высокий шанс совпасть по технологиям.
!!!

Условия

• Официальное трудоустройство, конкурентная зарплата — обсуждаем на встрече по итогам собеседования, отталкиваемся от вашего опыта и рынка;
• Гибкие варианты оформления (в штат, по договору, самозанятость).
• Удалённо (работа по московскому времени) или гибрид
• Полная занятость.
• Быстрая обратная связь по кандидату + возможен переход на смежный проект и рост в грейде/роли;

Команда расширяется

Ищем нескольких Data Engineers. Если вы сильный инженер с опытом DWH и ETL/ELT, но ваш стек отличается от указанного -- будем рады отклику.
У нас несколько проектов, в которых есть высокий шанс совпасть по технологиям.

В сопроводительном письме можно указать (необязательно!):

• какие ETL/ELT-процессы вы разрабатывали;
• с какими объёмами данных работали;
• насколько уверенно используете SQL, Python и Airflow;
• какой формат работы и уровень вознаграждения рассматриваете.