Старший разработчик по работе с данными

«Детмир Тех» — команда, развивающая цифровую экосистему группы компаний «Детский мир». Делаем продукты для миллионов клиентов и сервисы, которые помогают бизнесу работать быстрее. Нашему будущему коллеге предстоит работать над проектом: OMNI-дашборды - системой визуализации отчетности для покрытия потребности в аналитических инструментах для высшего и среднего менеджмента Компании. Работать над развитием Корпоративного Хранилища Данных (Hadoop), которое является основным источником данных для этого проекта. Цель проекта – реализовать уникальную систему по работе с клиентскими данными ПАО "Детский мир" на основе используемых компонентов и стэка технологий и программного обеспечения компании. По итогам проекта в компании появится единый источник непротиворечивой и консистентной информации для принятия управленческих решений. Мы ищем эксперта с высокой ролью ответственности на проекте, умеющего самостоятельно и в команде принимать решение по архитектуре и реализации. Чем предстоит заниматься: Написание дагов в Airflow Проектирование, разработка и поддержка витрин данных Обычно это Sql или DataFrame API Разработка алгоритмов выгрузки, обработки, хранения данных (ETL) из разных систем, интеграция с внешними системами sql подобные системы а так же csv, xml, json, API Разработка правил и процедур контроля качества данных Поддержка переливки витрин в ClickHouse Создание Дашбордов в SuperSet Поддержка цепочки поставки витрин Что ожидаем от вас: Создавать Spark ETL pipeline для загрузки данных в HDFS и преобразования данных на HDFS Обсуждать с аналитиками алгоритмы преобразования данных, переводить SQL от аналитиков в Spark API Участвовать в code review Проектировать и создавать архитектуру проекта и адаптировать ее под новые требования Понимать процессы CI/CD, мониторинга, взаимодействовать с командой DevOps Будет плюсом: Опыт работы с Kubernetes, Helm Опыт работы с GitLab CI/CD Наш стек: Hadoop 3 версии, размером 3 Петабайта Apache Spark и Apache Airflow ClickHouse SuperSet Docker, Kubernetes, VictoriaMetrics GitLab для CI/CD Мы предлагаем: Официальное оформление в соответствии с ТК РФ; Срочный ТД (декретная ставка); Совокупный доход: оклад + годовой бонус; График работы: 5/2 (гибридный формат работы/ удаленный); Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается; Техника для работы; Полис ДМС; Программа Best Benefits; Внутреннее обучение; Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании. Присоединяйтесь к нам и станьте частью истории бренда с историей!