Ключевые навыки
Описание вакансии
Мы - ведущий технологический партнер Счетной палаты Российской Федерации.
АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных, эффективных и масштабируемых технологических решений.
Ищем опытного Data Engineer уровня senior/lead с сильным фокусом на проектировании и развитии корпоративного DWH / Lakehouse. Ключевая цель — закрыть пробелы в архитектуре хранилища, выполнить миграцию данных и настроить стабильные, масштабируемые ETL/ELT-пайплайны.
Обязанности:
• Проектирование и развитие архитектуры хранилища данных (EDW / Lakehouse).
• Планирование и выполнение миграции данных между источниками и хранилищем (S3, Greenplum, Postgres).
• Разработка и оптимизация ETL/ELT-пайплайнов на базе Airflow и Kafka.
• Интеграция компонентов Arenadata (Catalog, Quality Framework, Quick Marts) иUnidata MDM.
• Обеспечение качества данных и наблюдаемости решений.
• Поддержка команд аналитики и BI (Insight, Форсайт), участие в ревью архитектуры.
• Настройка best-practices по хранению, моделированию и безопасности данных.
Требования:
• 5+ лет опыта в Data Engineering; опыт на роли senior/lead/architect.
• Практический опыт с S3, Postgres, Kafka, Airflow.
• Опыт работы с Greenplum или аналогичными аналитическими СУБД.
• Опыт проектирования DWH/EDW и/или Lakehouse; опыт миграции данных.
• Опыт работы с Arenadata (Catalog, Quality Framework, Quick Marts) и/или UnidataMDM — предпочтение.
• Понимание процессов обеспечения качества данных и создания тестов данных.
• Умение формализовать архитектурные решения и вести техническую коммуникацию с командами.
• Готовность к гибридному формату работы.
Будет плюсом:
• Опыт настройки пайплайнов для RPA-интеграций (RPA PIX).
• Навыки документирования архитектуры и наставничества внутри команды.
Условия:
- Работа в IT-компании с большим потенциалом.
- Формат работы только гибридный м. Павелецкая. (Удаленной работы нет).
- Прозрачная система мотивации, стабильная загрузка;
- Оформление в соответствии с ТК РФ;
- Дружный коллектив и лояльное внимательное руководство;
- Уровень заработной платы обсудим на собеседовании.