Описание вакансии
Команда CDO B2C в поиске Data engineer в сфере управления данными и data-продуктами.
Наша команда отвечает за управление всеми данными B2C сегмента клиентов Сбера. Мы уже трансформировали подход к управлению данными, построили единый слой детальных данных и продолжаем развивать его актуальность и полноту. Так же перед нами стоят амбициозные задачи построения единого слоя агрегатов и фичей B2C, реализация всего тракта поставки данных в RealTime и внедрения нового стека технологий, что позволит создать единую точку правды для упр. отчетности, моделей и фронтальных систем, а так же капитализировать данные за счет их многократного переиспользования.
Обязанности- разработка DWH/DataLake/LakeHouse
- построение поставки данных в RealTime/NRT/Batch
- проведение код-ревью других разработчиков
- оптимизация ETL
- внедрение новых технологий/новых стеков в существующие решения
- повышение актуальности данных
- снижение latency доступа к данным
- разработка и валидация архитектуры данных
- отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
- опыт работы с Hadoop, Spark, Iceberg/Paimon, S3
- опыт работы с Kafka и др. Брокерами
- опыт работы с оркестраторами (например, Airflow) и CI/CD
- опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
- опыт кратной оптимизации ETL
- практическое знание python на уровне разработки ETL
- практическое знание java/scala будет преимуществом
- практический опыт создания и защиты архитектуры данных будет преимуществом
- практический опыт разработки solution-архитектуры data-продуктов будет преимуществом
- навыки работы с генеративными AI-моделями; опыт
- создания AI-агентов и использования их в работе будет преимуществом
- опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
- инструментальное владение AI для анализа, генерации и автоматизации
- офисный формат (Поклонная 3к1)
- ежегодный пересмотр зарплаты и годовая премия
- расширенный ДМС и льготное страхование для семьи
- уникальная система обучения Сбера для профессионального и карьерного развития
- выгодная ипотека для сотрудников
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.