Описание вакансии
Обязанности:
- сбор, обработка и анализ витрин данных (HiveSQL, Python, PySpark);
- автоматизация отчетности и процессов обработки данных;
- контроль качества данных, их целостности и консистентности;
- создание новых и поддержка существующих отчетов и дашбордов (Excel, PIXBI);
- проведение ad hoc исследований по запросу.
Требования:
- умение переводить бизнес-задачи в SQL-запросы или Spark-скрипты, выявлять закономерности данных и проверять гипотезы;
- владение SQL: сложные запросы, подзапросы, аналитические функции, оконные функции;
- опыт работы с любым синтаксисом SQL (PostgreSQL, MSSQL);
- способность объяснять технические детали и презентовать результаты;
- понимание принципов проектирования реляционных баз данных: нормализация, первичные и внешние ключи;
- опыт работы с Python: библиотеки Pandas, Numpy;
- умение структурировать код, комментарии и визуализацию результатов;
- понимание принципов распределенной обработки и хранения данных;
- опыт работы в Jupyter Notebook;
- наличие опыта проектирования и реализации дата-пайплайнов (DAGs);
- знание компонентов Hadoop: HDFS, Yarn, Hive, PySpark;
- опыт разработки ETL процессов и работы с BI-инструментами (Pix BI, Superset).