Senior/Middle Data Engineer

Чем предстоит заниматься • Разрабатывать и сопровождать ETL/ELT-пайплайны. • Работать с Apache Airflow: разрабатывать, поддерживать и оптимизировать DAG. • Проектировать и реализовывать интеграции и потоки данных. • Работать с DWH (ODS / DDS / ADS) и большими объёмами данных. • Оптимизировать запросы, пайплайны и процессы обработки данных. • Анализировать и устранять инциденты, повышать стабильность процессов. • Участвовать в code review и развитии стандартов разработки. • Реализовывать и поддерживать проверки качества данных. • Взаимодействовать с аналитиками, Data Scientists и другими командами. • Участвовать в развитии Data Platform и технической документации. • Для Senior — участвовать в архитектурных решениях, развитии инженерных практик и менторинге команды. Что важно • Уверенный SQL и Python. • Практический опыт работы с Apache Airflow. • Опыт разработки ETL/ELT-пайплайнов. • Опыт работы с DWH и понимание архитектуры ODS / DDS / ADS. • Опыт работы с MPP СУБД, предпочтительно Greenplum. • Понимание принципов оптимизации запросов и пайплайнов. • Опыт работы с Git и code review. • Понимание принципов Data Quality и Data Governance. Будет плюсом • Опыт работы с ClickHouse и S3. • Понимание Data Vault. • Опыт настройки мониторинга и алертинга. • Знакомство с каталогами данных, например OpenMetadata. • Опыт CI/CD и DevOps-практик.