Data Engineer (ETL -разработчик)
Вакансия № 30114930 в населенном пункте (городе) Москва, Россия от компании "Иннотех, Группа компаний" на сайте Электронный Центр Занятости Населения (ЦЗН) Москвы.
✷ Смотрите другие предложения работы от компании Иннотех, Группа компаний.
| Логотип (торговая марка, бренд, эмблема, внешний вид здания или внутренний интерьер офиса): |  |
Репутация компании "Иннотех, Группа компаний" в отзывах работников:
Читайте свежие отзывы сотрудников об этой организации на этом сайте.
Оставить мнение об этом работодателе без регистрации бесплатно на этом сайте.
Обязательное требование к опыту работы искомого сотрудника: 1–3 года.
График работы: полный день.
Тип занятости: полная занятость.
Вакансия № 30114930 добавлена в базу данных: Пятница, 5 сентября 2025 года.
Дата обновления этого объявления: Суббота, 27 сентября 2025 года.
| Рейтинг вакансии: 3,8 из 100 баллов |
Работодатель предложит заработную плату по результатам собеседования с соискателем работы.
Data Engineer в команду "Облако данных" стрим "Источник данных" .Основная задача команд кластера Облако данных – реализация ETL-процессов взаимодействия Банка с внешними источниками данных (загрузка/выгрузка) с использованием инфраструктуры Банка и Облачных сервисов, а также настройка и поддержка ETL-процессов внутри Банка.
Задачи:
- Работа в связке с аналитиком по созданию конечного продукта из Бизнес-требований;
- Изучение и проработка технической документации, составленной аналитиком;
- Реализация ETL -процессов на Python и Spark на основании полученной документации;
- Реализация механизмов работы с внешними системами (брокеры сообщений, базы данных);
- Реализация авто-тестов;Построение CI/CD пайплайнов;
- Проведение ревью кода других разработчиков
В обязанности работника на вакантом месте входит следующее:
- Разработка DAG Airflow для реализации ETL-процессов;
- Реализация интеграции по получения данных из источников вида: REST API, SOAP, FTP, S3, парсинг сайтов и XLS;
- Построение и верификация схем данных на соответствии модели данных и требования безопасности Банка;
- Реализация функционала укладки данных в Hadoop;
- Мониторинг, управление инцидентами по реализованным процессам;
- Разработка и поддержка внутренних инструментов;
- Ведение разработки в системе контроля версий;
- Участие в Agile церемониях команды и стрима
Требования к работнику следующие:
- Опыт разработки на Python от трех лет;
- Опыт проектирования и разработки ETL-процессов;
- Опыт работы с интерфейсами взаимодействия: REST API, SOAP;
- Знание основных алгоритмов, структур данных и основных паттернов проектирования приложений;
- Умение читать и понимать документацию, разрабатывать приложения на основании документации;
- Опыт разработки на Airflow, глубокое понимание принципов разработки DAG-ов;
- Опыт работы с брокерами сообщений: RabbitMQ, Kafka;
- Знание SQL и инфраструктуры Hadoop, понимание особенностей ее работы;
- Опыт работы с каким-либо дистрибутивом Hadoop (Cloudera, Arenadata, Hortonworks, Apache и т.п.);
- Опыт разработки приложений на Spark;
- Умение работать с системами контроля версий git;
- Опыт работы в ОС семейства UNIX: RHEL, Ubuntu;
- Общее понимание работы сетевых протоколов: TCP/IP, UDP, SSH, FTP, SMTP, IMAP
Будет плюсом:
- Понимание особенностей экосистемы Hadoop;
- Знание Kerberos;
- Знание работы с системами шифрования: КриптоПро
- Понимание подходов к оптимизации производительности Python и Spark приложений;
- Опыт написания многопоточных приложений на Python
Разместить Ваше резюме сейчас ...
Связаться с автором объявления № 30114930 с предложением работы, размещённого на этой странице:
☎ Показать контактный телефон для связи ...
✉ Показать электронный адрес для связи ...
Написать в компанию ...