Наші вакансії
Ми створюємо прекрасні продукти з використанням новітніх технологій. Рішення бізнес-завдань, які ми знаходимо, задовольняють не тільки наших клієнтів, але і команду дизайнерів. Починаючи з розробки рішень для бізнес-аналітики і закінчуючи створенням критично важливої комерційної презентації - ми об'єднуємо талановитих інженерів, щоб надавати вам дійсно важливі рішення.
Крім задоволення від добре виконаної роботи для провідних клієнтів в галузі, ми пропонуємо ряд переваг, а також програму професійного розвитку для співробітників, що працюють повний робочий день.
В команду DataLabs шукаємо Big Data Engineer
Україна
повний робочий день.
повний робочий день.
Обов’язки:
- Дослідження, проєктування та розробка відповідних алгоритмів для збору, обробки та аналізу великих даних;
- Вибір та інтеграція інструментів та платформ для роботи з великими даними;
- Визначення зовнішніх та внутрішніх джерел великих даних для проведення аналітичних робіт;
- Отримання, обробка великих обсягів даних із гетерогенних джерел даних, розробка методів та регламентів необхідних ETL-процесів;
- Розробка масштабованої та надійної інфраструктури обробки даних для задоволення потреб;
- Визначення та розробка вибіркових конвеєрів даних задля узгодження розрізнених джерел даних;
- Розробка структури обробки даних для отримання, очищення, узгодження та зберігання оброблених даних в озері даних або сховищі даних;
- Виявлення та усунення проблем з якістю даних;
- Виявлення та створення платформи для автоматизації розгортання та інтеграції коду;
- Розробка якісного коду та бібліотек;
- Розробка конвеєрів CI/CD та середи контроля версій;
- Розробка необхідних аналітичних звітів, розрізів і агрегатів великих даних;
- Оцінка відповідності наборів даних предметній галузі та задачам аналітичних робіт;
- Керування життєвим циклом даних (процеси отримання, розміщення, зберігання, розподілення, міграції, архівування та видалення великих даних);
- Перетворення цілей високого рівня на досяжні, тестовані та вимірні функціональні специфікації;
- Розробка рішень, які відповідають політикам безпеки та управління даними;
- Надання доступу до даних;
- Виявлення аномалій та аудит, моніторинг продуктивності.
Вимоги:
- Досвід роботи з великими даними;
- Знання мов програмування (SQL, Java, Python, Scala, Shell та інших);
- Знання та розуміння технологій (Spark, Databricks та інших);
- Досвід в галузі будування сховищ даних та процесів видобутку, обробки та трансформування даних;
- Досвід у моделюванні та аналізі даних;
- Досвід інтеграції даних різних форматів та з декількох джерел;
- Досвід у роботі з базами даних (Postgres, MongoDB та інших);
- Знання інструментів управління даними (Apache та інших);
- Англійська мова – Intermediate та вище;
- Знання Agile / Scrum та принципів управління проектами (як додатковий плюс)
- Висока мотивація;
- Сильні комунікативні навички та навички роботи в команді
