Нові рішення та розробки з однієї сторони забезпечують доступність й простоту стека даних на підприємствах, з іншої сторони сприяють появі ще більшій кількості труднощів. Актуальна ситуація виглядає так: обсяг даних, який проходить через організацію, стрімко збільшується. Також збільшується кількість їхніх джерел, що пов’язано з появою великої кількості SaaS інструментів.

Сучасний стек даних здебільшого орієнтується на область транзакційних даних та аналітики. Однак, підприємства не обходяться лише одним пайплайном і мають їх декілька, які працюють одночасно. Окрім цього, є необхідність у технологіях потокової передачі, які наразі знаходяться на початкових стадіях розвитку.

Отже, такі інструменти, як Spark, Kafka, Pulsar будуть актуальними і надалі. Внаслідок цього потреба в інженерах по обробці даних, які здатні застосувати ці технології, також буде зростати.

Системи оркестрації мають доволі активний розвиток. Це підтверджується появою наступних фреймворків: Airflow, Luigi, Perfect, Dagster  та ін. Такі інструменти являють собою набір бібліотек з відкритим початковим кодом, які призначені для розробки, планування та моніторингу робочих процесів. Відмінною рисою є те, що інструмент написаний на мові програмування Python. Така особливість надає можливість створення й написання ланцюгів задач у візуальному режимі, а також написання програмного коду Python. Для візуалізації потокових даних використовується DAG (Directed Acyclic Graph).

З цього можна зробити висновок, що управління даними продовжує бути основною вимогою на підприємствах (через сучасний стек даних або конвеєр машинного навчання).

Попередній пост #maindatainfrastructuretrends