Ще одним сучасним трендом є об’єднання озера даних та сховища даних, що сприяє спрощенню стека даних.

Донедавна окремо існували озеро даних та сховище даних. Обидва об’єкти призначені для зберігання даних. Але вони не є синонімічними й між ними існує принципова різниця.

Перший об’єкт являє собою сховище для великого обсягу «сирих» даних в оригінальному вигляді, які були отримані з різних джерел. Дані можуть бути різного типу: структуровані, пів структуровані й неструктуровані. Для озера даних характерно: висока гнучкість й доступність даних, безліч варіантів використання машинного навчання.

Другий об’єкт також являє собою сховище великих обсягів даних. Але в цьому випадку дані проходять обробку й потрапляють у сховище вже структурованими регламентованими способами.  Сховище даних є менш гнучким, має фіксовану конфігурацію й підтримує транзакційну аналітику та бізнес-аналітику.

Організації бажають отримати краще з обох сторін, тому намагаються поєднати обидва варіанти. У результаті вони мають й озеро даних, і сховище (іноді декілька з великою кількістю паралельних пайплайнів).

Сучасні провайдери рішень в області зберігання даних надають все більше таких можливостей. Наприклад, Snowflake – їхня платформа дозволяє з’єднати сховище та озеро даних; Microsoft Synapse – їхні хмарні сховища мають інтегровані можливості озера даних.

Попередній пост #maindatainsfrastucturetrends