Для того щоб прийняти правильне рішення при виборі системи організації даних доцільно провести порівняльний аналіз можливих варіантів.

Ключові відмінності між базами даних та сховищем даних:

Сховище даних

• зберігає зведені дані;
• використовується для аналізу даних;
• зберігання історичних та поточних даних;
• надання інформації з різних джерел;
• подання інформації щодо спільних бізнес-операцій;

База даних

• використовує деталізовані дані;
• фіксація транзакцій;
• зберігання поточних даних;
• збирання даних з одного джерела;
• фіксація основних повсякденних операцій;

Ключові відмінності між вітриною даних та сховищем даних:

Вітрина даних

• є тематичними підмножинами даних, які були вилучені зі сховища даних (зазвичай розмір становить менше 100 ГБ);
• є сховищем цінних даних для певної підгрупи;
• швидкий аналіз даних;
• отримання даних із сховища даних;

Сховище даних

• значно більше за розміром (терабайт або більше);
• містить усі очищені дані щодо бізнес-підрозділів;
• отримання даних із баз даних;

Ключові відмінності між озером даних та вітриною даних

Озеро даних

• містить усі необроблені та нефільтровані дані організації;
• доцільно використовувати для більш широкого та глибокого аналізу необроблених даних;
• комплексне рішення, яке виступає як сховище даних, база даних та вітрина даних;
• наявність центрального архіву, де вітрини даних можуть зберігатися в різних областях користувача;

Вітрина даних

• містить фільтровані та структуровані дані для певного підрозділу;
• досить специфічні та дозволяють швидко та ефективно аналізувати релевантну інформацію;
• є одноразовим рішенням без виконання ETL процесу;

Ключові відмінності між озером даних та сховищем даних

Сховище даних

• зберігання очищених даних для створення структурованих моделей даних та звітів;
• використання ODS із транзакційних систем;
• призначений для користувачів, яким потрібно створювати аналітичні звіти;

Озеро даних

• зберігання всіх даних для організації;
• використання апаратних засобів, що дозволяє економічно зберігати великі обсяги даних (терабайти, петабайти);
• вилучення даних із усіх типів даних, зокрема, нетрадиційних типи даних (журнали веб-сервісу, активність у соцмережах, дані датчиків тощо);
• призначений для глибокого аналізу, що виходить за рамки тих даних, що зберігаються у сховищі;

Ключові відмінності між базами даних та вітриною даних

База даних

• є репозиторієм транзакційних даних (OLTP);
• фіксування всіх аспектів та активностей одного суб’єкта;
• містить сирі та необроблені дані;
• користувачі не взаємодіють із даними у базах даних;
• є першим кроком у процесі ETL;

Вітрина даних

• є сховищем аналітичних даних (OLAP);
• містить дані від кількох суб’єктів;
• містить оброблені та перевірені дані, що спрощує процес створення звітів;
• пряма взаємодія користувача з даними з вітрин даних;
• є останнім кроком у процесі ETL;

Ключові відмінності між базами даних та озером даних

База даних

• фіксація транзакційних даних, пов’язаних з однією темою;
• зберігає традиційні дані (текст, числа);
• не здійснює очищення даних, зберігає необроблені дані;
• виробляє експорт своїх даних на інший процес (операційне сховище даних);
• є першим кроком у процесі ETL

Озеро даних

• фіксація активності багатьох баз даних та інших розрізнених джерел даних;
• є можливість зберігати дані будь-якого типу (pdf-файли, зображення, звукові файли тощо);
• зберігає необроблені дані, проте реалізовується процедура очищення даних;
• виконує всю обробку даних (очищення та агрегація);
• опрацьовує всі аспекти процесу ETL

Сучасні організації щоденно обробляють дані. Однак, дані можуть відрізнятися за видом, обсягом та способом використання. Це необхідно враховувати при виборі найкращого рішення для роботи з даними. Досягнення результатів залежить, зокрема, від обраної системи управління корпоративними даними, яка має повністю відповідати потребам бізнесу. Це може бути: вітрина даних, сховище даних, база даних або озеро даних.

База даних

База даних є місцем зберігання взаємопов’язаних даних, які використовуються для фіксації певної ситуації. Наприклад, база даних точок продажу (POS). В даному випадку база даних збирає та зберігає дані, пов’язані з транзакціями роздрібних магазинів. Дані, які поступають у базу даних, проходять процес обробки, систематизації, управління, оновлення і після цього зберігаються в таблиці. База даних є цільовим сховищем необроблених транзакційних даних та виконує оперативну обробку транзакцій (OLTP).

До основних характеристик баз даних можна віднести:

• структуризація відповідно до операцій та додатків певної компанії;
• наявність жорстких правил зберігання та організації даних (СУБД);
• гнучке сховище даних (NoSQL);
• односпрямованість (обробляє один процес);
• використання для онлайн обробки транзакцій (OLTP);
• запис даних, захоплення транзакцій у міру виникнення та їх розміщення.

Сховище даних

Сховище даних є основною аналітичною системою компанії. Воно часто працює разом з операційним сховищем даних (ODS) з метою зберігання даних, отриманих з різних баз даних компанії. Наприклад, компанія має бази даних точок продажу, онлайн-активності, інформації про клієнтів та співробітників. Сховище даних візьме дані із цих джерел і зробить їх доступними в одному місці. Метод вилучення даних з бази даних, перетворення їх на ODS і завантаження у сховище даних э прикладом процесів ETL і ELT.

Сховище даних є відмінним інструментом для аналізу даних через фіксацію перетворених історичних даних. Бізнес-відділи беруть участь в організації даних, використовуючи їх для складання звітів та аналізу даних. Для запиту даних сховище використовує SQL, для організації та забезпечення цілісності даних – таблиці, індекси, ключі, уявлення та типи даних.

До основних характеристик сховища даних можна віднести:

• збереження великого обсягу історичних даних, старі дані не видаляються під час оновлення нових;
• захоплення даних із кількох розрізнених баз даних;
• працює з ODS для зберігання впорядкованих, очищених даних;
• OLAP-додаток (аналітична онлайн-обробка);
• основне джерело даних для аналізу даних;
• звіти та інформаційні панелі використовують дані зі сховища даних.

Вітрина даних

Як і сховище даних, вітрина даних підтримує та зберігає оброблені та готові до аналізу дані. Однак, область видимості обмежена. Вітрина даних надає предметні дані, які необхідні підтримки кожної бізнес-одиниці. Наприклад, вітрина даних для підтримки звітів та аналізу відділу маркетингу. Визначаючи межі даних у масштабі певного відділу, доступні лише релевантні для цього відділу дані.

Використання вітрини даних підвищує рівень безпеки. Обмеження видимості запобігає безвідповідальному використанню даних, які не мають відношення до певного відділу. Слід також зазначити, що менший обсяг даних у вітрині підвищує швидкість обробки, отже збільшує швидкість виконання запитів. Дані агрегуються та готуються для певного відділу, що мінімізує некоректне використання даних та ймовірність суперечливих звітів.

До основних характеристик вітрини даних можна віднести:

• зосередженість на одному предметі чи бізнес-одиниці;
• міні-сховище агрегованих даних;
• обсяг даних обмежений;
• звіти та інформаційні панелі використовують дані з вітрини даних.

Озеро даних

Озеро даних призначене для зберігання структурованих та неструктурованих даних компанії. Воно збирає всі цінні дані для подальшого використання: зображення, pdf-файли, відео тощо. Як і сховище даних, озеро витягує дані з кількох розрізнених джерел та обробляє їх. Воно також може бути використано з метою аналізу даних та створення звітів. Для обробки та аналізу використовуються різні програми та технології (наприклад, Java). Озера даних часто використовують у поєднанні з машинним навчанням. Результати тестів машинного навчання зберігаються в озері. Рівень складності використання потребує серйозних навичок від користувачів, а також досвіду роботи з мовами програмування та методами обробки даних. Очищення даних відбувається без використання ODS.

До основних характеристик озера даних можна віднести:

• збирання всіх даних з безлічі розрізнених джерел даних протягом тривалого періоду часу;
• задоволення потреб різних користувачів у межах компанії;
• обробка та очищення даних, збереження їх у озеро даних.