Блог

Сучасні компанії часто мають справу з великими та складними наборами даних із різних і, можливо, не пов’язаних між собою джерел (CRM, IoT, потокові дані, автоматизація маркетингу, фінанси тощо). Великі компанії часто мають філії у різних географічних точках. Це може ускладнювати процес використання даних або їх зберігання (у хмарі, гібридній мультихмарі, локально тощо). Об’єднати дані з різних джерел та репозиторіїв, перетворити та обробити їх для подальшої роботи допоможе Data Fabric. В результаті користувачі отримують цілісну картину поточної ситуації, що дозволяє досліджувати та аналізувати дані для ведення ефективної діяльності.

Data Fabric є архітектурою інтеграції даних з використанням активів метаданих для уніфікації, інтеграції та управління розрізненими середовищами даних. Основним завданням Data Fabric є структурування середовища даних, що не вимагає заміни існуючого. Управління метаданими та доступом до даних відбувається шляхом додавання додаткового технологічного рівня над існуючою інфраструктурою. Стандартизація, з’єднання та автоматизація методів керування даних Data Fabric підвищує безпеку та доступність даних, забезпечує наскрізну інтеграцію конвеєрів даних та локальних хмарних, гібридних мультихмарних платформ та платформ прикордонних пристроїв.

Переваги використання Data Fabric:

• узгодженість в інтегрованих середовищах за допомогою управління метаданими, графів знань та машинного навчання;
• цілісне представлення поточного становища бізнесу, що дозволяє користувачам, аналітикам та фахівцям з даних знаходити взаємозв’язки;
• максимізація можливостей гібридної хмари та скорочення часу на розробку та управління процесами інтеграції, розгортання та обслуговування за рахунок спрощення конфігурації інфраструктури;
• простий процес вивчення та аналізу даних для користувачів без участі IT-фахівців;
• доступність всіх підходів до доставки даних завдяки підтримці ETL, віртуалізації даних, збору змінених даних, потокової передачі та API;
• автоматизація рутинних завдань (наприклад, узгодження схеми з новими джерелами даних та профілювання наборів даних).

Data Fabric спрощує розподілене середовище даних, де відбувається їх прийом, перетворення, управління, зберігання, визначається доступ для безлічі репозиторіїв та варіанти використання (BI-інструменти, операційні програми). Це стає можливим завдяки безперервній аналітиці метаданих для створення веб-рівня. Він об’єднує процеси обробки даних та безліч джерел, типів та місцеположень даних.

Відмінності Data Fabric від стандартної екосистеми інтеграції даних:

• Доповнений каталог даних, який включає та аналізує всі типи метаданих;
• Графи знань, що відображають відношення між елементами даних (поняття, об’єкти, події тощо);
• Активація метаданих – використання машинного навчання активним керуванням метаданими дозволяє створювати та обробляти метадані у великих масштабах;
• Підготовка та прийом даних – підтримка всіх підходів щодо підготовки та доставки даних, зокрема ETL, ELT, потокова передача даних, інтеграція додатків, віртуалізація даних;
• Система рекомендацій – постійний аналіз, вивчення та формування рекомендацій та прогнозів щодо інтеграції та управління даними;
• DataOps – об’єднання команди DevOps з інженерами та фахівцями за даними.

Архітектура Data Fabric залежить від індивідуальних потреб у даних та запитів бізнесу. Однак, існує 6 основних рівнів:

1. Управління даними (забезпечення процесів управління та безпеки);
2. Прийом даних (визначення зв’язку між структурованими та неструктурованими даними);
3. Обробка даних (витяг лише релевантних даних);
4. Оркестрування даних (очищення, перетворення та інтеграція даних);
5. Виявлення даних (визначення нових способів інтеграції різних джерел);
6. Доступ до даних (можливість користувачів досліджувати дані за допомогою BI-інструментів).

 При впровадженні Data Fabric необхідно забезпечити:

• збір та аналіз усіх типів метаданих;
• перетворення пасивних метаданих на активні;
• створення та управління графами знань;
• надійне підґрунтя для інтеграції даних.

DataLabs є сертифікованим партнером Qlik. Високий рівень компетенції команди та індивідуальний підхід дозволяє розробити кастомне рішення. Отримати додаткову інформацію можна шляхом заповнення форми за посиланням